自动化机器学习平台

Agentic AutoML Platform 是一个通过LLM协调的流水线将数据集和领域文档转化为生产级机器学习模型的平台,适用于数据科学家和开发人员。

  • by ShreeChaturvedi
  • TypeScript
  • 本地部署
  • 1 星标
  • 更新于
在 GitHub 查看 ShreeChaturvedi/AutoML

使用说明


AutoML代理平台 通过LLM编排的管道将数据集和领域文档转换为生产ML模型。由LangGraph和MCP工具支持的代理核心处理从数据探索到部署的所有事情,每一步都有人在环审批门。

工作流程

七个阶段反映了机器学习生命周期。每个阶段都由一个LLM代理驱动,该代理在操作员执行前批准或编辑的同时提出操作、生成代码并验证结果。

上传和规划

将数据集(CSV、JSON、XLSX)和域文档(PDF、DOCX、Markdown)放入项目工作区。LLM代理分析上传的数据,并创建一个结构化的项目计划,其中包含推荐的预处理步骤、特征工程策略和建模方法。

数据探索

自动统计分析在数据集上传时生成分布图、相关性矩阵和缺失值分析。在任何建模开始之前,列级统计、数据质量评分和交互式可视化会显示模式和问题。

NL到SQL查询

使用自然语言或原始SQL查询数据集。一个4阶段的管道处理意图分类、查询生成、执行和结果格式化。失败的查询会触发自动修复,并将错误上下文反馈给LLM。

预处理

LLM代理分析原始数据,并在笔记本单元格中生成Python预处理代码。每个转换都是通过MCP工具调用提出、审查、执行和验证的。有界自动修复会重试具有错误上下文的失败单元格,而不是默默地产生错误输出。

训练

通过交互式笔记本工作区训练模型。代理生成训练代码,执行沙盒Docker容器中的单元格,并报告指标。持久内核状态在会话内跨单元执行维护变量。

实验

将排行榜上的训练模型与自动冠军检测和自然语言过滤栏进行比较。使用实时进度流运行Optuna超参数优化研究。用决策树归因分析模型误差,用SHAP探索可解释性。

部署

通过专用的部署阶段部署经过训练的模型,包括准备状态检查、构建编排、预测游乐场、日志、监控和实时状态更新。

在引擎盖下面

LangGraph编排。 状态机引擎通过MCP工具调用协调多步ML管道,并具有阶段感知路由,为每个工作流阶段选择正确的工具。

RAG与混合搜索。 摄取域文档以将LLM响应纳入您的数据中。将嵌入相似性与关键字搜索相结合,以查找引用的、上下文感知的答案。

交互式笔记本。 Monaco编辑器,带有Jedi驱动的Python补全、悬停文档和语法高亮显示。WebSocket与用于检查点/恢复的保存点同步。在隔离的Shadow DOM中呈现的内核HTML输出。

沙盒执行。 具有只读根文件系统、非根用户和可配置内存/CPU限制的Docker容器。Jupyter Kernel Gateway跨单元执行维护Python内核状态。

技术栈

层 技术
前端 React 19、Vite、TypeScript、Zustand、shadcn/ui、Radix、Tailwind CSS、Monaco编辑器
后端 Express 5、TypeScript、LangGraph、MCP SDK、OpenAI SDK、Zod
数据库 PostgreSQL 16(元数据、嵌入、笔记本、工作流)
执行 Docker(Python 3.11、scikit-learn、pandas、numpy、Optuna、SHAP)
测试 Vitest(单元)、剧作家(E2E)、自定义eval运行器(NL到SQL+RAG)

快速开始

先决条件: Node.js 22 LTS,Docker

npm run install:all    # Install backend + frontend + testing + landing + video dependencies
npm run dev            # Boot managed Postgres, run migrations, start dev servers

开发服务器在以下位置启动后端 localhost:4000 前端 localhost:5173. 如果 npm run dev 创建或启动托管 automl-postgres-<port> 容器,它将在关闭时停止该容器。已运行的兼容容器仍在运行。

发展

仓库的规划

backend/              Express 5 + TypeScript API server
  src/routes/         Express routers mounted under /api
  src/services/       Domain logic (LLM, notebook, websocket)
  src/repositories/   File + DB-backed data stores
  migrations/         SQL migration files
frontend/             Vite + React 19 SPA
  src/components/     UI components (shadcn/ui + custom)
  src/stores/         Zustand state management
  src/lib/api/        Typed fetch wrappers
landing/              Astro marketing site + public workspace preview
video/                Remotion-based product and branding videos
scripts/dev/          Dev orchestrator (Docker + migrations + servers)
testing/              Playwright E2E benchmarks + eval runner
docs/                 Branding assets, API contracts, design system

命令

命令 描述
npm run install:all 安装后端、前端、测试、着陆和视频依赖项
npm run audit 审核根、后端、前端和测试依赖关系
npm run dev 启动开发环境(托管Postgres+迁移+服务器)
npm run build 构建后端(tsc)+前端(Vite)
npm run build:landing 建造Astro着陆点
npm run test 运行后端+前端Vitest套件
npm run test:landing 运行着陆Vitest套房
npm run lint Lint后端、前端和视频
npm run lint:landing 轻敲着陆工作区
npm run db:migrate 运行挂起的迁移(幂等)
npm run benchmark 剧作家E2E基准测试(无头)
npm run eval NL到SQL+RAG评估套件
npm run benchmark:api API负载基准测试(autocannon)
npm run vercel:landing:pull:preview 拉取Vercel着陆项目的预览设置
npm run vercel:landing:pull:production 拉取Vercel着陆项目的生产设置
npm run vercel:landing:build 使用Vercel的构建输出API构建着陆应用程序
npm run vercel:landing:deploy:preview 将预览安全的预构建着陆工件部署到Vercel
npm run vercel:landing:deploy:production 将预构建的着陆工件推广到Vercel生产

文档

许可证

GPL-3.0