AI导哈

网页自动化AI助手

Agent-X是一款基于视觉语言模型的AI助手，能够通过自然语言指令自动化执行网页任务，适用于网页浏览、数据提取和表单填写等多种场景。

  • by RavaniRoshan
  • Python
  • 本地部署
  • 更新于
在 GitHub 查看 RavaniRoshan/MCP-PYDENTIC_agent

使用说明

代理-X

标语： 第一个为你工作的网络AI。解放双手。

任务

构建一个浏览器原生AI助手，该助手使用视觉语言模型来理解web界面，并根据简单的英语指令执行任务。

概述

AutomateAI是一个业余爱好者项目，旨在创建一个可以自动化web任务的AI助手。它使用视觉语言模型来理解网页并与之交互，允许用户用简单的英语给出指令。该项目对捐款开放。

核心架构

  • MCP（模型上下文协议）服务器： 处理AI模型和浏览器之间通信的核心服务器。
  • 基于Pydantic的数据验证： 确保数据完整性和验证。
  • 浏览器自动化引擎： 使用Playwright实现强大的浏览器自动化。
  • 视觉语言AI集成： 利用Gemini 2.5计算机使用API来理解web界面。
  • 安全第一设计原则： 通过动作验证和权限控制等功能优先考虑用户安全。

入门指南

先决条件

  • Python 3.10+
  • Node.js 16+
  • 诗歌
  • 码头工人

设置

  1. 克隆存储库：
    git clone https://github.com/your-username/AutomateAI-Agent.git
cd AutomateAI-Agent
  2. 安装后端依赖项：
    cd MCP_SERVER
poetry install
  3. 安装前端依赖项：
    cd frontend
npm install
  4. 设置环境变量： 创建一个 .env 文件在 MCP_SERVER 目录并添加以下内容：
    GEMINI_API_KEY=your_api_key
  5. 运行应用程序：
    cd ..
poetry run uvicorn main:app --reload
    在单独的终端中，运行前端：
    cd frontend
npm start

用法

  1. 打开浏览器并导航到 http://localhost:3000.
  2. 使用聊天界面输入web任务的提示。例如：
    • “导航到https://example.com"
    • “单击“更多信息…”链接”
    • “在搜索栏中键入‘hello world’”
  3. 代理将处理您的请求，并在新的浏览器窗口中执行任务。
  4. 您可以在聊天界面中监视任务的进度。

开发阶段

该项目分为以下开发阶段：

  1. 基金会： 设置核心基础设施，包括MCP服务器和浏览器自动化。
  2. 人工智能集成和后端： 整合视觉语言模型并构建后端逻辑。
  3. 前端开发： 创建一个用户友好的界面，用于与人工智能助手进行交互。
  4. 核心自动化功能： 实现数据提取和表单填写等关键自动化功能。
  5. 建议的自动化和用例： 为用户提供预构建的自动化建议和模板。
  6. 安全与安保： 增强助理的安全和安保功能。
  7. 验证和测试： 在部署之前彻底测试应用程序。

技术栈

后端

  • Python 3.10+
  • 快速API
  • 派丹蒂克
  • 剧作家
  • 异步
  • 瑞迪斯
  • PostgreSQL

前端

  • React 18+与TypeScript
  • 顺风 CSS
  • Socket.io
  • React查询
  • React路由器

基础设施

  • 码头工人
  • Docker Compose
  • Nginx
  • 让我们加密

如何做出贡献

这是一个爱好项目，我们欢迎社区的贡献。如果您有兴趣贡献，请随时分叉存储库并提交拉取请求。

许可证

该项目尚未获得许可。

相关 MCP