浏览器自动化集成工具

Magellan是一个专为Mistral AI代理设计的浏览器自动化集成工具,通过定制MCP服务器和Mistral LLM连接器,实现与网页的交互和视觉反馈。

  • by Alistorm
  • Python
  • 本地部署
  • 更新于
在 GitHub 查看 alistorm/magellan

使用说明

麦哲伦计划🧭

为2025年Mistral AI MCP黑客马拉松打造的Mistral人工智能代理导航工具。


关于项目

Le Chat和其他Mistral AI助手是强大的语言模型,但它们的功能仅限于文本的数字世界。他们无法与有史以来最重要的信息界面——万维网进行交互。

流行的浏览器自动化库,如 browser-use 为AI代理提供控制web浏览器的工具,但它们缺乏对Mistral强大模型家族的原生一流支持。

麦哲伦解决了这个问题。

麦哲伦是一款定制的高性能 模型上下文协议(MCP)服务器 那就是那座失踪的桥。它引入了一种全新的、专门打造的 Mistral LLM 连接器 为了 browser-use 图书馆,使Mistral代理能够导航、理解和与任何网站互动。

我们的项目的目标是让Le Chat有“眼睛”看到网络,有“手”使用网络,所有这些都是通过Mistral AI的智能精心策划的。

核心功能

  • 一流的Mistral集成: 定制的 ChatMistral 类允许 browser-use 由Mistral模型驱动的代理(mistral-large-latest等等)。
  • 在线聊天中的交互式视觉浏览: 麦哲伦不仅仅是自动化;它返回视觉截图和交互元素列表,允许用户在“展示,而不仅仅是告诉”的体验中引导代理。
  • 自定义MCP服务器: 在Python中从头开始构建,具有轻量级、可扩展性,并专门为我们的Mistral代理量身定制。
  • Pydantic V2模式: 所有代理组件和数据结构都使用Pydantic定义,以实现强大的类型安全性和清晰度,确保我们的实现是生产级的。

建筑:工作原理

麦哲伦精心策划了从用户请求到网络交互的无缝流程:

  1. 用户提示: 用户要求Le Chat执行基于网络的任务(例如,“查找Alpic Cloud资源的最新消息”)。
  2. MCP请求: Le Chat将任务分派给Magellan MCP服务器。
  3. 西北风驱动决策: 麦哲伦收到任务并使用我们的定制 ChatMistral 连接器。它将当前状态和目标发送到Mistral API以确定下一个最佳动作(例如。, browser_navigate, browser_type).
  4. 浏览器执行: 这 browser-use 库在无头浏览器会话中执行由Mistral模型确定的动作。
  5. 视觉反馈循环: Magellan捕获新的页面状态(屏幕截图和交互式DOM元素)。
  6. 返回Le Chat: 服务器将视觉上下文发送回Le Chat中的用户,向他们展示代理看到的内容以及接下来可以做什么。

入门指南

要启动并运行本地副本,请使用以下简单步骤 紫外线,高性能Python包管理器。

先决条件

安装

  1. 克隆存储库:
    git clone https://github.com/Alistorm/Magellan.git
    cd Magellan
    
  2. 创建虚拟环境并安装依赖项 uv:
    # Install packages from requirements.txt into the virtual environment
    uv sync
    
  3. 通过创建 .env 文件:
    MISTRAL_API_KEY="your-mistral-api-key-here"
    
  4. 使用以下命令运行Magellan MCP服务器 uv:
    # 'uv run' executes the command within the managed virtual environment
    uv run ./src/main.py
    

用法示例

麦哲伦服务器运行后,配置您的MCP兼容客户端(如Le Chat)以连接到它。

MCP客户端的示例配置:

{
  "mcpServers": {
    "magellan": {
      "command": "uv",
      "args": ["run", "magellan_server.py"],
      "env": {
        "MISTRAL_API_KEY": "your-mistral-api-key-here"
      }
    }
  }
}

然后,您可以让Le Chat执行任务:

“嘿,麦哲伦,去GitHub上的Mistral AI Cookbook,找到一个如何使用函数调用的例子。” “嘿,麦哲伦,帮我玩Akinator直播”

构建于


麦哲伦计划 由Wilfred/Mohamed Ali/Adrian和他们的AI队友为 2025年米斯特拉尔人工智能MCP黑客马拉松.

用Akinator示例改装MCP连接器(Wilfred部分)

我们学到了什么

  • MCP协议:如何公开和调用功能/工具。
  • 使用fastmcp在Python中实现MCP服务器,重点是类型注释和JSON模式。
  • 使用Alpik将MCP服务部署到生产环境。
  • 配置Mistral Le Chat以连接到我们的MCP服务器。
  • 集成第三方API(Akinator)。
  • 交付一个具体的端到端项目。

我们建造了什么

  • 部署在Alpik上的Python MCP服务器(fastmcp),可从Mistral Le Chat购买。
  • 使用Akinator API验证端到端能力暴露和对话的演示。

下一步和想法

  • 通过“改造”现有API规格自动生成MCP连接器:
    • Swagger/OpenAPI 3
    • 图查询语言
  • 实现与现实世界设备的对话,以进行维护和工业4.0:
    • 汽车CAN总线
    • 其他IIoT设备

差异化支持

  • AsyncAPI(事件驱动的API规范)是一个关键区别。
    • 愿景:允许用户在Le Chat中发出请求,并通过通知异步接收结果。
    • 含义:需要改进基于回合的MCP协议以支持异步事件。

我们两条轨道之间的关系

  • 用于改装现有设备的浏览器自动化补充了MCP连接器的生成:
  • 浏览器自动化连接了传统或纯UI系统。
  • MCP连接器为现代API和改装端点提供标准化接口。
  • 它们共同将覆盖范围从仅网络/传统设备扩展到事件驱动和设备级集成。 图案由Akinator绘制

Akinator的例子展示了专家系统和生成式人工智能之间的合作。 角色划分: 专家系统(Akinator):领域启发式、状态管理和确定性问题/答案评估。 生成模型(Le Chat/Mistral):自然语言交互、解释和策略建议,以改善用户体验。

MCP充当编排层:LLM调用Akinator的功能,接收结构化结果,并将其转化为对话指导。 结果:由可靠的专家引擎提供支持的无缝、人性化的对话——展示了经典人工智能和生成式人工智能如何端到端互补。