AI导哈

GUI自动化解析工具

基于OmniParser的MCP服务器，用于分析屏幕内容并自动操作GUI，适用于Windows环境。

  • by NON906
  • Python
  • 本地部署
  • 72 星标
  • 更新于
在 GitHub 查看 NON906/omniparser-autogui-mcp

使用说明

全解析器autogui mcp

（日语版在这里）

这是一个 MCP服务器 通过以下方式分析屏幕 OmniParser 并自动操作GUI。
已在Windows上确认。

许可证说明

这是MIT许可证，但不包括子模块和子包。
OmniParser的存储库是CC-BY-4.0。
每个OmniParser模型都有不同的许可证(参考).

安装

  1. 请执行以下操作：
git clone --recursive https://github.com/NON906/omniparser-autogui-mcp.git
cd omniparser-autogui-mcp
uv sync
set OCR_LANG=en
uv run download_models.py

（除Windows外，请使用 export 而不是 set.)
（如果你愿意 langchain_example.py 工作， uv sync --extra langchain 相反。)

  1. 将此添加到您的 claude_desktop_config.json:
{
  "mcpServers": {
    "omniparser_autogui_mcp": {
      "command": "uv",
      "args": [
        "--directory",
        "D:\\CLONED_PATH\\omniparser-autogui-mcp",
        "run",
        "omniparser-autogui-mcp"
      ],
      "env": {
        "PYTHONIOENCODING": "utf-8",
        "OCR_LANG": "en"
      }
    }
  }
}

（替换 D:\\CLONED_PATH\\omniparser-autogui-mcp 使用您克隆的目录。)

env 允许以下附加配置：

  • OMNI_PARSER_BACKEND_LOAD
    如果它不适用于其他客户（例如 自由聊天)，指定 1.

  • TARGET_WINDOW_NAME
    如果要指定要操作的窗口，请指定窗口名称。
    如果未指定，则在整个屏幕上运行。

  • OMNI_PARSER_SERVER
    如果要在另一台设备上完成OmniParser处理，请指定服务器的地址和端口，例如 127.0.0.1:8000.
    服务器可以通过以下方式启动 uv run omniparserserver.

  • SSE_HOST, SSE_PORT
    如果指定，通信将通过SSE而不是stdio完成。

  • SOM_MODEL_PATH, CAPTION_MODEL_NAME, CAPTION_MODEL_PATH, OMNI_PARSER_DEVICE, BOX_TRESHOLD
    这些是用于OmniParser配置的。
    通常，它们不是必需的。

使用示例

  • 在屏幕浏览器中搜索“MCP服务器”。

等等

相关 MCP