AI导哈

GUI自动化工具

PyMCPAutoGUI是一款通过MCP协议为AI代理提供图形用户界面自动化控制的工具，支持鼠标、键盘、窗口管理和屏幕截图等功能，适用于自动化重复任务和GUI测试。

  • by kitfactory
  • Python
  • 本地部署
  • 23 星标
  • 更新于
在 GitHub 查看 kitfactory/PyMCPAutoGUI

使用说明

PyMCPAutoGUI🖱️⌨️🖼️ - 通过MCP实现GUI自动化

增强你的AI代理的能力！ ✨ PyMCPAutoGUI在您的AI代理（如Cursor或其他MCP兼容环境中的代理）和计算机的图形用户界面（GUI）之间提供了一个桥梁。它允许您的代理看到屏幕👁️, 控制鼠标🖱️ 键盘⌨️,并与windows交互🪟, 就像人类用户一样！

停止繁琐的手动GUI任务，让你的AI来做繁重的工作💪. 非常适合自动化重复动作、测试GUI或构建强大的AI助手🤖.

🤔 为什么选择PyMCPAutoGUI？

  • 🤖 授权您的代理人： 赋予您的AI代理直接与桌面应用程序交互的能力。
  • ✅ 简单集成： 与MCP兼容的客户端（如Cursor编辑器）无缝协作。它是即插即用的！
  • 🚀 易于使用： 使用简单的服务器命令开始。说真的 那 容易的。
  • 🖱️⌨️ 综合控制： 提供经过实战测试的各种GUI自动化功能 PyAutoGUI 和 PyGetWindow.
  • 🖼️ 屏幕感知： 包括用于截图和在屏幕上定位图像的工具——让您的代理 看见!
  • 🪟 窗口管理： 控制窗口位置、大小、状态（最小化、最大化）等。把桌面收拾干净！
  • 💬 用户交互： 显示警报、确认和提示框以与用户通信。

🛠️ 支持的环境

  • 操作系统： Windows、macOS、Linux（需要适当的依赖关系 pyautogui 在每个操作系统上）
  • python 3.11+ 🐍
  • MCP客户端： 光标编辑器，任何支持 模型上下文协议（MCP）

🚀 入门-超级简单！

1.安装（推荐：使用虚拟环境！）

使用虚拟环境可以保持项目依赖关系的整洁。

# Create and activate a virtual environment (example using venv)
python -m venv .venv
# Windows PowerShell
.venv\Scripts\Activate.ps1
# macOS / Linux bash
source .venv/bin/activate

# Install using pip (from PyPI or local source)
# Make sure your virtual environment is active!
pip install pymcpautogui # Or pip install . if installing from local source

（注： pyautogui 可能存在系统依赖关系，例如 scrot 在Linux上截图。请检查 pyautogui 操作系统特定安装要求的文档。)

2.运行MCP服务器

安装后，只需从终端运行服务器：

# Make sure your virtual environment is activated!
python -m pymcpautogui.server

服务器将启动并监听连接（默认为端口6789）。查看此输出：

INFO:     Started server process [XXXXX]
INFO:     Waiting for application startup.
INFO:     Application startup complete.
INFO:     Uvicorn running on http://127.0.0.1:6789 (Press CTRL+C to quit)

当您需要GUI自动化魔法时，请保持此终端运行！ ✨

✨ 与光标编辑器无缝集成

将PyMCPAutoGUI连接到Cursor（@symbol），以便直接在编码工作流中实现GUI自动化。

  1. 打开MCP配置： 在光标中，使用命令选项板(Ctrl+Shift+P 或 Cmd+Shift+P)并找到“MCP：打开MCP.json配置文件”。

  2. 添加PyMCPAutoGUI配置： 将此配置添加或合并到您的 mcp.json。如果需要，请调整路径（特别是当Cursor不是从项目根运行时）。

    {
    "mcpServers": {
        // ... other MCP server configs if any ...
        "PyMCPAutoGUI": {
            // Sets the working directory. ${workspaceFolder} is usually correct.
            "cwd": "${workspaceFolder}",

            // Command to run Python. 'python' works if the venv is active in the terminal
            // where Cursor was launched, or specify the full path.
            "command": "python", // Or ".venv/Scripts/python.exe" (Win) or ".venv/bin/python" (Mac/Linux)

            // Arguments to start the server module.
            "args": ["-m", "pymcpautogui.server"]
        }
        // ... other MCP server configs if any ...
    }
}

    （提示：如果 mcp.json 已存在，只需添加 "PyMCPAutoGUI": { ... } 内部部分 mcpServers 对象。)

  3. 保存 mcp.json。游标将检测服务器。

  4. 自动化！ 使用 @PyMCPAutoGUI 在游标聊天中：

    例子： @PyMCPAutoGUI move_to(x=100, y=200) @PyMCPAutoGUI write(text='Automating with AI! 🎉', interval=0.1) @PyMCPAutoGUI screenshot(filename='current_screen.png') @PyMCPAutoGUI activate_window(title='Notepad')

🧰 可用工具

PyMCPAutoGUI公开了来自 pyautogui 和 pygetwindow示例包括：

  • 鼠标🖱️: move_to, click, move_rel, drag_to, drag_rel, scroll, mouse_down, mouse_up, get_position
  • 键盘⌨️: write, press, key_down, key_up, hotkey
  • 截图🖼️: screenshot, locate_on_screen, locate_center_on_screen
  • 视窗🪟: get_all_titles, get_windows_with_title, get_active_window, activate_window, minimize_window, maximize_window, restore_window, move_window, resize_window, close_window
  • 对话框💬: alert, confirm, prompt, password
  • 配置⚙️: set_pause, set_failsafe

有关完整列表和详细信息，请查看 pymcpautogui/server.py 文件或使用 @PyMCPAutoGUI list_tools 在您的MCP客户端中。

📄 许可证

此项目根据MIT许可证获得许可-请参阅 许可证 文件以获取详细信息。自动化快乐！ 😄

相关 MCP