屏幕自动化工具

屏幕飞行员

MCP服务器通过提供用于控制和与图形用户界面交互的屏幕自动化工具包，让LLM完全控制您的设备。有利于自动化、教育和娱乐。

主要特点

• 📷 屏幕截图和分析
• 🖱️ 鼠标控制（点击、定位）
• ⌨️ 键盘输入（打字、按键、热键）

观看演示

https://github.com/user-attachments/assets/c18380c0-b3dd-4b7c-925d-28ef205ca11f

安装

0. 安装python 3.12
1. 克隆存储库：
   复制

   git clone https://github.com/Mtehabsim/ScreenPilot.git
   

2. 营造虚拟环境

python -m venv venv

3. 激活环境变量

venv\Scripts\activate

4. 安装所需的软件包：
   复制

   pip install -r requirements.txt
   

5. 打开克劳德AI桌面
6. 文件->设置->开发人员->编辑配置
7. 打开配置文件并粘贴

{
    "mcpServers": {
        "device-controll": {
            "command": "pathToEnv\\venv\\Scripts\\python.exe",
            "args": [
                "pathToProject\\ScreenPilot\\main.py"
            ]
        }
    }
}

8. 替换 “pathToEnv\venv\Scripts\python.exe”→ 带有python.exe的完整路径 “pathToProject\ScreenPilot\main.py”→ 包含main.py文件的完整路径

9. 保存配置文件。

10. 打开克劳德AI桌面。

11. 转到文件→ Exit

12. 现在，您可以打开Claude AI Desktop并享受ScreenPilot。

可用工具

• 屏幕捕获：截取屏幕截图并获取屏幕信息
• 鼠标控制：移动鼠标并执行点击
• 键盘操作：键入文本、按键和使用热键组合
• 滚动：沿不同方向滚动到特定位置
• 元素检测：检查屏幕上是否存在元素，并等待它们出现
• 动作序列：按顺序执行多个操作

贡献

欢迎投稿！请随时提交拉取请求。