AI导哈

移动设备自动化协议

Mobile Pixel MCP 是一个轻量级、以视觉为先的模型上下文协议服务器，用于移动设备自动化，通过截图和基于坐标的交互使AI模型能够控制和与移动设备互动。

  • by rogerfuentes
  • TypeScript
  • 本地部署
  • 2 星标
  • 更新于
在 GitHub 查看 rogerfuentes/mobile-pixel-mcp

使用说明

移动像素MCP

一种用于移动设备自动化的轻量级、视觉优先的模型上下文协议（MCP）服务器。使AI模型能够通过屏幕截图和基于坐标的交互来控制移动设备并与之交互。

快速开始

将此添加到您的MCP客户端配置中（例如，Claude Desktop、Cursor）：

{
  "mcpServers": {
    "mobile-pixel": {
      "command": "npx",
      "args": [
        "-y",
        "mobile-pixel-mcp@latest"
      ]
    }
  }
}

您可以选择传递参数来指定平台或设备：

"args": ["-y", "mobile-pixel-mcp@latest", "--platform", "ios"]

先决条件

启动服务器 之后 确保您的环境准备就绪：

安卓

  • 安卓调试桥（ADB） 已安装并位于PATH中
  • 设备上启用了USB调试，或模拟器正在运行
  • 设备已连接并授权(adb devices 显示您的设备）

iOS

  • IDB（iOS开发桥） 已安装并位于PATH中
  • Xcode和Xcode命令行工具(xcrun simctl 支持）
  • 模拟器正在运行或物理设备已连接

特性

  • 视觉优先： 使用屏幕截图+坐标（OCR/计算机视觉就绪）
  • 自动OCR： find_text 和 tap_text 工具包括
  • 遥测桥： 通过MCP读取应用程序日志
  • 智能启动： 上下文感知应用程序启动（如果运行则恢复，如果不运行则冷启动）
  • 跨平台支持（安卓和iOS）

可用工具

工具 说明 参数
get_screen 捕获当前设备屏幕 无
tap 点击坐标 x, y
swipe 滑动手势 x1, y1, x2, y2, duration_ms
type_text 在焦点元素中输入文本 text
home 按下主页按钮 无
launch_app 启动/恢复应用程序 app_id
check_app_status 检查应用程序是否正在运行 app_id
find_text 查找文本坐标（OCR） text
tap_text 查找文本并点击中心（OCR） text
check_app_log 跟踪最近的应用程序日志 tag, filter_text
configure_device 动态切换设备/平台 platform, device_id, app_id
install_app 从本地路径安装应用程序 path
uninstall_app 卸载应用程序 app_id
reset_app 重置应用程序数据/状态 app_id

配置

服务器支持持久配置，以避免在每次重新启动时指定参数。它寻找 mobile-pixel.config.json 在当前工作目录中。服务器将 自动创建此文件 如果不存在，则使用默认设置。

动态切换

您可以使用 configure_device 该工具用于在不重新启动MCP服务器的情况下切换平台（例如从Android到iOS）或目标设备。这将更新 mobile-pixel.config.json 文件自动。

手动配置（mobile pixel.config.json）

{
  "platform": "android",
  "deviceId": "emulator-5554",
  "appId": "com.example.app",
  "mainActivity": ".MainActivity"
}

本地开发与安装

如果你想从源代码运行或贡献：

  1. 克隆: git clone <repo>
  2. 安装: npm install
  3. 构建: npm run build
  4. 跑:
    # Android
npm start
# iOS
npm start -- --platform=ios
  5. 测试: npm test

故障排除

“ADB/IDB不可用”

确保各自的工具(adb 对于Android， idb/xcrun 适用于iOS）已安装并位于您的系统PATH中。

许可证

阿帕奇-2.0

相关 MCP