AI代理桌面控制SDK

PilotGentic是一个用于macOS的MCP服务器,通过46+工具让AI代理物理控制桌面,包括点击、输入、截图、遍历辅助功能树、管理文件和运行Shell命令等。

  • by 1genadam
  • JavaScript
  • 本地部署
  • 更新于
在 GitHub 查看 1genadam/pilotgentic-sdk

使用说明

飞行员通用技能SDK

PilotGentic是macOS的MCP(模型上下文协议)服务器,它通过46多种工具为AI代理提供对桌面的物理控制——点击、键入、截图、遍历可访问性树、管理文件、运行shell命令等。它作为与Node.js MCP服务器配对的本地macOS应用程序运行,并连接到任何兼容MCP的AI客户端(Claude Desktop、Cursor等)。


为PilotGentic打造

PilotGentic支持 对接技能:社区构建的扩展,在每个用户会话中都显示为一流的MCP工具。技巧是一个小的JSON清单文件,它告诉PilotGentic要运行的shell命令或要调用的HTTP端点。无需Swift、Xcode,也不需要重新编译应用程序。

对接技能如何工作

  1. 技能清单(manifest.json)描述了一个或多个工具。
  2. 用户将清单放入 ~/.pilotgentic/docked/your-skill-name/manifest.json.
  3. PilotGentic在启动时获取清单,并在MCP服务器上注册每个工具。
  4. AI代理现在可以通过以下方式调用您的技能 tool 标识符,就像任何内置工具一样。

每种技能对应以下任一技能:

  • A. shell 命令 (command)--PilotGentic运行命令,将stdout捕获为JSON,并返回它。
  • 一 处理程序 (handler_url)--PilotGentic POST或GET返回JSON响应。

技能清单格式

放下一个 manifest.json 在 ~/.pilotgentic/docked/<your-skill>/ 采用这种结构:

{
  "name": "My Skill Pack",
  "version": "1.0.0",
  "author": "your-github-handle",
  "skills": [
    {
      "tool": "my_tool_id",
      "name": "My Tool",
      "description": "What this tool does — the AI reads this to decide when to use it.",
      "category": "productivity",
      "tier": "free",
      "command": "echo '{\"success\": true}'",
      "example_prompt": "run my tool"
    }
  ]
}

完整的JSON模式:请参阅 skill-schema.json.

领域

字段 必填 描述
name 是 技能包的人类可读名称
version no Semver版本字符串
author 否 GitHub句柄或名称
skills 是 技能定义数组

技能领域

字段 必填 描述
tool yes 唯一标识符,小写 snake_case
name yes 显示名称以Claude显示
description 是的 该技能的作用是什么——人工智能代理读取此内容
category 否 分组标签(例如。 browser, productivity, dev)
tier 没有 free (默认), pro,或 max
command 要运行的 Shell命令之一
handler_url 要调用的 HTTP端点之一
handler_method 没有 GET 或 POST (默认值 GET)
example_prompt 否 触发此技能的示例短语

每种技能都必须有一个 command 或 handler_url.


例子

(a) 简单的shell命令技能

最简单的技能是运行shell命令并将其输出作为JSON返回。

~/.pilotgentic/docked/hello-world/manifest.json

{
  "name": "Hello World",
  "version": "1.0.0",
  "author": "your-github-handle",
  "skills": [{
    "tool": "hello_world",
    "name": "Hello World",
    "description": "Returns a hello message. Simple example of a command-based skill.",
    "category": "example",
    "tier": "free",
    "command": "echo '{\"success\": true, \"message\": \"Hello from PilotGentic!\"}'",
    "example_prompt": "say hello"
  }]
}

完整示例: examples/hello-world/

(b) HTTP处理程序技能

调用您自己运行的本地HTTP服务器。适用于需要持久状态、外部API或复杂逻辑的技能。

~/.pilotgentic/docked/my-http-skill/manifest.json

{
  "name": "My HTTP Skill",
  "version": "1.0.0",
  "author": "your-github-handle",
  "skills": [{
    "tool": "my_http_skill",
    "name": "My HTTP Skill",
    "description": "Calls a local HTTP server.",
    "category": "example",
    "tier": "free",
    "handler_url": "http://localhost:8080/my-skill",
    "handler_method": "POST",
    "example_prompt": "run my custom skill"
  }]
}

最小Python参考服务器位于 examples/http-skill/server.py.

完整示例: examples/http-skill/


如何安装技能

  1. 下载或克隆技能库。
  2. 将技能文件夹复制(或符号链接)到 ~/.pilotgentic/docked/:
    cp -r hello-world ~/.pilotgentic/docked/
    
  3. 重新启动PilotGentic(退出并从菜单栏重新打开)。
  4. 新工具会自动出现在您的MCP会话中。

如何分享你的技能

  1. 将您的技能发布为公共GitHub存储库。
  2. 打开此仓库的拉取请求,添加一行 SKILLS.md.
  3. 使用 新技能问题模板 如果你想先通过issue提交。

社区——开放式爪生态系统

PilotGentic是 张开爪子 生态系统:适用于macOS的开放、可组合的AI代理扩展。这里构建的技能适用于任何兼容Open Claw的主机。分享、混音和扩展。