AI导哈

计算机使用执行器

CUE是AI计算机使用代理的安全中间件，用于监控、执行策略并提供防护措施，确保AI代理安全合规地与桌面交互。

  • by yonghwan1106
  • Python
  • 本地部署
  • 更新于
在 GitHub 查看 yonghwan1106/computer-use-engine

使用说明

CUE——计算机使用执行器

英语 | 韩语

AI代理和您的桌面之间缺少安全层。

CUE是用于AI计算机使用代理的安全中间件。它监控、执行策略并提供护栏，以便AI代理可以安全、合规地与您的桌面交互。

问题

人工智能计算机的使用正在快速加速，但安全基础设施并没有跟上：

  • 快速采用 --40%的企业计划到2026年底部署人工智能计算机使用代理
  • 无护栏 --只有50%的组织对自主代理有任何安全控制
  • 监管即将到来 --《欧盟人工智能法案》（2026年8月）要求对高风险人工智能系统进行人工监督

在人工智能代理和桌面之间没有开源框架来执行安全政策。CUE填补了这一空白。

CUE做什么

┌─────────────────────────────────┐
│  Any AI Agent                   │  Claude, GPT, Agent-S, ...
│  (natural language in/out)      │
└──────────┬──────────────────────┘
           │ MCP protocol (stdio)
┌──────────▼──────────────────────┐
│  CUE — Computer Use Enforcer   │  ← this project
│  ┌────────────────────────────┐ │
│  │ Policy Engine              │ │  risk classification, action filtering
│  │ Guardrails                 │ │  app blocklist, key blocking, rate limits
│  │ Audit Logger               │ │  JSONL compliance trail
│  │ Monitor (coming soon)      │ │  real-time dashboard & event streaming
│  └────────────────────────────┘ │
└──────────┬──────────────────────┘
           │ pyautogui / pygetwindow / pywin32
┌──────────▼──────────────────────┐
│  Desktop OS                     │
└─────────────────────────────────┘

核心价值主张

能力 状态 描述
行动护栏 可用 应用程序阻止列表、密钥阻止、每会话操作限制
审计日志 可用 记录到JSONL以进行合规性审查的每个操作
故障保护 可用 鼠标到（0,0）立即中止
策略引擎 第一阶段 风险分类，基于规则的行动过滤
实时监控 第2阶段 带有事件流的实时仪表板
循环中的人类 第3阶段 高风险行动的审批工作流程
代理适配器 第4阶段 与代理无关的后端（Claude、GPT、开源）
合规报告 第5阶段 欧盟人工智能法案SOC 2的自动审计报告

快速开始

1.安装

git clone https://github.com/yonghwan1106/computer-use-engine.git
cd computer-use-engine
pip install -e .

2.向Claude注册

python scripts/register.py

这会自动将CUE添加到Claude Desktop和Claude Code配置中。

3.重启克劳德，然后出发

重新启动克劳德桌面或克劳德代码。然后问：

“截取我的屏幕截图”

打开记事本，键入“你好，CUE！”

“显示所有打开的窗口”

特点

MCP工具（12）

屏幕截图和屏幕

工具 说明 参数
cue_screenshot 以JPEG格式捕获全屏或某个区域 region_x, region_y, region_width, region_height （全部可选）
cue_screen_size 获取屏幕分辨率 --
cue_cursor_position 获取当前光标坐标 --

老鼠

工具 说明 参数
cue_click 点击坐标 x, y, button （左/右/中）， clicks (1-3)
cue_scroll 滚动至指定位置 x, y, clicks （正=向上，负=向下）
cue_move 移动光标 x, y
cue_drag 从A点拖动到B点 start_x, start_y, end_x, end_y, button, duration

键盘

工具 说明 参数
cue_type 键入文本（非ASCII类韩语/CJK自动剪贴板回退） text
cue_key 按键或组合键 key （例如。 "enter", "ctrl+c", "alt+tab")

窗口管理

工具 说明 参数
cue_list_windows 列出所有具有几何图形的可见窗口 --
cue_focus_window 通过部分标题匹配来聚焦窗口 title
cue_window_info 获取活动窗口信息 --

安全特性

功能 描述 默认值
行动界限 需要重置前每个会话的最大操作数 100
应用程序阻止列表 防止与敏感应用程序交互 注册表编辑器，Windows安全
关键块列表 阻止危险的按键组合 win+r, ctrl+alt+del
审计日志 记录到JSONL文件的每个操作 cue_audit.jsonl
故障保护 将鼠标移动到（0，0）以立即中止 已启用
动作延迟 为安全起见，动作之间暂停 50ms

安全政策

所有安全设置均可在中配置 config/default.yaml:

safety:
  max_actions_per_session: 100
  action_delay: 0.05
  failsafe: true
  allowed_apps: []
  blocked_apps:
    - "Windows Security"
    - "Registry Editor"
    - "Task Manager"
  blocked_keys:
    - "win+r"
    - "alt+f4"
    - "ctrl+alt+del"

手动注册

如果您更喜欢手动配置而不是使用 register.py:

克劳德桌面版 --编辑 %APPDATA%/Claude/claude_desktop_config.json:

{
  "mcpServers": {
    "cue": {
      "command": "python",
      "args": ["-m", "cue"]
    }
  }
}

克劳德代码 --编辑 ~/.claude/settings.json:

{
  "mcpServers": {
    "cue": {
      "command": "python",
      "args": ["-m", "cue"]
    }
  }
}

项目结构

computer-use-engine/
├── cue/
│   ├── __init__.py            # Package version
│   ├── __main__.py            # python -m cue entry point
│   ├── server.py              # FastMCP server initialization
│   ├── tools/
│   │   ├── screenshot.py      # Screen capture tools (3)
│   │   ├── mouse.py           # Mouse control tools (4)
│   │   ├── keyboard.py        # Keyboard input tools (2)
│   │   └── window.py          # Window management tools (3)
│   ├── safety/
│   │   ├── guardrails.py      # Action limits, app/key blocking
│   │   └── logger.py          # JSONL audit logger
│   ├── core/                  # Policy engine, risk scoring (Phase 1)
│   ├── monitor/               # Real-time dashboard (Phase 2)
│   ├── adapters/              # Agent-agnostic backends (Phase 4)
│   └── utils/
│       ├── screen.py          # DPI awareness, image processing
│       └── keymap.py          # xdotool → pyautogui key mapping
├── config/
│   └── default.yaml           # Safety configuration
├── scripts/
│   └── register.py            # Auto-registration for Claude
├── tests/                     # Unit tests
├── pyproject.toml
├── LICENSE                    # Apache 2.0
└── README.md

发展

# Install with dev dependencies
pip install -e ".[dev]"

# Run tests
pytest tests/ -v

# Run the server directly (stdio mode)
python -m cue

路线图

阶段 焦点 状态
最有价值球员 MCP服务器、12个工具、基本护栏 完成
第一阶段 策略引擎、风险分类、会话管理 下一页
第2阶段 实时监控仪表板，事件流 计划
第三期 人工循环审批工作流 已计划
阶段4 代理无关适配器（Claude、GPT、Agent-S） 计划中
阶段5 合规报告（欧盟人工智能法案，SOC 2） 计划中

需求

  • Python 3.11+
  • Windows 10/11
  • 支持MCP的Claude Desktop或Claude Code

贡献

欢迎投稿！请参阅 许可证 了解详情。

许可证

Apache 2.0

相关 MCP