屏幕视觉分析工具

Condor Eye是一款轻量级透明覆盖应用,能够捕获屏幕区域并通过Anthropic API进行视觉分析,适用于AI代理的屏幕内容识别与描述。

  • by CondorCommodore
  • Rust
  • 本地部署
  • 更新于
在 GitHub 查看 CondorCommodore/condor-eye

使用说明

秃鹰之眼

让你的AI代理能够看到屏幕上的内容。

Condor Eye是一款轻量级、透明的覆盖应用程序,可捕捉屏幕区域并将其发送到Anthropic API进行视觉分析。它公开了一个HTTP API和一个MCP服务器,这样Claude Code(或任何代理)就可以截图、描述UI内容、定位窗口和用绘图笔注释——所有这些都是通过编程实现的。

建于 金牛座2 (Rust+WebView2)。在Windows上本机运行。


特性

  • 透明覆盖层 --无框架,始终位于顶部窗口,具有可调整大小的捕获帧。通过画面可见的东西就是被捕捉到的东西。
  • 人工智能驱动的视觉 -将屏幕截图发送到Anthropic API(Claude),并返回结构化描述或JSON提取。
  • HTTP API — POST /api/capture, POST /api/locate, GET /api/status 在9050端口。任何可以发出HTTP请求的工具都可以使用Condor Eye。
  • MCP服务器 --暴露 condor_eye_capture, condor_eye_locate, condor_eye_windows,以及 condor_eye_status 通过Claude Code工具 模型上下文协议.
  • 焦点框 --可拖动/可调整大小的突出显示区域,用于将AI的注意力集中在捕获帧内的特定区域。
  • 绘图笔 --手绘注释由 完美写意.五种颜色预设,压力模拟,包含在发送到API的屏幕截图中。
  • 提取曲线 --针对不同捕获场景(深度阶梯、烛台图、报价屏幕、热图)的可配置JSON配置文件。
  • 真实值对比 --可选的Redis集成,用于将AI提取与已知的良好数据进行比较。
  • 全局热键 — Ctrl+Shift+C 从任何地方触发捕获。

建筑

┌─────────────────────────────────────────────────────┐
│  WebView2 Frontend (src/)                           │
│  ┌──────────┐ ┌──────────┐ ┌────────┐ ┌──────────┐ │
│  │ Capture  │ │ Focus    │ │ Draw   │ │ Results  │ │
│  │ Frame    │ │ Box      │ │ Canvas │ │ Panel    │ │
│  └──────────┘ └──────────┘ └────────┘ └──────────┘ │
├─────────────────────────────────────────────────────┤
│  Rust Backend (src-tauri/)                          │
│  ┌──────────┐ ┌──────────┐ ┌────────┐ ┌──────────┐ │
│  │ capture  │ │ claude   │ │ http   │ │ compare  │ │
│  │ .rs      │ │ .rs      │ │ _api   │ │ .rs      │ │
│  │ Win32 GDI│ │ Anthropic│ │ axum   │ │ Diff     │ │
│  └──────────┘ └──────────┘ └────────┘ └──────────┘ │
├─────────────────────────────────────────────────────┤
│  MCP Server (mcp/)                                  │
│  Node.js stdio transport — wraps HTTP API           │
└─────────────────────────────────────────────────────┘

入门指南

先决条件

  • 防锈工具链 在Windows上(通过 生锈)
  • Node.js 18+(适用于MCP服务器)
  • 无烟煤API键 --set ANTHROPIC_API_KEY 在您的环境或 .env 文件

构建与运行

# Development mode
cargo tauri dev

# Production build
cargo tauri build

# Run tests
cd src-tauri && cargo test

环境变量

变量 必填 默认 描述
ANTHROPIC_API_KEY 是 - 您的人类API密钥
CLAUDE_MODEL 没有 claude-haiku-4-5-20251001 视觉通话模型
CONDOR_EYE_PORT 没有 9050 HTTP API端口
CONDOR_EYE_BIND 没有 0.0.0.0 HTTP API绑定地址
REDIS_URL 没有 redis://127.0.0.1:6379 Redis用于地面实况比较

应用程序查找 .env 多个位置的文件(首先找到的获胜):

  1. 当前工作目录
  2. 父目录(用于开发模式)
  3. %APPDATA%/Condor Eye/.env (已安装的应用程序)
  4. 可执行文件旁边

WSL用户

如果从WSL开发,请使用 cargo.exe 要调用Windows Rust工具链:

cargo.exe tauri dev
cargo.exe tauri build

HTTP API绑定到 0.0.0.0 默认情况下,您可以从Windows主机IP(通常是WSL网关)的WSL访问它。

HTTP API

应用程序启动 阿克苏姆 端口9050上的HTTP服务器。

POST /api/capture

捕获屏幕区域并获取AI描述。

curl -X POST http://localhost:9050/api/capture \
  -H "Content-Type: application/json" \
  -d '{"prompt": "Describe what you see.", "include_image": true}'

参数:

  • prompt --问AI关于截图的什么
  • region — {x, y, width, height} 以像素为单位(省略使用应用程序的边框)
  • hwnd --在捕获之前将窗口句柄带到前台
  • keys --在捕获之前发送的按键组合(例如。, ["ctrl+3"] 切换选项卡)
  • include_image --返回base64 PNG作为响应
  • profile --提取配置文件名称(默认值: depth)

POST /api/locate

全屏截图以查找窗口或UI元素。

curl -X POST http://localhost:9050/api/locate \
  -H "Content-Type: application/json" \
  -d '{"query": "the Chrome browser window"}'

GET /api/status

健康检查和配置。

curl http://localhost:9050/api/status

MCP 服务器

MCP服务器 mcp/ 封装用于Claude代码集成的HTTP API。

全球注册

claude mcp add --scope user condor-eye -- node /path/to/mcp/index.js

可用工具

工具 说明
condor_eye_capture 屏幕内容的捕捉+AI描述
condor_eye_locate 在屏幕上查找窗口或UI元素
condor_eye_windows 列出可见窗口(免费,无API调用)
condor_eye_status 健康检查

/screen 命令

回购包含一个克劳德代码 自定义命令 在 .claude/commands/screen.md克隆后,只需键入 /screen 在任何Claude Code会话中:

命令 操作
/screen 捕捉叠加帧区域
/screen firefox 查找Firefox,放在前面,捕获
/screen chrome tab 3 聚焦Chrome,切换到选项卡3,捕获
/screen full 捕获整个屏幕

提取配置文件

JSON文件 profiles/ 定义提取行为:

简介 用例
depth.json L2深度/DOM阶梯
candle.json 蜡烛图OHLC
quote.json 报价屏幕出价/要价/最后报价
heatmap.json 热图强度
custom.json 用户可编辑模板

配置文件指定提取提示、用于比较的可选真值源和比较配置。

成本

Condor Eye的用途 claude-haiku-4-5-20251001 默认情况下,这是最快、最便宜的克劳德型号。在API的使用中,典型的捕获成本约为0.003-0.05美元。您可以通过以下方式切换到功能更强大的型号 CLAUDE_MODEL 环境变量。

许可证

麻省理工学院