AI导哈

屏幕实时分析工具

Vision Context MCP是一款实时屏幕分析工具，允许用户通过自然语言查询获取屏幕内容，无需手动截图，适用于开发调试、游戏开发、应用测试等多种场景。

  • by enfp-dev-studio
  • TypeScript
  • 本地部署
  • 更新于
在 GitHub 查看 enfp-dev-studio/context-capture-mcp

使用说明

视觉环境MCP👁️

停止截图。问吧。

让Claude实时查看您的屏幕。不再需要“让我截图并粘贴……”只要问“我的屏幕上有什么？”克劳德就会看到。

⚠️ 实验性：这是一个使用录像的实验项目。可能有粗糙的边缘，需要在您的系统上安装FFmpeg。

快速开始

添加到Claude桌面配置(~/Library/Application Support/Claude/claude_desktop_config.json):

{
  "mcpServers": {
    "vision-context": {
      "command": "npx",
      "args": ["-y", "vision-context-mcp"]
    }
  }
}

重新启动克劳德桌面。完成。

如何使用

自然地问：

  • “我的屏幕上有什么？” -查看当前可见的内容
  • “这个错误说明了什么？” -读取错误消息
  • “显示最后30秒” -回顾刚才发生的事情
  • “我现在要复制这个bug” -记录特定序列

自动检测开发工具（模拟器、Godot、Unity、DevTools）。

真实案例

🎮 游戏开发者

"The jump animation looks off in Godot"
"Show me the last 10 seconds when the particle glitch happened"
"I'm gonna trigger the collision bug now"

📱 应用程序开发

"Check the iOS Simulator, the button is misaligned"
"What happened when the app crashed?"
"Recording the signup flow bug"

🐛 调试

"This terminal error doesn't make sense, what is it?"
"The DevTools console shows something weird"
"Help me understand this stack trace"

🎨 设计

"Does this match the Figma design?"
"The hover state looks wrong, can you see it?"
"Show me the last few frames of this animation"

🔬 测试

"Monitor the test runner for failures"
"What happened during the failed test?"
"Recording this edge case for the bug report"

配置（可选）

自定义窗口优先级

{
  "mcpServers": {
    "vision-context": {
      "command": "npx",
      "args": ["-y", "vision-context-mcp"],
      "env": {
        "VISION_CONTEXT_WINDOW_PRIORITIES": "vscode,terminal,chrome,figma"
      }
    }
  }
}

通用设置

"env": {
  "VISION_CONTEXT_TARGET_WINDOW": "Simulator",        // Always monitor this window
  "VISION_CONTEXT_BUFFER_DURATION": "120",            // Keep last 2 minutes (default: 60s)
  "VISION_CONTEXT_AUTO_FOCUS_WINDOW": "true",         // Auto-focus window before capture (default: false)
  "VISION_CONTEXT_FRAME_MAX_WIDTH": "1280",           // Max frame width for LLM (default: 1280)
  "VISION_CONTEXT_FRAME_QUALITY": "85"                // JPEG quality 1-100 (default: 85)
}

按用例预设

Web开发人员：

"VISION_CONTEXT_WINDOW_PRIORITIES": "chrome,firefox,safari,vscode"

游戏开发者：

"VISION_CONTEXT_WINDOW_PRIORITIES": "godot,unity,unreal,blender"

移动开发者：

"VISION_CONTEXT_TARGET_WINDOW": "Simulator"

运作原理

Your Screen → Video Recording → Frame Extraction → Optimization → Claude Desktop
          ↳ 100% local, no cloud calls

基于视频的方法：

  • 黑匣子模式：总是记录最后60秒（就像汽车行车记录仪）
  • 原始质量：以源质量存储的视频
  • 智能处理：仅在需要时提取和压缩
  • 令牌优化：消除帧重复，调整质量以提高LLM效率

主要特点：

  • 通过FFmpeg实现跨平台（Windows、macOS、Linux）
  • 自动检测开发工具（模拟器、Godot、Unity等）
  • 背景窗口可选自动对焦
  • 本地AI分析（隐私优先）

先决条件

需要FFmpeg：此工具使用FFmpeg进行视频录制。先安装：

# macOS
brew install ffmpeg

# Ubuntu/Debian
sudo apt install ffmpeg

# Windows
# Download from https://ffmpeg.org/download.html

发展

git clone https://github.com/yourusername/vision-context-mcp.git
cd vision-context-mcp
bun install
bun run build

已知问题

  • 需要安装FFmpeg并在PATH中
  • 在高DPI显示器上录制视频可能会占用大量资源
  • 首次下载AI模型可能需要几分钟
  • 某些窗口在隐藏/最小化时可能无法捕获

许可证

麻省理工学院

没有更多的截图地狱。问问你的屏幕上有什么。

相关 MCP