AI导哈

Windows桌面控制服务

一个通过AI助手控制和感知Windows 11桌面的MCP服务器，提供视觉捕捉、音频转录和输入控制功能。

  • by utenadev
  • C#
  • 本地部署
  • 1 星标
  • 更新于
在 GitHub 查看 utenadev/mcp-windows-screen-capture

使用说明

windows桌面使用mcp

用于从AI助手控制和感知Windows 11的MCP服务器。 它为AI提供了“眼睛”（视觉）、“耳朵”（听觉）和“肢体”（输入控制），使桌面环境可以从Claude等MCP客户端访问。

英语 | 日本语

主要特点

  • 视觉（屏幕截图）：捕获监视器、特定窗口或任意区域。支持GPU加速（可以在没有黑屏的情况下捕获YouTube/Netflix）。
  • 听力（音频和转录）：使用Whisper AI录制系统音频或麦克风，并进行高质量的本地转录。
  • 四肢（桌面输入）：鼠标移动、单击、拖动和安全导航键操作（安全限制）。
  • 实时监控（流媒体）：实时监控屏幕变化，可通过浏览器中的HTTP流进行查看。
  • 分析：使用UI自动化（Markdown）和AI优化的视觉特征从窗口中提取结构化文本。

适用于非开发人员（预构建.exe）

如果您没有开发环境，可以从以下位置使用预构建的可执行文件 发布.

1.下载

  1. 去 发布页面
  2. 下载最新 WindowsDesktopUse.zip
  3. 提取到您喜欢的位置（例如。， C:\Tools\WindowsDesktopUse)

2.配置克劳德桌面

选项A：自动设置

cd C:\Tools\WindowsDesktopUse
WindowsDesktopUse.exe setup

选项B：手动设置 将此添加到您的 %AppData%\Roaming\Claude\claude_desktop_config.json:

{
  "mcpServers": {
    "windows-desktop-use": {
      "command": "C:\\Tools\\WindowsDesktopUse\\WindowsDesktopUse.exe",
      "args": ["--httpPort", "5000"]
    }
  }
}

3.重新启动克劳德桌面

关闭并重新打开Claude Desktop以加载新的MCP服务器。

面向开发人员（从源代码构建）

1.建造

dotnet build src/WindowsDesktopUse.App/WindowsDesktopUse.App.csproj -c Release

2.配置克劳德桌面

选项A：自动设置

WindowsDesktopUse.exe setup

选项B：手动设置 将此添加到您的 %AppData%\Roaming\Claude\claude_desktop_config.json:

{
  "mcpServers": {
    "windows-desktop-use": {
      "command": "C:\\path\\to\\WindowsDesktopUse.exe",
      "args": ["--httpPort", "5000"]
    }
  }
}

3.验证安装

WindowsDesktopUse.exe doctor

CLI命令

doctor -系统诊断

检查系统兼容性和配置。

WindowsDesktopUse.exe doctor
WindowsDesktopUse.exe doctor --verbose    # Show detailed information
WindowsDesktopUse.exe doctor --json       # Output in JSON format

setup -Claude桌面配置

自动配置Claude Desktop集成。

WindowsDesktopUse.exe setup                              # Use default config path
WindowsDesktopUse.exe setup --config-path "C:\custom\path.json"  # Custom config path
WindowsDesktopUse.exe setup --no-merge                    # Overwrite existing config
WindowsDesktopUse.exe setup --dry-run                    # Show config without writing

whisper -Whisper AI模型

管理Whisper AI模型进行音频转录。

WindowsDesktopUse.exe whisper          # List available models and check installation
WindowsDesktopUse.exe whisper --list   # Show model list only

可用的MCP工具

视觉

  • visual_list：列出监视器、窗口或全部。切换至 type 参数。
  • visual_capture：捕获监视器、窗口或区域。动态质量控制（正常=30/详细=70）。
  • visual_watch：持续监控/流媒体。切换视频/监视器/与 mode 参数。
  • visual_stop：使用统一命令停止所有会话（观看、捕获、音频）。

听证会

  • listen：录制系统音频或麦克风，并使用Whisper AI转录为文本。

输入控制

  • input_mouse：统一鼠标操作（移动、单击、拖动） action 参数。
  • input_window：窗口操作（关闭、最小化、最大化、恢复） action 参数。
  • keyboard_key：按安全导航键（Enter、Tab、箭头键等）。为了安全起见，文本键入和修饰键（Ctrl、Alt、Win）被阻止。

效用

  • read_window_text：使用UI自动化将窗口文本提取为Markdown。

文档索引

  • 工具参考 -详细的命令列表和使用示例（日语）。
  • 开发指南 -关于构建、测试和架构的详细信息（日语）。
  • Whisper AI -有关语音识别特征和模型的信息。
  • 质量检测报告 -按质量设置分析信息质量差异。

需求

  • Windows 11（或Windows 10 1809+）
  • .NET 8.0运行时/SDK
  • 高DPI感知（使用物理像素坐标）

许可证

MIT许可证。看 许可证 文件。

相关 MCP