AI导哈

计算机视觉演示

一个全面的计算机视觉演示，展示实时人物检测、跟踪和活动识别功能，适用于本地计算机视觉任务和IDE集成。

  • by nudro
  • Python
  • 本地部署
  • 更新于
在 GitHub 查看 nudro/cv-mcp-server-demo

使用说明

计算机视觉MCP演示

一个全面的计算机视觉演示，展示了使用YOLO模型的实时人员检测、跟踪和活动识别。此repo旨在与 GitHub MCP服务器 （由Cursor IDE提供）和作为本地计算机视觉任务的独立演示。

🚀 特性

  • 实时人员检测：基于YOLO的人检测与网络摄像头集成
  • 活动识别：基于X-CLIP的动作识别，支持15种以上的活动
  • 目标跟踪：跨视频帧的持续人员跟踪
  • 多个演示脚本：用于不同用例的独立脚本

📋 先决条件

  • Python 3.8+
  • 苹果Silicon Mac（M1/M2/M3）可实现最佳性能
  • 网络摄像头访问
  • Git

🛠️ 安装

  1. 克隆存储库:

    git clone https://github.com/nudro/cv-mcp-server-demo.git
cd cv-mcp-server-demo

  2. 安装依赖项:

    pip install -r requirements.txt

  3. 下载YOLO型号 （首次运行时自动）：

    • YOLO11s.pt（高精度）
    • YOLO11n.pt（快速推理）

🎯 快速开始

仅用于人员检测

python direct_webcam_person_detection.py

活动识别

python direct_activity_recognition.py

MCP服务器（适用于高级用户）

如果您想运行自己的MCP服务器（大多数Cursor用户不需要）：

python cv_mcp_server_advanced.py

注： 对于大多数用户来说，MCP服务器由Cursor IDE提供，您不需要运行自己的服务器。使用本地脚本进行直接计算机视觉演示。

📁 项目结构

cv-mcp-server-demo/
├── README.md                           # This file
├── requirements.txt                    # Python dependencies
├── cv_mcp_server_advanced.py           # (Optional) Standalone MCP server implementation
├── direct_webcam_person_detection.py   # Person detection demo
├── direct_activity_recognition.py      # Activity recognition demo
├── ultralytics_action_recognition.py   # Ultralytics action recognition example
├── ultralytics_interactive_tracker.py  # Ultralytics interactive tracker example
├── cursor_mcp_config.json              # Cursor IDE MCP configuration
├── mcp_config.json                     # Standard MCP configuration
├── LICENSE                             # MIT License
├── .gitignore                          # Git ignore file

🎮 用法

人员检测

  • 目的：使用YOLO进行实时人员检测
  • 特性:
    • 仅限人员检测（0级）
    • 边界框可视化
    • 置信度得分
    • 中心点跟踪
  • 控制：按“q”退出

活动识别

  • 目的：检测和分类人类活动
  • 支持的操作:
    • 走路、跑步、坐着、站着、跳舞
    • 跳跃、挥手、鼓掌、躺下、做饭
    • 阅读、写作、打字、锻炼、伸展
  • 特性:
    • 使用唯一ID进行人员跟踪
    • 基于置信度评分的行动分类
    • 时间分析（8帧序列）
  • 控制：按“q”退出

MCP服务器（高级）

  • 目的：用于AI工具集成的模型上下文协议服务器
  • 特性:
    • 计算机视觉任务的工具注册
    • 资源管理
    • 异步处理能力
  • 配置：使用提供的配置文件进行IDE集成
  • 备注：大多数用户应该使用Cursor IDE提供的MCP服务器。

🔧 配置

游标IDE集成

复制 cursor_mcp_config.json 如果您想使用自己的服务器，请访问您的Cursor配置目录：

cp cursor_mcp_config.json ~/.cursor/mcp_servers/

标准MCP配置

使用 mcp_config.json 用于标准MCP客户端集成。

📊 演出

  • 检测速度：每帧约15ms（60+FPS）
  • 动作识别：每10帧提高效率
  • 设备：针对苹果硅（MPS）进行了优化
  • 记忆：高效的GPU内存使用

🛠️ 发展

添加新操作

编辑 direct_activity_recognition.py 并修改 ACTION_LABELS 列表：

ACTION_LABELS = [
    "walking", "running", "sitting", "standing", "dancing", 
    "jumping", "waving", "clapping", "lying down", "cooking",
    "reading", "writing", "typing", "exercising", "stretching",
    "your_new_action"  # Add here
]

自定义检测

修改演示脚本中的置信阈值和检测参数：

# Person detection confidence
results = yolo.track(frame, persist=True, classes=[0], conf=0.5)

# Action recognition confidence
if confidence > 0.3:  # Adjust threshold

🤝 贡献与扩展

  1. 分叉存储库
  2. 创建要素分支
  3. 进行更改
  4. 彻底测试
  5. 提交拉取请求

使用MCP工具进行扩展

如果你想在GitHub MCP服务器上注册自己的工具（如Cursor所使用的），请参阅 光标文档 或 GitHub MCP服务器文档 获取插件/工具API的详细信息。

📄 许可证

此项目根据MIT许可证获得许可-有关详细信息，请参阅许可证文件。

🙏 致谢

  • Ultralytics：YOLO模型和示例
  • 微软：X-CLIP动作识别模型
  • OpenCV：计算机视觉框架
  • PyTorch 的：深度学习框架

🐛 故障排除

常见问题

  1. 未找到网络摄像头:

    • 确保授予网络摄像头权限
    • 检查是否有其他应用程序正在使用网络摄像头

  2. 模型下载问题:

    • 检查互联网连接
    • 模型在首次运行时自动下载

  3. 性能问题:

    • 确保您使用Apple Silicon以获得最佳性能
    • 关闭其他GPU密集型应用程序

  4. MCP服务器错误:

    • 如果使用Cursor，请确保GitHub MCP服务器正在运行（通常是自动运行的）
    • 如果运行自己的服务器，请检查MCP库版本兼容性和配置文件

支持

对于问题和疑问：

  1. 检查故障排除部分
  2. 查看代码注释
  3. 在GitHub上打开一个问题

📈 未来的增强功能

  • []多人活动识别
  • []手势识别
  • []姿态估计集成
  • []视频文件处理
  • []实时分析仪表板
  • []移动应用程序集成
  • []云部署支持

相关 MCP