AI视觉分析服务器

Sight MCP是一款强大的AI视觉分析服务器,支持通过OpenAI GPT-4o、Claude等API分析图像和视频,适用于多种AI视觉处理场景。

  • by nightwhite
  • TypeScript
  • 本地部署
  • 更新于
在 GitHub 查看 nightwhite/sight-mcp

使用说明

Sight MCP - AI视觉分析服务器

一个功能强大的MCP服务器,为Claude桌面版带来AI视觉能力。使用OpenAI GPT-4o、Claude或任何兼容的视觉API来分析图像和视频。

中文版本见 README_CN.md 翻译为中文是:“README 中文版文件(Markdown 格式)” 以获取完整的中文文档。

特点/功能

  • 🖼️ 图像分析分析PNG、JPG、JPEG文件(最大5MB)
  • 🎥 视频分析分析MP4、MOV、M4V文件(最大8MB)
  • 🌐 远程URL支持从HTTP/HTTPS URL处理图像和视频
  • 🔧 多API支持与OpenAI、Anthropic及兼容API协同工作
  • 📁 本地文件处理安全文件验证和自动编码
  • 🛡️ 错误处理全面的错误管理和验证

快速入门

1. 安装服务器

选项A:npx(推荐 - 无需安装)

# Just add to Claude Desktop config below - nothing to install!

选项B:全局安装

npm install -g sight-mcp
# Or: bun install -g sight-mcp

2. 配置Claude桌面版

将此添加到您的Claude桌面配置中(~/Library/Application Support/Claude/claude_desktop_config.json):

{
  "mcpServers": {
    "sight-mcp": {
      "type": "stdio",
      "command": "npx",
      "args": ["-y", "sight-mcp"],
      "env": {
        "OPENAI_API_KEY": "your-openai-api-key",
        "API_URL": "https://api.openai.com/v1/chat/completions",
        "MODEL": "gpt-4o"
      }
    }
  }
}

3. 配置您的API提供商

所需的环境变量:

  • OPENAI_API_KEY (必填):您的API密钥
  • API_URL (必填):API终端URL
  • MODEL (必填):模型名称

OpenAI GPT-4o(注:此处“o”可能代表某种特定版本或功能,但根据上下文无法确定具体含义,因此直接保留原样翻译)

"env": {
  "OPENAI_API_KEY": "sk-your-openai-key",
  "API_URL": "https://api.openai.com/v1/chat/completions",
  "MODEL": "gpt-4o"
}

Anthropic Claude(注:此处“Anthropic”为公司名,“Claude”为该公司开发的人工智能模型名,直接翻译为“人类中心学派克劳德”并不准确,因此保留原英文表述)

"env": {
  "OPENAI_API_KEY": "sk-ant-your-claude-key",
  "API_URL": "https://api.anthropic.com/v1/messages",
  "MODEL": "claude-3-5-sonnet-20241022"
}

智浦AI GLM-4.5v

"env": {
  "OPENAI_API_KEY": "your-zhipu-api-key",
  "API_URL": "https://open.bigmodel.cn/api/paas/v4/chat/completions",
  "MODEL": "glm-4v"
}

其他兼容的API

任何遵循OpenAI视觉格式的API都可以工作。只需更新 API_URL 并且 MODEL 因此。

4. 重启Claude桌面版

更新配置后,重启Claude桌面应用,您将看到可用的视觉工具!

使用示例

配置完成后,您可以在Claude中使用这些工具:

图像分析

Analyze this image: /path/to/photo.jpg
What do you see in this screenshot? /Users/desktop/screen.png

视频分析

Analyze the video at https://example.com/demo.mp4 and describe what happens
What's in this video file? /path/to/recordings.mov

在Claude代码中使用

当使用Claude Code时,请通过以下方式添加此MCP服务器:

claude mcp add sight-mcp --env OPENAI_API_KEY=your_api_key --env API_URL=https://api.openai.com/v1/chat/completions --env MODEL=gpt-4o -- npx -y sight-mcp

或者对于不同的供应商:

# Anthropic Claude
claude mcp add sight-mcp --env OPENAI_API_KEY=your_claude_key --env API_URL=https://api.anthropic.com/v1/messages --env MODEL=claude-3-5-sonnet-20241022 -- npx -y sight-mcp

# Zhipu AI
claude mcp add sight-mcp --env OPENAI_API_KEY=your_zhipu_key --env API_URL=https://open.bigmodel.cn/api/paas/v4/chat/completions --env MODEL=glm-4v -- npx -y sight-mcp

添加后,这些工具可直接在Claude代码对话中使用,具体为:

  • mcp__sight-mcp__analyze_image
  • mcp__sight-mcp__analyze_video

支持的文件格式

图片

  • 格式PNG,JPG,JPEG
  • 最大尺寸5兆字节
  • 来源本地文件或HTTP/HTTPS URL

视频

  • 格式MP4、MOV、M4V
  • 最大尺寸8兆字节
  • 来源本地文件或HTTP/HTTPS URL

可用工具

analyze_image

使用AI视觉模型分析图像。

参数:

  • image (字符串):图像的本地文件路径或远程URL
  • prompt (字符串):你想了解的关于这张图片的信息

analyze_video

利用人工智能视觉模型分析视频。

参数:

  • video (字符串):视频的本地文件路径或远程URL
  • prompt (字符串):你想了解关于这个视频的内容

故障排除

常见问题

“服务器未找到”错误:

  • 确保在配置更改后重启 Claude Desktop
  • 请检查您的API密钥是否有效且有可用额度
  • 验证 API_URL 对于您的服务提供商来说是正确的

“文件太大”错误:

  • 图片:最大5MB
  • 视频:最大8MB
  • 尝试压缩文件或使用URL上传较大文件

“不支持的格式”错误:

  • 图片:使用PNG、JPG或JPEG格式
  • 视频:使用MP4、MOV或M4V格式

API认证错误:

  • 再次核对你的 OPENAI_API_KEY
  • 确保密钥已启用视觉功能
  • 验证 API_URL 与您的服务提供商相匹配

调试模式

添加 "DEBUG": "true" 查看您的环境变量以获取详细日志:

"env": {
  "OPENAI_API_KEY": "your-key",
  "API_URL": "https://api.openai.com/v1/chat/completions",
  "MODEL": "gpt-4o",
  "DEBUG": "true"
}

贡献;做出贡献

  1. 为仓库创建分支(或“克隆仓库”)
  2. 创建一个特性分支(git checkout -b feature/amazing-feature)
  3. 提交您的更改(git commit -m 'Add amazing feature')
  4. 推送至分支(git push origin feature/amazing-feature)
  5. 打开一个拉取请求

许可证

这个项目遵循MIT许可证授权——详见 许可证 文件中有详细信息。

支持

  • 📧 这个符号本身在中文中没有直接对应的翻译,它是一个电子邮件的图标或符号,通常用来表示与电子邮件相关的概念。如果非要翻译其含义,可以表述为“电子邮件图标”或“电子邮件符号”。在实际应用中,我们通常直接使用这个符号来代表电子邮件,而不必翻译其具体含义。 安全问题请通过私有的GitHub问题进行报告