语言模型比较服务器

该MCP服务器帮助用户通过GitHub Models和AzureML与不同语言模型交互并比较它们的响应,适用于AI开发者和研究人员。

  • by michaelwybraniec
  • TypeScript
  • 本地部署
  • 更新于
在 GitHub 查看 michaelwybraniec/mcp-server-gh-models-helper

使用说明

GitHub模型助手MCP服务器

此MCP服务器可帮助您通过GitHub models和AzureML与不同的语言模型进行交互和比较,包括OpenAI、Microsoft、Meta、Mistral等。

特性

  • 列出带有元数据的可用语言模型
  • 比较不同模型对同一提示的响应
  • 按各种标准过滤和排序模型
  • 全面的错误处理和回退
  • 可视化模型比较 (见下文)

入门指南

  1. 安装依赖项:
    npm install
    
  2. 设置环境变量: 复制 .env.template 向 .env 并添加您的GitHub令牌:
    GITHUB_TOKEN=your_github_personal_access_token
    
  3. 构建项目:
    npm run build
    
  4. 在开发模式下运行MCP服务器:
    npx @modelcontextprotocol/inspector dist/index.js
    
  5. 将MCP服务器添加到Claude Desktop: 在……里面 claude_desktop_config.json:
    {
       "mcpServers": {
          "GitHub Models Helper": {
             "command": "node",
             "args": [
             "/absolute/path/to/gh-models-helper/dist/index.js"
             ],
             "env": {
             "GITHUB_TOKEN": "your_github_personal_access_token"
             }
          }
       }
    }
    

可用的Phi-3型号

型号ID 显示名称 上下文窗口 摘要
Phi-3媒体-128k指令 Phi-3媒体指令(128k) 131072 相同的Phi-3媒体模型,但上下文大小更大
Phi-3媒体-4k指令 Phi-3媒体指令(4k) 4096 14B参数,质量优于Phi-3-mini

注: 目前可用列表中没有名为“Phi-4”或“Phi-3-mini-4k-instruction”的型号。使用上述ID进行比较。

可视化模型比较

您可以比较不同模型对同一提示的反应,并将结果可视化。例如,要比较三个模型:

  • Phi-3-medium-128k-instruct
  • gpt-4o-mini
  • Mistral-small

示例提示:

Explain the difference between AI and machine learning.

示例输出可视化:

模型 响应
Phi-3中等-128k指令 。..
gpt-4o-mini。..
米斯特拉尔小 。..

您可以使用自己的提示和模型。服务器将返回一个包含响应的JSON对象,您可以在应用程序中将其呈现为表或图表。

示例提示

  • “列出所有可用的phi-3型号”
  • “在这个提示上比较Phi-3 medium-4k-instruction和Mistral small:bananasss中有多少ns?”
  • “对Phi-3中-128k指令、gpt-4o-mini和Mistral小型型号进行比较”

有关更多详细信息,请参阅中的代码和文档 project.md.