多服务器模型上下文协议编排工具

MCP是一个开放标准,允许LLM代理通过JSON-RPC发现和调用外部工具,支持多服务器跨域任务编排,适用于学术研究和技术开发。

  • by doganarif
  • Python
  • 本地部署
  • 2 星标
  • 更新于
在 GitHub 查看 doganarif/mcp-bench

使用说明

野外MCP:通过多服务器编排进行跨领域知识发现

多服务器的首次实证研究 模型上下文协议(MCP) 使用7模型跨域综合基准进行编排。

什么是MCP?

模型上下文协议(MCP) 是Anthropic(2024年底发布)的开放标准,允许LLM代理通过JSON-RPC发现和调用外部工具。将其视为AI的USB-C:任何MCP服务器都公开了任何LLM代理都可以使用的工具,无论语言或平台如何。截至2026年3月,已有106个官方服务器集成(GitHub、Postgres、Slack、Docker等)和50多篇研究该协议的学术论文。

本文询问: 当您同时连接多个MCP服务器以执行跨域任务时会发生什么?

主要发现

  • 17次真正的MCP工具调用 跨6台服务器,0%的故障率,9个跨域洞察
  • 7个LLM基准 (GPT-5.4、DeepSeek R1、Mistral Large 3、Llama 4 Maverick、Gemini 2.5 Flash、Claude Sonnet 4.5、Claude Haiku 4.5)在相同的MCP收集的数据上
  • 所有7款车型都独立地发现了相同的差距:未记录多服务器MCP工作流的组合模式
  • 5种构图模式 建议:顺序流水线、并行扇出、交叉引用验证、迭代精化、域桥接

基准结果

模型 延迟 令牌 KG实体 KG关系
GPT-5.4 54.7秒 2352秒 14 15
DeepSeek R1 33.9秒 4296 6 4
西北风大3 6.5秒 1857 9 8
Llama 4小牛队 3.0秒 1,374 3 3
双子座2.5闪光 15.6秒 4592 12 11
克劳德·十四行诗4.5 21.3s 2411 13 11
克劳德·海库4.5 9.3s 2136 8 6

构图模式

  1. 顺序管道 --服务器A的输出为服务器B的查询提供数据
  2. 平行扇出 --同时对多个服务器进行相同的查询
  3. 交叉引用验证 --跨服务器验证发现
  4. 迭代优化 --跨服务器上下文指导查询优化
  5. 域桥接 --综合来自无关领域的见解

使用的MCP服务器

所有开源,无需API密钥:

uvx arxiv-mcp-server                            # Academic preprints
npx @cyanheads/pubmed-mcp-server                # Biomedical literature
npx @modelcontextprotocol/server-memory          # Knowledge graph
npx firecrawl-mcp                                # Web search & scrape
npx @upstash/context7-mcp                        # Library documentation
npx @modelcontextprotocol/server-filesystem      # File operations

重现

运行7模型基准测试

# Set your API keys
export AZURE_API_KEY="your-azure-key"
export GEMINI_API_KEY="your-gemini-key"
# AWS Bedrock must be configured for Claude models

python benchmark.py

纸张

该论文可作为 paper.pdf 在这个回购中。

引用

@article{dogan2026mcp,
  title={MCP in the Wild: Cross-Domain Knowledge Discovery through Multi-Server Orchestration},
  author={Dogan, Arif},
  journal={Zenodo},
  doi={10.5281/zenodo.18917784},
  year={2026}
}

许可证

麻省理工学院