AI导哈

MCP服务器基准测试框架

用于评估MCP服务器有效性的基准测试框架，测量MCP工具是否提高AI代理准确性及其令牌成本。

  • by TorchedHat
  • Python
  • 本地部署
  • 更新于
在 GitHub 查看 adabeyta/mcpmark

使用说明

mcpmark

评估MCP服务器有效性的基准框架。衡量MCP工具是否提高了AI代理的准确性，以及代币成本。

目前包括一个基准套件 TorchTalk.

快速开始

pip install -e .
export PYTORCH_SOURCE=/path/to/pytorch

python3 runners/claude_cli.py --condition both --max-turns 20
python3 compare.py results

它衡量什么

度量 描述
通过/失败准确性 按任务断言+LLM判断第二遍
令牌使用情况 每个任务的输入+输出令牌
文件路径验证 源中存在的提到的文件路径的百分比

评分

  1. 按任务断言 — must_contain （全部必填）+ must_contain_any （至少一个）
  2. 法学硕士评委 --Haiku二次传递失败，基于引用的二进制评估
  3. 文件路径验证 --对照真实源代码树检查路径

项目结构

mcpmark/
├── dataset.json              # Task bank (queries + assertions)
├── runners/
│   ├── claude_cli.py         # Claude Max runner
│   ├── torchtalk_mcp.json    # MCP config (WITH tools)
│   └── empty_mcp.json        # Empty config (WITHOUT tools)
├── tasks/
│   └── torchtalk_bench.py    # Inspect AI runner (API-based)
├── compare.py                # Results comparison
├── run_benchmark.sh          # Quick-run script
└── results/                  # Benchmark outputs (gitignored)

相关 MCP