使用说明
工作单元基准
本地和云LLM在实际MCP工具调用上的性能基准。
基准测试
| 目录 | 描述 |
|---|---|
| 本地llm mcp呼叫 | 21个本地LLM以真实的MCP工具调用为基准——单次射击与代理循环,3个难度级别的28个任务 |
关于
已发布的结果是针对本地Workunit开发堆栈生成的。跑步者默认为 工人联合会。 因此,您可以使用免费帐户在生产MCP服务器上复制它们。 每个基准目录都包含运行器脚本、任务定义、原始结果和报告。
本地和云端LLM在真实MCP工具调用场景下的性能基准测试工具,包含21个本地LLM的单次调用与代理循环测试。
本地和云LLM在实际MCP工具调用上的性能基准。
| 目录 | 描述 |
|---|---|
| 本地llm mcp呼叫 | 21个本地LLM以真实的MCP工具调用为基准——单次射击与代理循环,3个难度级别的28个任务 |
已发布的结果是针对本地Workunit开发堆栈生成的。跑步者默认为 工人联合会。 因此,您可以使用免费帐户在生产MCP服务器上复制它们。 每个基准目录都包含运行器脚本、任务定义、原始结果和报告。