LLM性能基准测试工具

本地和云端LLM在真实MCP工具调用场景下的性能基准测试工具,包含21个本地LLM的单次调用与代理循环测试。

  • by 3615-computer
  • Python
  • 本地部署
  • 更新于
在 GitHub 查看 3615-computer/workunit-benchmarks

使用说明

工作单元基准

本地和云LLM在实际MCP工具调用上的性能基准。

基准测试

目录 描述
本地llm mcp呼叫 21个本地LLM以真实的MCP工具调用为基准——单次射击与代理循环,3个难度级别的28个任务

关于

已发布的结果是针对本地Workunit开发堆栈生成的。跑步者默认为 工人联合会。 因此,您可以使用免费帐户在生产MCP服务器上复制它们。 每个基准目录都包含运行器脚本、任务定义、原始结果和报告。