AI导哈

vLLM基准测试工具

一个用于交互式基准测试vLLM性能的工具，支持多轮测试和结果比较。

  • by Eliovp-BV
  • Python
  • 本地部署
  • 4 星标
  • 更新于
在 GitHub 查看 eliovp-bv/mcp-vllm-benchmark

使用说明

MCP vLLM基准测试工具

这是关于如何使用MCP交互式地对vLLM进行基准测试的概念证明。

我们对基准测试并不陌生，请阅读我们的博客：

基准vLLM

这只是对MCP可能性的探索。

用法

  1. 克隆存储库
  2. 将其添加到您的MCP服务器：
{
    "mcpServers": {
        "mcp-vllm": {
            "command": "uv",
            "args": [
                "run",
                "/Path/TO/mcp-vllm-benchmarking-tool/server.py"
            ]
        }
    }
}

然后你可以像这样提示：

Do a vllm benchmark for this endpoint: http://10.0.101.39:8888 
benchmark the following model: deepseek-ai/DeepSeek-R1-Distill-Llama-8B 
run the benchmark 3 times with each 32 num prompts, then compare the results, but ignore the first iteration as that is just a warmup.

全部 ：

  • 由于vllm的一些随机输出，它可能会显示它发现了一些无效的json。我还没有真正调查过。

相关 MCP