AI导哈

MCP评估测试工具

一个用于MCP评估的确定性测试工具，提供简单的数学运算和信息获取功能。

  • by arin-deloatch
  • Python
  • 本地部署
  • 更新于
在 GitHub 查看 arin-deloatch/mcp-testing

使用说明

mcp-testing

PoC for MCP evaluation using DeepEval

This repository is under heavy construction.

src/mcp_testing/servers/baseline/server.py

用于评估测试的最小确定性MCP服务器。

概述

目的：使用DeepEval为MCP评估提供可预测的基础。

特性:

  • 确定性输出（无随机性）
  • 简单、可测试的工具
  • 明确的输入/输出合同
  • 无外部依赖或网络调用

可用工具

1. echo

返回不变的输入。

{
  "message": "test"
}
→ "test"

2. add

将两个数字相加。

{
  "a": 5,
  "b": 3
}
→ 8.0

3. multiply

将两个数字相乘。

{
  "a": 4,
  "b": 7
}
→ 28.0

4. greet

生成问候信息。

{
  "name": "Alice",
  "formal": false
}
→ "Hello, Alice!"

5. get_server_info

返回服务器元数据。

{}
→ {
  "name": "baseline-server",
  "version": "0.1.0",
  "purpose": "PoC for MCP evaluation using DeepEval",
  "tool_count": 5,
  "deterministic": true
}

运行服务器

直接启动服务器：

uv run src/mcp_testing/servers/baseline/server.py

相关 MCP