LLM工具测试环境

MCP Tools Tester是一个本地测试环境,专为开发人员设计,用于测试和集成LLM工具和工作流,提供UI和API支持。

  • by ofirelarat
  • JavaScript
  • 本地部署
  • 1 星标
  • 更新于
在 GitHub 查看 ofirelarat/mcp-tools-tester

使用说明

MCP工具测试仪

“MCP”工具和LLM工作流的本地测试环境。
专为为LLM构建工具/插件并希望快速沙盒测试集成的开发人员而设计。



目录

  1. 为什么这个项目
  2. 特性
  3. 需求
  4. 快速开始
  5. 用法
  6. 添加/编写工具
  7. 配置
  8. 生产和安全说明
  9. 路线图
  10. 贡献
  11. 许可证

为什么这个项目

为大型语言模型(LLM)工作流构建工具通常需要启动基础设施、连接API和处理沙盒。
MCP工具测试仪为您提供 本地环境 (UI+neneneba API)到:

  • 加载一个JSON描述的工具,并通过LLM(或回退逻辑)对其进行测试
  • 运行一个最小的UI来端到端测试工具流
  • 在安全、受控的环境中模拟工具执行

特性

  • UI位于 http://localhost:5173 (默认)用于手动测试。
  • 位于的REST API终结点 http://localhost:5174 用于程序化测试。
  • 工具定义的“热重载”:将JSON文件放入 api/src/tools/ 并致电 POST /api/reload.
  • 可选与Ollama集成:如果您在本地运行服务,测试仪将连接;否则,它将回退到确定性存根。
  • 安全的沙盒外壳:默认情况下不启用任意代码执行——非常适合原型工具逻辑。

需求

  • Docker和Docker Compose(首选桌面版)
  • (可选) 奥拉玛 在本地运行,例如。 localhost:11434 (或另一台主机(如果已配置))
  • host.docker.internal 应该正确地从容器映射到您的主机(在Docker Desktop中)
  • 如果跳过Ollama,API将回退到固定LLM响应模式

快速开始

git clone https://github.com/ofirelarat/mcp-tools-tester.git  
cd mcp-tools-tester  
docker compose up --build  

然后打开浏览器: http://localhost:5173 API在 http://localhost:5174


用法

添加/加载工具

  1. 创建一个描述您的工具的JSON文件并将其放置在其中 api/src/tools/

  2. API将在启动时加载定义。要在运行时重新加载工具,请执行以下操作:

    curl -X POST http://localhost:5174/api/reload
    
  3. 工具定义文件示例: api/src/tools/example-tool.json

    {
      "name": "exampleTool",
      "description": "A demo tool that echoes input",
      "parameters": [
        { "name": "input", "type": "string", "description": "Text to echo" }
      ]
    }
    
  4. 从UI或通过API,您可以针对LLM(或回退逻辑)测试您的工具。

配置/环境变量

默认情况下 docker-compose.yml 设置:

environment:
  - ENABLE_OLLAMA=true
  - OLLAMA_HOST=http://host.docker.internal:11434

如果您无法访问Ollama,请设置 ENABLE_OLLAMA=false. 如果您的Ollama主机不同,请覆盖 OLLAMA_HOST.


生产和安全说明

  • 此工具专为 仅用于测试/原型制作不是生产。
  • 实际的工具执行逻辑被打断/最小化。如果你需要真正的工具执行(特别是运行任意代码),你必须分别对任务逻辑进行容器化和沙盒化。
  • 确保所有用户提供的数据都经过验证和净化。
  • 如果在本地开发之外运行此功能,请考虑启用身份验证、监控和访问控制。

路线图

  • []更好的工具定义编辑UI
  • []加载工具的测试套件
  • []支持Ollama以外的远程LLM
  • []用于工具调用的分析仪表板
  • …如果你想投稿,可以随时打开一个问题!

贡献

欢迎投稿!

  1. 分叉回购
  2. 创建新功能分支(git checkout -b feature/my-cool-tool)
  3. 提交更改并在适当的情况下编写测试
  4. 提交Pull Request并参考您正在解决的问题(如果适用)
  5. 请遵守编码风格(ESLint、Prettier),并在必要时更新README

许可证

该项目根据 MIT许可证.