AI导哈

AI推理性能优化工具

PeakInfer MCP Server是一款优化AI推理性能的工具，通过检测代码与运行时行为的偏差、提供基准比较和优化模板，帮助提高延迟、吞吐量、可靠性和成本效益。

  • by Kalmantic
  • TypeScript
  • 本地部署
  • 更新于
在 GitHub 查看 Kalmantic/peakinfer-mcp

使用说明

PeakInfer MCP服务器

在Claude Desktop和Claude Code中实现峰值推理性能。

PeakInfer通过将其他人看不到的东西关联在一起，帮助您以最佳性能运行AI推理：您的 代码, 运行时行为, 基准，以及 撤离.

问题

你的代码说 streaming: true.Runtime显示0%的实际流。这是漂移，它会扼杀你的延迟。

峰值推理性能是指： 提高延迟、吞吐量、可靠性和成本 不改变评估行为.

特性

  • 漂移检测：查找代码声明和运行时行为之间的不匹配
  • 运行时连接器：从Helicone和LangSmith获取事件
  • 基准比较：将您的指标与InferenceMAX基准（15+型号）进行比较
  • 模板库：访问43个优化模板
  • 分析历史：跟踪和比较一段时间内的性能

安装

通过npx（推荐）

npx @kalmantic/peakinfer-mcp

通过npm（全球）

npm install -g @kalmantic/peakinfer-mcp
peakinfer-mcp

Claude桌面配置

添加到 ~/.config/claude/claude_desktop_config.json （macOS）或 %APPDATA%\claude\claude_desktop_config.json （Windows）：

{
  "mcpServers": {
    "peakinfer": {
      "command": "npx",
      "args": ["@kalmantic/peakinfer-mcp"],
      "env": {
        "HELICONE_API_KEY": "your-key-here",
        "LANGSMITH_API_KEY": "your-key-here"
      }
    }
  }
}

从源代码构建

git clone https://github.com/Kalmantic/peakinfer-mcp.git
cd peakinfer-mcp
npm install
npm run build

可用工具

运行时数据

工具 说明
get_helicone_events 从Helicone获取LLM事件
get_langsmith_traces 从LangSmith那里获取痕迹

基准测试

工具 说明
get_inferencemax_benchmark 获取模型的基准数据
compare_to_baseline 将当前分析与历史基线进行比较

模板

工具 说明
list_templates 列出可用的优化模板
get_template 获取特定模板的详细信息

分析

工具 说明
save_analysis 将分析结果保存到历史记录

环境变量

变量 描述
HELICONE_API_KEY Helicone集成的API密钥
LANGSMITH_API_KEY LangSmith集成的API密钥

示例用法

在克劳德桌面或克劳德代码中：

Fetch the last 7 days of events from Helicone and identify any drift between my code and runtime behavior.

Compare my current p95 latency to InferenceMAX benchmarks for gpt-4o.

Show me optimization templates for improving throughput without changing model behavior.

资源

服务器还公开MCP资源：

  • peakinfer://templates -优化模板（共43个）
  • peakinfer://benchmarks -InferenceMAX基准数据（15+型号）
  • peakinfer://history -分析运行历史

提示

可用提示模板：

  • analyze-file -分析LLM推理点的文件
  • compare-benchmarks -将您的指标与峰值基准进行比较
  • suggest-optimizations -获取保留行为的优化建议

四个维度

PeakInfer分析4个维度上的每个推理点：

维度 我们发现了什么
延迟 缺少流媒体、阻止呼叫、p95与基准差距
吞吐量 连续瓶颈、批量机会
可靠性 重试失败、超时、回退
成本 适当大小的模型选择、令牌优化

故障排除

服务器未出现在Claude Desktop中

  1. 检查路径 dist/index.js 是绝对的
  2. 验证 npm run build 已成功完成
  3. 配置更改后重新启动Claude Desktop

API关键错误

  1. 验证在配置中是否设置了API密钥 env 章节
  2. 在提供商的仪表板上检查密钥是否有效
  3. 确保键值中没有尾随空格

链接

许可证

阿帕奇-2.0

相关 MCP