AI导哈

代码执行效率验证工具

该工具用于独立验证Anthropic关于使用模型上下文协议（MCP）进行代码执行可以降低AI代理成本高达98.7%的声明，适用于高请求量的AI代理优化场景。

  • by faalantir
  • Python
  • 本地部署
  • 更新于
在 GitHub 查看 faalantir/mcp-token-analysis

使用说明

MCP令牌分析：验证代码执行效率

Anthropic声称，使用模型上下文协议（MCP）执行代码可以将AI代理成本降低高达98.7%。

剧透： 这些说法是真实的，但盈亏平衡是 100000次请求/月不是1000。

🎯 主要发现

✅ 代币减少94.4% （博客占98.7%）
✅ 成本降低92.6% 每个请求
⚠️ 真正的盈亏平衡： 每月100K以上的请求（不是1-10K）
⚠️ 实际成本： 6-10万美元的工程费用+3-5万美元的安全费用
⚠️ 实际时间线： 实施2-4个月（不是几周）

底线： 这是对非常高容量的优化，而不是普遍的胜利。

📖 阅读分析

对于领英/普通受众：

LINKEDIN_ARTICLE_FINAL.md （711字，阅读3-5分钟）
包含关键发现、决策框架和现实成本估算的简明分析。

对于深潜/技术观众：

详细信息_分析.md （3500字）
完整的分析，包括安全考虑、敏感性分析、操作警告和完整的方法。

快速参考：

常见问题.md -常见问题解答
报告.md -技术方法

快速开始

# Install dependencies
pip install -r requirements.txt

# Run quick test (5 seconds)
python quick_test.py

# Generate full report with charts
python generate_report.py

包含什么

脚本

  • quick_test.py -带有控制台输出的简单单场景测试
  • generate_report.py -具有可视化功能的综合报告生成器

生成的输出

  • REPORT.md -完整的分析报告和方法
  • token_comparison.png -代币使用柱状图
  • cost_comparison.png -每次请求成本比较
  • token_breakdown.png -显示代币去向的堆叠条
  • monthly_savings.png -预计大规模节省

测试场景

任务： 阅读谷歌云端硬盘的会议记录，并将其附在Salesforce潜在客户身上。

设置：

  • 8个可用的MCP工具（谷歌云端硬盘、Salesforce、Slack）
  • 此任务只需要2个工具
  • ~4250份代币文件（现实会议记录）
  • GPT-4涡轮增压器定价

结果摘要

度量 传统 代码执行 改进
代币总数 9759 550 减少94.4%
每次请求的成本 0.1844 0.0136美元 减少92.6%
每月费用（10万美元） 18435美元 1362美元 节省17073美元

为什么这很重要

问题1：工具定义块

传统方法预先加载所有工具定义，即使是您不需要的定义。

问题2：数据复制

在传统方法中，大型文档会多次通过人工智能的上下文。

解决方案：代码执行

执行代码时：

  • 按需加载工具（只加载您需要的工具）
  • 数据保留在执行环境中（永远不会膨胀上下文）
  • 一次编写代码，高效执行

方法论和透明度

我们模拟了什么✅

  • 现实的MCP工具模式（基于实际格式）
  • 使用真实代币计数 tiktoken
  • GPT-4 Turbo的实际定价
  • 真实的文档大小

我们没有测试的内容❌

  • 真正的API调用（所有模拟的）
  • 代码执行开销
  • 网络延迟
  • 错误处理

假设和限制

  1. 更大的文档=更大的节省
  2. 需要更多工具=节省更少（但仍然可观）
  3. 工具模式是现实的，但不是来自生产服务器

为您的LinkedIn帖子

使用这些要点：

📊 数字：

  • 代币减少94.4%
  • 10万次请求每月节省17073美元
  • 每年节省204876美元

💡 洞察： 传统AI代理通过以下方式浪费代币：

  1. 提前加载所有工具定义
  2. 多次通过上下文传递数据

代码执行修复了这两个问题。

🔗 证据： 链接到此存储库以实现完全透明和可重复性。

可视化预览

所有图表均已准备好发布（300 DPI PNG）：

  • token_comparison.png -并排使用代币
  • cost_comparison.png -成本节约，减少92.6%
  • token_breakdown.png -准确显示代币的消费位置
  • 每月储蓄.png -从100K请求扩展到100K请求

贡献与问题

创建此分析是为了用透明的方法验证Anthropic的博客文章声明。

想挑战我们的假设吗？

  • 自己运行代码
  • 修改参数（文档大小、工具数量等）
  • 用你的发现打开一个问题

许可证

MIT许可证-您可以在自己的分析或博客文章中自由使用。

引用

如果您在工作中使用此分析：

MCP Token Analysis: Validating Code Execution Efficiency
https://github.com/mukesh51/mcp-token-analysis
Generated: November 2025

内置： Python 3、tiktoken、matplotlib
定价： GPT-4涡轮增压器（2025年11月） 不需要真正的API调用 -一切都在本地运行

相关 MCP