使用说明
绿色计算_TP4
使用Claude Desktop、FastMCP和CodeCarbon的模型上下文协议(MCP)
🚀 人工智能和数据管道可持续性基准
该项目是一项详细的基准研究,比较了 成本、能耗和性能 大型语言模型(LLM)的可持续性和高效性,以及不同数据管道技术(文件格式和处理框架)。所有能源和二氧化碳排放量均使用 CodeCarbon 图书馆。
1.LLM性能和成本分析(TP1:Compar'IA)
这一阶段的目标是评估一系列任务中不同规模的LLM,重点关注输出质量和运营成本(时间、精力和金钱)之间的权衡。
1.1.模型基准
| 尺寸类别 | 测试型号(共6个) |
|---|---|
| 小 | [引用起始]Meta LLaMA 3.1 8B,Gemma 8B[引用:5] |
| 中等 | [cite_start]Mistral Small,GPT-OSS 20B[引用:6] |
| 大的 | [cite_start]GPT-5,DeepSeek R1[引用:7] |
1.2.涵盖的任务(30个提示)
任务按复杂性分类:
- [引用_开始]简单的事实和重写: (1-10)[引用:31]
- [引用_开始]推理和定量: (11-15)(例如,数学问题、转换)[引用:42,43,47]
- [引用_开始]编程与调试: (16-20)(例如,Python代码,大O复杂度)[引用:48,49,53]
- [引用_开始]更难的知识和推理: (21-25)(例如,复杂的比较,解释架构)[引用:54,55,58]
- [引用_开始]高级/创意和多步骤: (26-30)(例如,项目规划、起草法律免责声明)[引用:60、61、63]
1.3.TP1的交付成果
- [引用_开始]电子表格: 包含30个任务中所有6个模型的所有收集指标(质量、延迟、能量、二氧化碳、成本)[引用:68]。
- 仪表板可视化:
- [引用_开始]
Quality vs Energy图表[引用:70]。 - [引用_开始]
Quality vs Cost图表[引用:71]。 - [引用_开始]
Latency vs Model size比较[引用:72]。 - [cite_start]决赛
best trade-off排名表[引用:73]。
- [引用_开始]
- [引用_开始]滑板: 2-3张幻灯片总结了关键发现,并推荐了哪种模型最适合特定用例[引用:74]。
2.数据管道效率基准
[cite_start]此阶段比较不同的数据处理框架和文件格式,测量同一管道的运行时间和排放量(合并书籍和评论数据[cite:227235250])。
2.1.框架比较(TP2:Pandas与PySpark)
[cite_start]我们比较了使用Pandas和PySpark执行相同步骤(加载、清理、连接、计算度量、文本处理、保存)的两个管道[cite:273]。
| 度量 | [cite-start]熊猫基线[cite:288290] | [cite/start]PySpark(本地模式)[cite:299302] |
|---|---|---|
| 持续时间 | [cite_start]用CodeCarbon跟踪器测量[cite:292] | [cite_start]用CodeCarbon跟踪器测量[cite:302] |
| 二氧化碳/能源 | [cite_start]排放跟踪器输出[cite:296297] | [cite_start]排放跟踪器输出来[cite:302] |
分析重点:
- [cite_start]比较每个框架的运行时间和二氧化碳排放量[引用:308312314]。
- [cite_start]讨论并行性对可持续性的影响[引用:315]。
- [cite_start]计算并分析 效率比率 (数据处理/二氧化碳排放)[引用:309310]。
- [引用_开始]生态设计实验: 在一次优化(例如,过滤列、缓存)后实施并重新测量排放量[引用:317318320321]。
2.2.文件格式比较(TP3:CSV与Parquet)
[cite_start]我们在读/写时比较了整个ETL管道 CSV 文件对比 镶木地板 文件(使用Snappy压缩)[引用:389390420]。
| 度量 | [cite_start]CSV管道[cite:404] | [cite-start]Parquet管道(Snappy)[cite:419] |
|---|---|---|
| 演出 | [引用_开始]pd.read_csv(), df.to_csv() [引用:411416] |
[引用_开始]pd.read_parquet(), df.to_parquet() [引用:430435] |
| 存储空间 | 实测文件大小 | [cite_start]实测文件大小(预计减少5-10美元)[cite:467] |
| 可持续性 | [cite_start]通过CodeCarbon测量的二氧化碳和能量[cite:406] | [cite_start]通过CodeCarbon测量的CO2和能量[cite:427] |
分析重点:
- [cite_start]比较I/O操作(加载/保存)的运行时间、能量和二氧化碳[cite:440446]。
- [cite_start]量化柱状格式(Parquet)实现的存储节省[cite:449]。
- [cite_start]讨论格式的可读性、性能和可持续性之间的权衡[cite:464]。
2.3.TP2和TP3的交付成果
- [引用_开始]代码:
tp_codecarbon_books.ipynb(TP2)和tp_codecarbon_parquet.ipynb(TP3)[引用:327461]。 - [引用_开始]日志:
emissions_pandas.csv,emissions_spark.csv,emissions_csv.csv,emissions_parquet.csv[引用:328329462]。 - [引用_开始]数字: 框架和文件格式的排放和运行时比较图[引用:330463]。
- [引用_开始]反思: 关于框架(TP2)和文件格式(TP3)比较的简短书面反思[引用:331464]。
3.LLM工具和环境成本(TP4:模型上下文协议)
这个最后阶段调查了从LLM的“推理”(内部推理)到外部卸载任务对环境的影响 模型上下文协议(MCP) 工具调用,使用CodeCarbon进行检测。
3.1.实施工具
[cite_start]服务器必须使用 fastmcp 和 codecarbon 软件包[引用:194195]:
| 练习 | 工具描述 | 工具目标 |
|---|---|---|
| A. | [引用_开始]add(a: int, b: int) [cite:114] |
[cite_start]比较模型内部计算与工具调用,以获得较大的总和[cite:145146]。 |
| B | [引用_开始]factorial(n: int) [引用:155] |
[引用:开始]比较递归数学函数的模型内部计算与工具调用[引用:162]。 |
| C | [引用_开始]analyze_file(path: str) [cite:172] |
[cite_start]用于读取本地文件、计数单词并返回JSON摘要的工具[cite:167168169]。 |
3.2.度量与比较
您必须为每个任务填写一个比较表,衡量:
- [引用_开始]方法: 模型推理(仅提示)与MCP工具调用[引用:178]。
- [引用_开始]韵律学: 潜伏期、能量(kWh)、排放量(kgCO2eq)[引用:178]。
3.3.关键分析问题(幻灯片中必填)
- 在哪种情况下,MCP方法会减少 幻觉风险?[cite_start]为什么?[引用:186]
- [cite_start]工具延迟是否超过了节能?[引用:187]
- [cite_start]哪些任务最好用工具而不是模型来完成?[引用:189]
- [cite_start]如果大规模部署,哪种方法更有效 可持续的 (仅模型与工具辅助)?[引用:190]
3.4.TP4的交付成果
- [引用_开始]代码:
server.py对于MCP服务器,至少有三个已实现和仪表化的工具,以及CodeCarbon整合[引用:193194195]。 - [引用_开始]电子表格: 延迟、能量和排放结果的比较表[引用:196197198]。
- [引用_开始]滑梯台(4-6张): 包括Claude Desktop工具调用的屏幕截图、排放日志、比较图表以及基于两者的最终建议 环境成本 和 运行可靠性[引用:202、203、204、205、206、214、215]。
