AI与数据管道可持续性基准测试

该项目是一个详细的基准研究,比较大型语言模型(LLMs)的成本、能源消耗和性能与不同数据管道技术(文件格式和处理框架)的可持续性和效率。所有能源和CO2排放均使用CodeCarbon库进行测量。

  • by gauravchugh2006
  • Python
  • 本地部署
  • 更新于
在 GitHub 查看 gauravchugh2006/GreenComputing_TP4

使用说明

绿色计算_TP4

使用Claude Desktop、FastMCP和CodeCarbon的模型上下文协议(MCP)

🚀 人工智能和数据管道可持续性基准

该项目是一项详细的基准研究,比较了 成本、能耗和性能 大型语言模型(LLM)的可持续性和高效性,以及不同数据管道技术(文件格式和处理框架)。所有能源和二氧化碳排放量均使用 CodeCarbon 图书馆。


1.LLM性能和成本分析(TP1:Compar'IA)

这一阶段的目标是评估一系列任务中不同规模的LLM,重点关注输出质量和运营成本(时间、精力和金钱)之间的权衡。

1.1.模型基准

尺寸类别 测试型号(共6个)
小 [引用起始]Meta LLaMA 3.1 8B,Gemma 8B[引用:5]
中等 [cite_start]Mistral Small,GPT-OSS 20B[引用:6]
大的 [cite_start]GPT-5,DeepSeek R1[引用:7]

1.2.涵盖的任务(30个提示)

任务按复杂性分类:

  • [引用_开始]简单的事实和重写: (1-10)[引用:31]
  • [引用_开始]推理和定量: (11-15)(例如,数学问题、转换)[引用:42,43,47]
  • [引用_开始]编程与调试: (16-20)(例如,Python代码,大O复杂度)[引用:48,49,53]
  • [引用_开始]更难的知识和推理: (21-25)(例如,复杂的比较,解释架构)[引用:54,55,58]
  • [引用_开始]高级/创意和多步骤: (26-30)(例如,项目规划、起草法律免责声明)[引用:60、61、63]

1.3.TP1的交付成果

  • [引用_开始]电子表格: 包含30个任务中所有6个模型的所有收集指标(质量、延迟、能量、二氧化碳、成本)[引用:68]。
  • 仪表板可视化:
    • [引用_开始]Quality vs Energy 图表[引用:70]。
    • [引用_开始]Quality vs Cost 图表[引用:71]。
    • [引用_开始]Latency vs Model size 比较[引用:72]。
    • [cite_start]决赛 best trade-off 排名表[引用:73]。
  • [引用_开始]滑板: 2-3张幻灯片总结了关键发现,并推荐了哪种模型最适合特定用例[引用:74]。

2.数据管道效率基准

[cite_start]此阶段比较不同的数据处理框架和文件格式,测量同一管道的运行时间和排放量(合并书籍和评论数据[cite:227235250])。

2.1.框架比较(TP2:Pandas与PySpark)

[cite_start]我们比较了使用Pandas和PySpark执行相同步骤(加载、清理、连接、计算度量、文本处理、保存)的两个管道[cite:273]。

度量 [cite-start]熊猫基线[cite:288290] [cite/start]PySpark(本地模式)[cite:299302]
持续时间 [cite_start]用CodeCarbon跟踪器测量[cite:292] [cite_start]用CodeCarbon跟踪器测量[cite:302]
二氧化碳/能源 [cite_start]排放跟踪器输出[cite:296297] [cite_start]排放跟踪器输出来[cite:302]

分析重点:

  • [cite_start]比较每个框架的运行时间和二氧化碳排放量[引用:308312314]。
  • [cite_start]讨论并行性对可持续性的影响[引用:315]。
  • [cite_start]计算并分析 效率比率 (数据处理/二氧化碳排放)[引用:309310]。
  • [引用_开始]生态设计实验: 在一次优化(例如,过滤列、缓存)后实施并重新测量排放量[引用:317318320321]。

2.2.文件格式比较(TP3:CSV与Parquet)

[cite_start]我们在读/写时比较了整个ETL管道 CSV 文件对比 镶木地板 文件(使用Snappy压缩)[引用:389390420]。

度量 [cite_start]CSV管道[cite:404] [cite-start]Parquet管道(Snappy)[cite:419]
演出 [引用_开始]pd.read_csv(), df.to_csv() [引用:411416] [引用_开始]pd.read_parquet(), df.to_parquet() [引用:430435]
存储空间 实测文件大小 [cite_start]实测文件大小(预计减少5-10美元)[cite:467]
可持续性 [cite_start]通过CodeCarbon测量的二氧化碳和能量[cite:406] [cite_start]通过CodeCarbon测量的CO2和能量[cite:427]

分析重点:

  • [cite_start]比较I/O操作(加载/保存)的运行时间、能量和二氧化碳[cite:440446]。
  • [cite_start]量化柱状格式(Parquet)实现的存储节省[cite:449]。
  • [cite_start]讨论格式的可读性、性能和可持续性之间的权衡[cite:464]。

2.3.TP2和TP3的交付成果

  • [引用_开始]代码: tp_codecarbon_books.ipynb (TP2)和 tp_codecarbon_parquet.ipynb (TP3)[引用:327461]。
  • [引用_开始]日志: emissions_pandas.csv, emissions_spark.csv, emissions_csv.csv, emissions_parquet.csv[引用:328329462]。
  • [引用_开始]数字: 框架和文件格式的排放和运行时比较图[引用:330463]。
  • [引用_开始]反思: 关于框架(TP2)和文件格式(TP3)比较的简短书面反思[引用:331464]。

3.LLM工具和环境成本(TP4:模型上下文协议)

这个最后阶段调查了从LLM的“推理”(内部推理)到外部卸载任务对环境的影响 模型上下文协议(MCP) 工具调用,使用CodeCarbon进行检测。

3.1.实施工具

[cite_start]服务器必须使用 fastmcp 和 codecarbon 软件包[引用:194195]:

练习 工具描述 工具目标
A. [引用_开始]add(a: int, b: int) [cite:114] [cite_start]比较模型内部计算与工具调用,以获得较大的总和[cite:145146]。
B [引用_开始]factorial(n: int) [引用:155] [引用:开始]比较递归数学函数的模型内部计算与工具调用[引用:162]。
C [引用_开始]analyze_file(path: str) [cite:172] [cite_start]用于读取本地文件、计数单词并返回JSON摘要的工具[cite:167168169]。

3.2.度量与比较

您必须为每个任务填写一个比较表,衡量:

  • [引用_开始]方法: 模型推理(仅提示)与MCP工具调用[引用:178]。
  • [引用_开始]韵律学: 潜伏期、能量(kWh)、排放量(kgCO2eq)[引用:178]。

3.3.关键分析问题(幻灯片中必填)

  • 在哪种情况下,MCP方法会减少 幻觉风险?[cite_start]为什么?[引用:186]
  • [cite_start]工具延迟是否超过了节能?[引用:187]
  • [cite_start]哪些任务最好用工具而不是模型来完成?[引用:189]
  • [cite_start]如果大规模部署,哪种方法更有效 可持续的 (仅模型与工具辅助)?[引用:190]

3.4.TP4的交付成果

  • [引用_开始]代码: server.py 对于MCP服务器,至少有三个已实现和仪表化的工具,以及 CodeCarbon 整合[引用:193194195]。
  • [引用_开始]电子表格: 延迟、能量和排放结果的比较表[引用:196197198]。
  • [引用_开始]滑梯台(4-6张): 包括Claude Desktop工具调用的屏幕截图、排放日志、比较图表以及基于两者的最终建议 环境成本 和 运行可靠性[引用:202、203、204、205、206、214、215]。