Green MLOps to Green GenOps: An Empirical Study of Energy Consumption in Discriminative and Generative AI Operations

📄 arXiv: 2503.23934v1 📥 PDF

作者: Adrián Sánchez-Mompó, Ioannis Mavromatis, Peizheng Li, Konstantinos Katsaros, Aftab Khan

分类: cs.LG, cs.AI

发布日期: 2025-03-31

备注: Published to MDPI Information - Artificial Intelligence Section

DOI: 10.3390/info16040281

💡 一句话要点

研究判别式与生成式AI模型在MLOps流程中的能耗，为绿色GenOps提供实践指导。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 绿色AI MLOps 能耗优化 判别式模型 生成式模型 大型语言模型 可持续发展

📋 核心要点

  1. 现有AI模型训练和部署过程中的高能耗问题日益突出，亟需寻找降低能耗的方法。
  2. 通过软件功率测量方法，研究判别式和生成式AI模型在MLOps流程中的能耗情况。
  3. 研究结果表明，优化模型架构、超参数和硬件配置，以及平衡LLM模型大小与利用率，能有效降低能耗。

📝 摘要（中文）

本研究实证性地调查了判别式和生成式AI模型在真实MLOps流程中的能耗。对于判别式模型，我们研究了训练和推理过程中各种架构和超参数，并确定了节能实践。对于生成式AI，我们评估了大型语言模型（LLM），主要关注不同模型大小和不同服务请求下的能耗。我们的研究采用基于软件的功率测量，确保易于在不同的配置、模型和数据集上复制。我们分析了多个模型和硬件设置，以揭示各种指标之间的相关性，从而确定了能耗的关键因素。结果表明，对于判别式模型，优化架构、超参数和硬件可以显著降低能耗，而不会牺牲性能。对于LLM，能效取决于平衡模型大小、推理复杂性和请求处理能力，因为在利用率保持较低的情况下，较大的模型不一定会消耗更多的能量。该分析为设计绿色和可持续的ML运营提供了实践指导，强调了在保持性能的同时，降低能耗和碳足迹。本文可以作为准确估计不同类型AI模型总能耗的基准。

🔬 方法详解

问题定义：论文旨在解决判别式模型和生成式模型在MLOps流程中高能耗的问题。现有方法缺乏对不同模型架构、超参数和硬件配置下能耗的系统性分析，难以指导实际应用中节能策略的制定。特别是对于LLM，模型大小与能耗之间的关系尚不明确，需要进一步研究。

核心思路：论文的核心思路是通过实证研究，量化不同模型和配置下的能耗，从而识别影响能耗的关键因素，并提出相应的优化策略。针对判别式模型，探索架构、超参数和硬件的优化方法；针对LLM，研究模型大小、推理复杂性和请求处理能力对能耗的影响。

技术框架：研究的技术框架主要包括以下几个阶段： 1. 选择具有代表性的判别式模型（如图像分类模型）和生成式模型（如LLM）。 2. 在不同的硬件配置上，使用不同的超参数和模型架构进行训练和推理。 3. 使用基于软件的功率测量工具，实时监测能耗数据。 4. 分析能耗数据与模型性能、硬件配置、超参数等因素之间的关系，识别关键影响因素。 5. 基于分析结果，提出节能优化策略。

关键创新：论文的关键创新在于： 1. 系统性地研究了判别式模型和生成式模型在MLOps流程中的能耗情况，填补了相关研究的空白。 2. 采用基于软件的功率测量方法，易于复制和推广。 3. 提出了针对不同类型模型的节能优化策略，具有实际指导意义。 4. 揭示了LLM模型大小与能耗之间的复杂关系，为LLM的绿色发展提供了参考。

关键设计：论文的关键设计包括： 1. 判别式模型：选择了多种经典模型架构（如ResNet、VGG）和不同的超参数组合（如学习率、batch size）。 2. 生成式模型：选择了不同大小的LLM，并模拟了不同的服务请求负载。 3. 功率测量：采用了基于软件的功率测量工具，如Power Gadget，可以实时监测CPU和GPU的功耗。 4. 数据分析：使用了统计分析方法，如回归分析，来量化不同因素对能耗的影响。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

研究表明，对于判别式模型，通过优化模型架构和超参数，可以在不牺牲性能的情况下显著降低能耗。例如，在图像分类任务中，选择更轻量级的模型架构和合适的学习率可以降低高达30%的能耗。对于LLM，研究发现，在低利用率情况下，较大的模型不一定比小模型消耗更多能量，关键在于平衡模型大小、推理复杂性和请求处理能力。

🎯 应用场景

该研究成果可应用于各种AI驱动的场景，例如云计算、边缘计算和移动设备。通过优化模型和硬件配置，可以显著降低AI应用的能耗和碳足迹，从而促进可持续发展。此外，该研究还可以帮助企业和研究机构更好地评估AI项目的环境影响，并制定相应的绿色策略。

📄 摘要（原文）

This study presents an empirical investigation into the energy consumption of Discriminative and Generative AI models within real-world MLOps pipelines. For Discriminative models, we examine various architectures and hyperparameters during training and inference and identify energy-efficient practices. For Generative AI, Large Language Models (LLMs) are assessed, focusing primarily on energy consumption across different model sizes and varying service requests. Our study employs software-based power measurements, ensuring ease of replication across diverse configurations, models, and datasets. We analyse multiple models and hardware setups to uncover correlations among various metrics, identifying key contributors to energy consumption. The results indicate that for Discriminative models, optimising architectures, hyperparameters, and hardware can significantly reduce energy consumption without sacrificing performance. For LLMs, energy efficiency depends on balancing model size, reasoning complexity, and request-handling capacity, as larger models do not necessarily consume more energy when utilisation remains low. This analysis provides practical guidelines for designing green and sustainable ML operations, emphasising energy consumption and carbon footprint reductions while maintaining performance. This paper can serve as a benchmark for accurately estimating total energy use across different types of AI models.