Characterizing Job Power Elasticity for Power-Flexible AI Training

📄 arXiv: 2609.11542v1 📥 PDF

作者: Philip Colangelo, Charles Dawson, Shayan Sengupta, Ayse Coskun, Varun Sivaram

分类: cs.AI

发布日期: 2026-09-10

💡 一句话要点

提出作业功率弹性指标以优化AI训练的电力使用

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 功率弹性 大型语言模型 电力管理 AI训练 功率灵活性 数据中心 性能优化

📋 核心要点

  1. 现有的AI训练方法在电力需求上面临瓶颈，限制了基础设施的扩展性和电力利用效率。
  2. 论文提出了功率灵活性指数（PFI），用于量化LLM训练中功率减少对性能的影响，提供了一种新的控制机制。
  3. 实验结果表明，PFI感知的功率分配在30%的功率减少下，能够恢复每个作业约1.5k tokens/s的吞吐量，显著提高了性能。

📝 摘要（中文）

大型语言模型（LLM）训练是现代数据中心电力需求增长最快的来源之一，而电力可用性是AI基础设施持续增长的主要瓶颈。实现这些工作负载的电力消耗灵活性可以为AI增长解锁额外电力，限制电价上涨，并改善现有电网基础设施的利用率。本文首次系统性地表征了LLM训练中的作业功率弹性，提出了功率灵活性指数（PFI），量化功率减少的性能成本，并为SLA感知的功率灵活性提供控制原语。通过对131次LLM训练运行的数据收集，发现LLM训练作业表现出显著但可变的功率弹性，并识别出预测运行时PFI的遥测信号。最后，展示了PFI感知的功率分配在电力约束下最大化总吞吐量的能力。

🔬 方法详解

问题定义：本文旨在解决LLM训练过程中电力需求与可用电力之间的矛盾，现有方法未能充分考虑功率弹性对训练性能的影响。

核心思路：提出功率灵活性指数（PFI），通过量化功率减少对吞吐量的影响，帮助实现训练过程中的电力灵活性。

技术框架：研究通过收集131次LLM训练的运行数据，构建了一个包含功率弹性分析和PFI计算的框架，能够实时监测和调整功率分配。

关键创新：首次系统性地表征了LLM训练中的作业功率弹性，提供了一种新的性能度量标准（PFI），与传统方法相比，能够更准确地反映电力对训练性能的影响。

关键设计：在实验中，使用了多种模型（包括密集模型和专家混合模型），并在不同的GPU配置下进行测试，确保了PFI的普适性和准确性。通过遥测信号预测PFI，增强了实时调整能力。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果显示，在30%的功率减少条件下，PFI感知的功率分配能够恢复每个作业约1.5k tokens/s的吞吐量，达到了63%的性能提升，相较于传统的均匀分配方法，展示了显著的优势。

🎯 应用场景

该研究的潜在应用领域包括数据中心的电力管理、AI训练优化和智能电网的响应能力。通过实现功率灵活性，能够在电力资源紧张的情况下，提升AI训练的效率和可持续性，具有重要的实际价值和未来影响。

📄 摘要（原文）

Large language model (LLM) training is among the fastest-growing sources of electricity demand in modern data centers, and power availability is a primary bottleneck to continued AI infrastructure growth. Making the power consumption of these workloads flexible could unlock additional power for AI growth, limit increases in electricity prices, and improve the utilization of existing grid infrastructure. However, to realize this flexibility, we must first understand how the performance of training workloads changes when GPU power is reduced. This paper presents the first systematic characterization of \emph{job power elasticity} (the sensitivity of throughput to power reductions) in LLM training. To quantify elasticity, we introduce the \emph{Power Flexibility Index (PFI)}, a normalized metric that quantifies the performance cost of power reductions and provides a control primitive for SLA-aware power flexibility. We collect data from 131 LLM training runs on H200 (plus 24 H200 validation runs and 34 matched H100 runs), including both dense and mixture-of-experts models, pretraining and fine-tuning tasks, and up to 32 GPUs. We find that LLM training jobs exhibit substantial but variable power elasticity, and we identify telemetry signals that predict PFI at runtime. Finally, we demonstrate that PFI-aware power allocation maximizes total tokens/second throughput under power constraints. Under a 30\% power reduction, PFI-aware power allocation recovers ~1.5k tokens/s per job, 63\% of the performance gap between an equal-weight allocation and an oracle with perfect information. Our results establish power elasticity as a measurable property of training jobs and provide a foundation for power-aware, grid-responsive AI infrastructure.