Energy Consumption Analysis of Discrete Diffusion and Autoregressive Language Models

📄 arXiv: 2610.19855v1 📥 PDF

作者: Boris Ruf, Marcin Detyniecki

分类: cs.LG

发布日期: 2026-10-14

期刊: GreenSys '26: Proceedings of the 2nd International Workshop on Systems and Methods for Sustainable Large-Scale AI, 2026, pp. 7-12

DOI: 10.1145/3802973.3804458

💡 一句话要点

比较扩散语言模型与自回归模型的能耗效率

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 能耗分析 扩散模型 自回归模型 KV-cache优化

📋 核心要点

  1. 现有自回归模型在推理过程中能耗较高，尤其是在处理长序列时，效率亟待提升。
  2. 本文提出了扩散语言模型作为自回归模型的替代方案，能够实现并行标记生成，从而提高能效。
  3. 实验结果显示，扩散模型在长序列推理中能耗显著低于自回归模型，具有更好的能效表现。

📝 摘要（中文）

随着大型语言模型（LLMs）的规模不断扩大，其推理过程中的能耗问题日益受到关注。虽然自回归（AR）模型是行业标准，但扩散语言模型（DLLMs）作为一种能够并行生成标记的有前景的替代方案逐渐崭露头角。本文对扩散模型（LLaDA-8B、Dream-7B）与自回归模型（Llama-3.1-8B、Qwen-2.5-7B）进行了能耗比较基准测试，分析了模型架构、KV-cache优化与每标记焦耳效率之间的权衡。结果表明，在较长序列（200-600个标记）下，扩散模型的能耗为2.5-2.7 J/标记，约为自回归模型（5.3-5.7 J/标记）的2倍，KV-cache在较长序列下为自回归模型提供了显著的能效提升（50-70%的能量减少）。

🔬 方法详解

问题定义：本文旨在解决大型语言模型推理过程中的高能耗问题，尤其是自回归模型在处理长序列时的能效不足。

核心思路：通过引入扩散语言模型，利用其并行生成标记的能力，降低推理过程中的能耗，提高效率。

技术框架：研究中对比了两类模型的能耗，分别为扩散模型（LLaDA-8B、Dream-7B）和自回归模型（Llama-3.1-8B、Qwen-2.5-7B），并分析了KV-cache的优化效果。

关键创新：扩散模型在长序列推理中展现出2倍于自回归模型的能效，尤其是在200-600个标记的序列中，显著降低了每标记的能耗。

关键设计：实验中采用了KV-cache优化策略，发现其在自回归模型中能有效减少50-70%的能耗，提升了整体能效。该设计为模型架构的能耗优化提供了新的思路。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果显示，扩散模型在处理较长序列（200-600个标记）时，能耗为2.5-2.7 J/标记，约为自回归模型的2倍（5.3-5.7 J/标记）。此外，KV-cache在自回归模型中提供了50-70%的能量减少，显著提升了能效。

🎯 应用场景

该研究的成果可广泛应用于需要高效推理的大型语言模型场景，如自然语言处理、对话系统和智能助手等领域。通过降低能耗，能够在保证性能的同时，减少环境影响，推动可持续发展。未来，扩散模型的应用潜力将进一步拓展至更多实际场景中。

📄 摘要（原文）

As Large Language Models (LLMs) continue to scale, their energy consumption during inference has become a critical concern. While Autoregressive (AR) models are the industry standard, Diffusion Language Models (DLLMs) have emerged as a promising alternative capable of parallel token generation. In this paper, we perform a comparative energy benchmark of diffusion models (LLaDA-8B, Dream-7B) against AR counterparts (Llama-3.1-8B, Qwen-2.5-7B). We analyze the trade-offs between model architecture, KV-cache optimization, and Joules-per-token efficiency. Our results show that at longer sequences (200--600 tokens), diffusion models achieve 2.5--2.7 J/token, approximately 2$\times$ more efficient than AR models with KV-cache (5.3--5.7 J/token). KV-cache provides substantial benefits for AR models at longer sequences (50--70\% energy reduction).