Carbon-Taxed Transformers: A Green Compression Pipeline for Overgrown Language Models

📄 arXiv: 2604.25903v1 📥 PDF

作者: Ajmain Inqiad Alam, Palash Roy, Chanchal K. Roy, Banani Roy, Kevin A. Schneider

分类: cs.SE, cs.LG

发布日期: 2026-04-28

期刊: Proceedings of ACM Software Engineering 3, FSE, Article FSE047, 2026

DOI: 10.1145/3797075

💡 一句话要点

提出碳税Transformer（CTT）以压缩大型语言模型，降低计算成本和碳排放。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型压缩 碳税机制 软件工程 代码克隆检测 代码摘要 代码生成 环境可持续性 模型优化

📋 核心要点

  1. 大型语言模型在软件工程领域应用广泛，但其高昂的计算成本和碳排放量带来了环境可持续性问题。
  2. 论文提出碳税Transformer（CTT），通过模拟碳税机制，对模型架构的效率进行评估和优化，实现高效压缩。
  3. 实验表明，CTT在代码克隆检测、代码摘要和代码生成等任务上，显著降低了内存占用、推理时间和碳排放，同时保持了较高的准确率。

📝 摘要（中文）

大型语言模型（LLM）在软件工程（SE）领域的快速应用带来了一个潜在危机：不可持续的计算成本。尽管这些模型在不同的SE任务中表现出卓越的能力，但它们体积庞大、部署缓慢、内存密集且碳排放量高。这种现实不仅威胁到人工智能驱动的SE的可扩展性和可访问性，还威胁到其长期的环境可持续性。研究挑战很明确：我们必须超越准确性，将效率和环境成本作为首要的设计约束。为了应对这一挑战，我们引入了碳税Transformer（CTT），这是一个系统的多架构压缩流程，其原理是经济碳税。借鉴碳定价的经济概念，CTT实施了一种计算碳税，惩罚架构效率低下，并奖励可部署的压缩。我们在三个核心SE任务（代码克隆检测、代码摘要和代码生成）中评估了CTT，模型涵盖仅编码器、编码器-解码器和仅解码器架构。结果表明，CTT在推理方面表现出色：（1）内存减少高达49倍，（2）克隆检测的时间减少高达8-10倍，摘要的时间减少高达3倍，生成的时间减少4-7倍，（3）CO2排放量减少高达81%，（4）CTT在克隆检测中保持约98%的准确率，在摘要中保持约89%的准确率，在生成中保持高达91%（文本指标）和68%（pass@1）。两项消融研究表明，流程排序和各个组件的贡献都至关重要，为CTT的设计和有效性提供了经验证明。这项工作通过积极但又保持性能的压缩，为SE中负责任的AI建立了一条可行的道路。

🔬 方法详解

问题定义：论文旨在解决大型语言模型（LLM）在软件工程（SE）领域应用中，模型体积过大、计算成本高昂以及碳排放量过高的问题。现有方法往往只关注模型准确率，忽略了效率和环境成本，导致AI在SE领域的应用面临可持续性挑战。

核心思路：论文借鉴经济学中的碳税概念，将计算资源消耗视为一种“碳排放”，对模型架构的低效部分进行“征税”，从而引导模型向更高效的方向发展。通过这种方式，鼓励模型在保持性能的同时，尽可能地减少计算资源的消耗。

技术框架：CTT是一个多架构压缩流程，包含以下主要阶段： 1. 碳税评估：对模型架构的各个部分进行评估，计算其“碳排放量”，即计算资源消耗。评估指标可能包括参数量、计算复杂度等。 2. 压缩策略选择：根据碳税评估结果，选择合适的压缩策略，例如剪枝、量化、知识蒸馏等。不同的压缩策略适用于不同的模型架构和任务。 3. 模型微调：对压缩后的模型进行微调，以恢复性能。微调过程中，可以引入额外的损失函数，例如知识蒸馏损失，以保持模型的泛化能力。 4. 迭代优化：重复以上步骤，直到达到预期的压缩效果和性能指标。

关键创新：CTT的核心创新在于将经济学中的碳税概念引入到模型压缩中，通过模拟碳税机制，引导模型向更高效的方向发展。与传统的模型压缩方法相比，CTT更加注重环境可持续性，能够在保证性能的同时，显著降低计算成本和碳排放。

关键设计：论文中可能包含以下关键设计细节： * 碳税计算方法：如何量化模型架构的“碳排放量”？例如，可以使用参数量、计算复杂度、内存占用等指标。 * 压缩策略选择算法：如何根据碳税评估结果，选择合适的压缩策略？例如，可以使用强化学习、遗传算法等方法。 * 微调策略：如何对压缩后的模型进行微调，以恢复性能？例如，可以使用知识蒸馏、对抗训练等方法。 * 损失函数设计：在微调过程中，如何设计损失函数，以平衡模型准确率和计算效率？

📊 实验亮点

实验结果表明，CTT在三个核心SE任务上表现出色：内存减少高达49倍，克隆检测的时间减少高达8-10倍，摘要的时间减少高达3倍，生成的时间减少4-7倍，CO2排放量减少高达81%。同时，CTT在克隆检测中保持约98%的准确率，在摘要中保持约89%的准确率，在生成中保持高达91%（文本指标）和68%（pass@1）。

🎯 应用场景

该研究成果可应用于各种软件工程任务，例如代码克隆检测、代码摘要和代码生成等。通过降低大型语言模型的计算成本和碳排放，CTT有助于推动AI在软件工程领域的更广泛应用，并促进AI技术的环境可持续发展。未来，CTT可以进一步扩展到其他领域，例如自然语言处理、计算机视觉等。

📄 摘要（原文）

The accelerating adoption of Large Language Models (LLMs) in software engineering (SE) has brought with it a silent crisis: unsustainable computational cost. While these models demonstrate remarkable capabilities in different SE tasks, they are unmanageably large, slow to deploy, memory-intensive, and carbon-heavy. This reality threatens not only the scalability and accessibility of AI-powered SE, but also its long-term environmental sustainability. The research challenge is clear: we must go beyond accuracy and address efficiency and environmental cost as first-class design constraints. To meet this challenge, we introduce Carbon-Taxed Transformers (CTT), a systematic multi-architectural compression principled pipeline ordering inspired by economic carbon taxation principles. Drawing from the economic concept of carbon pricing, CTT operationalizes a computational carbon tax that penalizes architectural inefficiencies and rewards deployment-ready compression. We evaluate CTT across three core SE tasks: code clone detection, code summarization, and code generation, with models spanning encoder-only, encoder-decoder, and decoder-only architecture. Our results show that CTT delivers on inference: (1) up to 49x memory reduction, (2) time reduction up to 8-10x for clone detection, up to 3x for summarization, and 4-7x for generation, (3) up to 81% reduction in CO2 emissions and (4) CTT retains around 98% accuracy on clone detection, around 89% on summarization, and up to 91% (textual metrics) and 68% (pass@1) for generation. Two ablation studies show that pipeline ordering and individual component contributions are both essential, providing empirical justification for CTT's design and effectiveness. This work establishes a viable path toward responsible AI in SE through aggressive yet performance-preserving compression.