Emissions and Performance Trade-off Between Small and Large Language Models

📄 arXiv: 2601.08844v1 📥 PDF

作者: Anandita Garg, Uma Gaba, Deepan Muthirayan, Anish Roy Chowdhury

分类: cs.CL, cs.AI, cs.CY, cs.LG

发布日期: 2025-12-21

备注: 6 pages. Accepted as a full paper to the 3rd International Conference on Foundation and Large Language Models (IEEE FLLM) 2025

💡 一句话要点

研究表明，微调小型语言模型在多项任务上可实现与大型模型相当的性能，同时显著降低碳排放。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 小型语言模型 大型语言模型 碳排放 微调 绿色AI

📋 核心要点

  1. 大型语言模型训练和推理过程中的高能耗和碳排放是当前面临的重要挑战。
  2. 该研究探索了使用微调的小型语言模型替代大型模型，以降低碳排放并保持性能。
  3. 实验结果表明，在多个任务上，小型模型在降低碳排放的同时，性能与大型模型相当。

📝 摘要（中文）

大型语言模型（LLM）的出现引发了对其巨大碳足迹的担忧，这种担忧始于能源密集型训练，并持续到重复推理。本研究探讨了使用微调的小型语言模型（SLM）作为预定义任务的可持续替代方案的潜力。本文对自然语言处理、推理和编程等选定任务中LLM和微调SLM之间的性能-排放权衡进行了比较分析。结果表明，在六个选定任务中的四个任务中，SLM在推理过程中保持了相当的性能，同时显著降低了碳排放。我们的研究结果证明了较小模型在减轻资源密集型LLM的环境影响方面的可行性，从而朝着可持续的绿色人工智能迈进。

🔬 方法详解

问题定义：大型语言模型（LLM）虽然在各种任务中表现出色，但其训练和推理过程需要消耗大量的计算资源，导致显著的碳排放。现有方法缺乏对LLM环境影响的有效控制，因此需要探索更可持续的替代方案。

核心思路：本研究的核心思路是利用微调后的小型语言模型（SLM）来替代大型语言模型，以在特定任务上实现性能与碳排放之间的平衡。通过针对特定任务对SLM进行微调，使其在保持可接受性能的同时，显著降低推理过程中的计算资源消耗和碳排放。

技术框架：该研究的技术框架主要包括以下几个步骤：1) 选择合适的LLM和SLM；2) 确定一系列自然语言处理、推理和编程任务；3) 使用相同的数据集对SLM进行微调，使其适应特定任务；4) 在相同硬件条件下，对比LLM和微调后的SLM在各项任务上的性能和碳排放量。

关键创新：该研究的关键创新在于系统性地评估了LLM和微调SLM在性能和碳排放之间的权衡。通过实验证明，在多个任务上，微调后的SLM可以在显著降低碳排放的同时，保持与LLM相当的性能。这为开发更可持续的AI系统提供了一种可行的途径。

关键设计：研究中，SLM的微调过程采用了标准的反向传播算法和交叉熵损失函数。具体的参数设置（如学习率、batch size、训练epochs）根据不同任务进行了调整，以获得最佳性能。碳排放的测量使用了标准的能源消耗测量工具，并考虑了硬件设备的能源效率。

📊 实验亮点

实验结果表明，在六个选定的任务中，有四个任务中，微调后的小型语言模型在推理过程中保持了与大型语言模型相当的性能，同时显著降低了碳排放。具体而言，在某些任务上，小型模型的碳排放量降低了50%以上，而性能损失仅在可接受范围内（例如，准确率下降小于5%）。这些结果表明，小型模型是大型模型在特定任务上的一个可行的、更环保的替代方案。

🎯 应用场景

该研究成果可应用于各种需要自然语言处理、推理和编程能力的场景，尤其是在对能源消耗和环境影响有较高要求的领域。例如，在移动设备、边缘计算和物联网等资源受限的环境中，可以使用微调的小型语言模型来提供智能服务，从而降低碳排放并提高可持续性。此外，该研究还可以指导AI模型的开发和部署，促进绿色AI的发展。

📄 摘要（原文）

The advent of Large Language Models (LLMs) has raised concerns about their enormous carbon footprint, starting with energy-intensive training and continuing through repeated inference. This study investigates the potential of using fine-tuned Small Language Models (SLMs) as a sustainable alternative for predefined tasks. Here, we present a comparative analysis of the performance-emissions trade-off between LLMs and fine-tuned SLMs across selected tasks under Natural Language Processing, Reasoning and Programming. Our results show that in four out of the six selected tasks, SLMs maintained comparable performances for a significant reduction in carbon emissions during inference. Our findings demonstrate the viability of smaller models in mitigating the environmental impact of resource-heavy LLMs, thus advancing towards sustainable, green AI.