Computational Economics in Large Language Models: Exploring Model Behavior and Incentive Design under Resource Constraints

📄 arXiv: 2508.10426v3 📥 PDF

作者: Sandeep Reddy, Kabir Khan, Rohit Patil, Ananya Chakraborty, Faizan A. Khan, Swati Kulkarni, Arjun Verma, Neha Singh

分类: cs.CL

发布日期: 2025-08-14 (更新: 2025-12-29)

备注: Preprint; 7 figures, 4 tables, 1 algorithm. Experiments on GLUE (MNLI, STS-B, CoLA) and WikiText-103 with BERT-base; evaluation includes FLOPS, latency, Gini and entropy metrics

💡 一句话要点

提出基于计算经济学框架的LLM训练方法，提升资源约束下的模型效率与可解释性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 计算经济学 资源约束 模型优化 稀疏激活

📋 核心要点

  1. 现有LLM计算成本高昂，资源消耗巨大，限制了其在资源受限场景下的应用。
  2. 论文提出将LLM视为内部经济体，通过激励机制引导模型进行高效的计算资源分配。
  3. 实验表明，该方法在保证准确率的同时，显著降低了FLOPS和延迟，并提升了模型的可解释性。

📝 摘要（中文）

大型语言模型（LLM）受到巨大计算成本的限制。本文引入了一个“计算经济学”框架，将LLM视为一个内部经济体，其中资源受限的智能体（注意力头和神经元块）必须分配稀缺的计算资源，以最大化任务效用。首先，我们通过实验表明，当计算资源稀缺时，标准LLM会重新分配注意力到高价值的token，同时保持准确性。在此基础上，我们提出了一种激励驱动的训练范式，通过将可微计算成本项添加到任务损失中，来鼓励稀疏和高效的激活。在GLUE（MNLI、STS-B、CoLA）和WikiText-103上，该方法产生了一系列模型，这些模型描绘了一条帕累托前沿，并始终优于事后剪枝；在相似的准确率下，我们获得了大约40%的FLOPS减少和更低的延迟，以及更具可解释性的注意力模式。这些结果表明，经济学原理为设计在严格资源约束下高效、自适应和更透明的LLM提供了一条有原则的途径。

🔬 方法详解

问题定义：现有大型语言模型（LLM）在推理和训练过程中消耗大量的计算资源，这限制了它们在资源受限环境中的部署和应用。传统的模型优化方法，如剪枝，通常是在模型训练完成后进行的，可能无法充分利用模型在训练过程中的优化潜力。因此，如何设计一种能够在训练过程中就引导模型高效利用计算资源的方法，是一个重要的研究问题。

核心思路：论文的核心思路是将LLM视为一个内部经济体，其中不同的组件（如注意力头和神经元块）是资源受限的智能体。这些智能体需要竞争有限的计算资源，以最大化整个模型的性能。通过引入计算经济学的概念，论文旨在设计一种激励机制，鼓励模型组件进行稀疏和高效的计算，从而在保证模型性能的同时，降低计算成本。

技术框架：该方法的核心是修改LLM的训练过程，引入一个可微的计算成本项到损失函数中。这个成本项惩罚模型进行不必要的计算，从而鼓励模型组件进行稀疏激活。整体框架包括以下几个步骤：1. 定义计算成本：选择合适的指标来衡量模型组件的计算成本，例如FLOPS或激活数量。2. 构建损失函数：将计算成本项添加到原始的任务损失函数中，形成一个新的损失函数。3. 训练模型：使用新的损失函数训练LLM，模型在优化任务性能的同时，也会尽量降低计算成本。4. 评估模型：评估训练后的模型在任务性能、计算效率和可解释性方面的表现。

关键创新：该论文的关键创新在于将计算经济学的概念引入到LLM的训练中，提出了一种激励驱动的训练范式。与传统的模型优化方法相比，该方法能够在训练过程中就引导模型进行高效的计算资源分配，从而获得更好的性能和效率。此外，该方法还能够提高模型的可解释性，因为稀疏的激活模式更容易理解。

关键设计：关键的设计包括：1. 计算成本的定义：论文尝试了不同的计算成本指标，例如FLOPS和激活数量。2. 损失函数的构建：计算成本项的权重需要仔细调整，以平衡任务性能和计算效率。3. 激励机制的设计：论文设计了一种可微的计算成本项，使得模型可以通过梯度下降来优化计算效率。4. 模型架构的选择：该方法可以应用于不同的LLM架构，例如Transformer。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，该方法在GLUE和WikiText-103数据集上取得了显著的性能提升。在相似的准确率下，该方法能够减少约40%的FLOPS，并降低延迟。此外，该方法还能够产生更具可解释性的注意力模式，有助于理解模型的行为。

🎯 应用场景

该研究成果可应用于资源受限的设备或场景，例如移动设备、边缘计算等。通过降低LLM的计算成本，可以使其在这些场景下更高效地运行，从而实现更广泛的应用。此外，该方法还可以提高LLM的可解释性，有助于理解模型的内部工作机制，并为模型的设计和优化提供指导。

📄 摘要（原文）

Large language models (LLMs) are limited by substantial computational cost. We introduce a "computational economics" framework that treats an LLM as an internal economy of resource-constrained agents (attention heads and neuron blocks) that must allocate scarce computation to maximize task utility. First, we show empirically that when computation is scarce, standard LLMs reallocate attention toward high-value tokens while preserving accuracy. Building on this observation, we propose an incentive-driven training paradigm that augments the task loss with a differentiable computation cost term, encouraging sparse and efficient activations. On GLUE (MNLI, STS-B, CoLA) and WikiText-103, the method yields a family of models that trace a Pareto frontier and consistently dominate post-hoc pruning; for a similar accuracy we obtain roughly a forty percent reduction in FLOPS and lower latency, together with more interpretable attention patterns. These results indicate that economic principles offer a principled route to designing efficient, adaptive, and more transparent LLMs under strict resource constraints.