Entropy Regularization: A Free Correction to Cross-Entropy for Verified Demonstrations
作者: Mihir Dhanakshirur, Adam Ousherovitch, Ambuj Tewari
分类: cs.LG, stat.ML
发布日期: 2026-09-24
💡 一句话要点
提出熵正则化以解决交叉熵在可验证任务中的不足
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 熵正则化 交叉熵 可验证任务 数学推理 代码生成 机器学习 语言模型
📋 核心要点
- 现有的交叉熵方法在可验证任务中存在不匹配问题，导致生成的输出可能不符合验证者的要求。
- 论文提出熵正则化的交叉熵（ER-CE），通过控制学习策略的支持，避免概率质量扩散到不支持的输出上。
- 实验结果显示，ER-CE在数学推理和代码生成任务中，相比标准交叉熵显著提高了验证者的准确性。
📝 摘要（中文）
大型语言模型通常使用交叉熵（CE）在专家演示上进行后训练，尽管下游目标并非模仿演示的解决方案，而是生成任何被验证者接受的输出。在数学推理和代码生成等可验证领域，这种不匹配尤为明显。本文展示了最小化交叉熵可能与最小化验证者风险不一致的情况，并通过学习理论的反例形式化了这一点。我们提出熵正则化的交叉熵（ER-CE），利用令牌级香农熵作为可处理的代理，控制学习策略的支持。实验结果表明，熵正则化训练在数学推理和代码生成基准上，验证者准确性显著提高。
🔬 方法详解
问题定义：本文解决的是在可验证任务中，交叉熵最小化与验证者风险最小化之间的不一致性。现有的后训练方法往往只关注模仿专家解决方案，导致生成的输出可能不被验证者接受。
核心思路：论文的核心思路是通过熵正则化来控制学习策略的支持，防止概率质量分散到不支持的输出上。通过引入令牌级香农熵作为可处理的代理，解决了支持大小不可微和计算不可行的问题。
技术框架：整体架构包括数据输入、熵正则化模块和交叉熵损失计算。首先，模型接收输入数据，然后通过熵正则化模块调整输出概率分布，最后计算损失并进行反向传播。
关键创新：最重要的技术创新是提出了熵正则化的交叉熵（ER-CE），与传统的交叉熵方法相比，ER-CE更好地控制了输出的支持，从而提高了生成输出的质量。
关键设计：在损失函数中引入了熵正则化项，具体参数设置和网络结构未详细说明，但强调了熵的计算在模型训练中的重要性。通过这种设计，模型能够在训练过程中更好地适应可验证任务的需求。
🖼️ 关键图片
📊 实验亮点
实验结果表明，熵正则化的交叉熵（ER-CE）在数学推理和代码生成基准上，验证者准确性提高了显著幅度，具体提升幅度未详细说明，但相较于标准交叉熵表现出明显优势。
🎯 应用场景
该研究的潜在应用领域包括数学推理、代码生成等需要生成多种正确输出的可验证任务。通过提高模型在这些任务中的准确性，能够为实际应用提供更可靠的解决方案，推动智能系统在复杂决策中的应用。
📄 摘要（原文）
Large language models are often post-trained on expert demonstrations using cross-entropy (CE), even when the downstream objective is not to imitate the demonstrated solution but to produce any output accepted by a verifier. This mismatch is seen in verifiable domains with multiple correct solutions, such as mathematical reasoning and code generation, where training data may contain only one expert solution per problem. We show that minimizing cross-entropy can be misaligned with minimizing verifier risk; two policies can assign identical likelihood to the observed demonstrations while placing different probability mass on incorrect outputs. This is formalized through a learning-theoretic counterexample in which CE minimization selects a suboptimal policy. We identify that controlling the support of the learned policy can solve this problem by preventing probability mass from spreading to unsupported outputs. Since support size is non-differentiable and computationally intractable, we propose entropy-regularized cross-entropy (ER-CE), using token-level Shannon entropy as a tractable proxy. Finally, across mathematical reasoning and code-generation benchmarks, we find that entropy-regularized training consistently improves verifier accuracy over standard cross-entropy. Our results identify a simple failure mode of imitation-based post-training in verifiable tasks and provide a practical objective that is better aligned with producing correct outputs.