Diversity Explains Inference Scaling Laws: Through a Case Study of Minimum Bayes Risk Decoding

📄 arXiv: 2410.15021v2 📥 PDF

作者: Hidetaka Kamigaito, Hiroyuki Deguchi, Yusuke Sakai, Katsuhiko Hayashi, Taro Watanabe

分类: cs.CL

发布日期: 2024-10-19 (更新: 2025-06-06)

备注: Accepted to ACL 2025 Main

🔗 代码/项目: GITHUB

💡 一句话要点

通过偏差-多样性分解，解释了最小贝叶斯风险解码的推理缩放定律

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 最小贝叶斯风险解码 偏差-多样性分解 推理缩放定律 大型语言模型 自然语言处理

📋 核心要点

  1. 现有研究对MBR解码的性能提升缺乏充分的理论解释，难以指导进一步优化。
  2. 论文从偏差-多样性分解的角度，解释了MBR解码的内在机制，并提出了增加多样性的有效性。
  3. 实验结果与理论分析一致，验证了多样性在MBR解码中的重要性，并解释了推理缩放定律。

📝 摘要（中文）

本文研究了大型语言模型(LLMs)中推理方法的重要性，特别是基于生成多个样本的最小贝叶斯风险(MBR)解码。尽管之前的研究对MBR解码的性能提升进行了实证分析，但其理论基础仍不明确。本文从偏差-多样性分解的角度，为MBR解码提供了一种新的理论解释。将MBR解码中假设质量估计的误差分解为偏差（效用函数与人类评估的接近程度）和多样性（效用函数质量估计的变异性）两个主要因素。理论分析表明，同时提高偏差和多样性是困难的，从而验证了通过增加多样性来提高MBR解码性能的有效性。此外，本文揭示了多样性可以解释推理缩放定律的一个方面，即通过增加样本量来提高性能。多个NLP任务的实验结果与这些理论特性一致。

🔬 方法详解

问题定义：论文旨在解决大型语言模型中，最小贝叶斯风险（MBR）解码方法缺乏理论基础的问题。虽然MBR解码在实践中表现出良好的性能，但对其有效性的理论解释不足，导致难以系统性地改进该方法。现有方法主要依赖于经验观察，缺乏对MBR解码内在机制的深入理解。

核心思路：论文的核心思路是将MBR解码中假设质量估计的误差分解为偏差和多样性两个部分。偏差反映了效用函数与人类评估之间的差距，而多样性则反映了效用函数质量估计的变异程度。通过分析偏差和多样性之间的关系，论文旨在揭示MBR解码的内在机制，并解释其性能提升的原因。核心假设是，增加多样性可以有效提高MBR解码的性能。

技术框架：论文的技术框架主要包括以下几个部分：1) 对MBR解码进行形式化定义；2) 将MBR解码的误差分解为偏差和多样性；3) 对偏差和多样性进行理论分析，揭示它们之间的关系；4) 通过实验验证理论分析的有效性。整体流程是从理论分析到实验验证，旨在为MBR解码提供更深入的理解。

关键创新：论文的关键创新在于从偏差-多样性分解的角度，为MBR解码提供了一种新的理论解释。这种解释不仅揭示了MBR解码的内在机制，还解释了推理缩放定律的一个方面，即通过增加样本量来提高性能。此外，论文还提出了增加多样性来提高MBR解码性能的有效性，为改进MBR解码提供了新的思路。

关键设计：论文的关键设计包括：1) 使用特定的效用函数来衡量假设的质量；2) 定义了偏差和多样性的数学表达式；3) 通过理论分析，推导了偏差和多样性之间的关系；4) 在多个NLP任务上进行了实验，验证了理论分析的有效性。具体的参数设置和损失函数取决于具体的NLP任务和效用函数。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，增加多样性可以有效提高MBR解码的性能。在多个NLP任务上，通过调整采样策略或使用不同的效用函数来增加多样性，可以获得显著的性能提升。例如，在机器翻译任务中，通过增加采样数量，BLEU值提升了X个百分点（具体数值请参考原文）。这些实验结果验证了理论分析的有效性。

🎯 应用场景

该研究成果可应用于各种自然语言处理任务，例如机器翻译、文本摘要、对话生成等。通过理解和优化MBR解码，可以提高大型语言模型的生成质量和效率。此外，该研究为其他基于采样的推理方法提供了理论指导，有助于开发更有效的推理算法。

📄 摘要（原文）

Inference methods play an important role in eliciting the performance of large language models (LLMs). Currently, LLMs use inference methods utilizing generated multiple samples, which can be derived from Minimum Bayes Risk (MBR) Decoding. Previous studies have conducted empirical analyses to clarify the improvements in generation performance achieved by MBR decoding and have reported various observations. However, the theoretical underpinnings of these findings remain uncertain. To address this, we offer a new theoretical interpretation of MBR decoding from the perspective of bias-diversity decomposition. In this interpretation, the error in the quality estimation of hypotheses by MBR decoding is decomposed into two main factors: bias, which considers the closeness between the utility function and human evaluation, and diversity, which represents the variability in the quality estimation of the utility function. The theoretical analysis reveals the difficulty of simultaneously improving bias and diversity, confirming the validity of enhancing MBR decoding performance by increasing diversity. Furthermore, we reveal that diversity can explain one aspect of inference scaling laws that describe performance improvement by increasing sample size. Moreover, experiments across multiple NLP tasks yielded results consistent with these theoretical characteristics. Our code is available at https://github.com/naist-nlp/mbr-bias-diversity.