Revisiting LLM Reasoning via Information Bottleneck

📄 arXiv: 2507.18391v1 📥 PDF

作者: Shiye Lei, Zhihao Cheng, Kai Jia, Dacheng Tao

分类: cs.AI

发布日期: 2025-07-24

💡 一句话要点

提出基于信息瓶颈的LLM推理优化框架，提升数学推理能力

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 信息瓶颈 推理优化 强化学习 数学推理

📋 核心要点

  1. 现有LLM推理方法依赖启发式规则，缺乏理论指导，限制了其泛化能力和优化潜力。
  2. 论文提出基于信息瓶颈（IB）原理的推理优化框架IBRO，旨在提升推理轨迹的信息量和泛化性。
  3. 实验表明，IB正则化方法能有效提升LLM在数学推理任务上的性能，且计算开销小。

📝 摘要（中文）

大型语言模型（LLM）最近通过可验证奖励的强化学习（RLVR）在推理能力方面取得了显著进展。通过利用简单的基于规则的奖励，RL有效地激励LLM生成扩展的思维链（CoT）推理轨迹，逐步引导它们得出正确的答案。然而，现有方法在很大程度上仍然是启发式的和直觉驱动的，限制了有原则的方法论的发展。在本文中，我们提出了一个基于信息瓶颈（IB）原理的LLM推理的理论表征，引入了IB感知推理优化（IBRO），该框架鼓励推理轨迹既包含关于最终正确答案的信息，又具有跨不同提示的泛化能力。我们推导出一个实用的token级别代理目标，并提出了一个有效的近似，从而产生了轻量级的IB正则化方法。该技术无缝集成到现有的基于RL的后训练框架中，无需额外的计算开销，只需要一行代码修改。在经验上，我们在多个数学推理基准和RL算法上验证了IB正则化，证明了LLM推理性能的持续改进。

🔬 方法详解

问题定义：现有的大型语言模型在推理能力上取得了显著进展，但现有的方法很大程度上是启发式的和直觉驱动的，缺乏坚实的理论基础。这导致模型在面对不同提示时泛化能力不足，且难以进行有原则的优化。因此，需要一种理论框架来指导LLM的推理过程，使其既能准确地推导出答案，又能具备良好的泛化能力。

核心思路：论文的核心思路是将信息瓶颈（IB）原则应用于LLM的推理过程。IB原则旨在找到一个压缩表示，该表示既能保留关于目标变量（即正确答案）的足够信息，又能最大限度地减少与输入变量（即提示）无关的信息。通过将推理轨迹视为一种信息通道，论文旨在优化该通道，使其既能传递关于正确答案的关键信息，又能过滤掉不必要的噪声，从而提高推理的准确性和泛化能力。

技术框架：论文提出了IB感知推理优化（IBRO）框架。该框架包含以下几个主要步骤：1) 使用强化学习（RL）训练LLM生成推理轨迹。2) 基于信息瓶颈原理，设计一个token级别的代理目标函数，该函数鼓励推理轨迹既包含关于最终正确答案的信息，又具有跨不同提示的泛化能力。3) 提出一种有效的近似方法，实现轻量级的IB正则化。4) 将IB正则化集成到现有的基于RL的后训练框架中，无需额外的计算开销。

关键创新：论文最重要的技术创新点是将信息瓶颈原理引入到LLM的推理优化中。与现有方法相比，该方法提供了一个理论框架来指导推理过程，并能够显式地优化推理轨迹的信息量和泛化能力。此外，论文提出的轻量级IB正则化方法可以无缝集成到现有的RL框架中，无需额外的计算开销，使其具有很强的实用性。

关键设计：论文的关键设计包括：1) Token级别的代理目标函数的设计，该函数基于互信息来衡量推理轨迹与正确答案之间的信息量，以及推理轨迹与提示之间的相关性。2) 使用KL散度来近似互信息，从而实现高效的计算。3) 将IB正则化项添加到RL的奖励函数中，从而在训练过程中同时优化推理的准确性和泛化能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，IB正则化方法在多个数学推理基准上取得了显著的性能提升。例如，在某些基准上，模型的准确率提高了5%以上。此外，该方法还能够提高模型在不同RL算法下的性能，表明其具有较强的通用性。最重要的是，IB正则化只需要一行代码修改，且没有额外的计算开销，使其易于部署和应用。

🎯 应用场景

该研究成果可应用于各种需要复杂推理能力的场景，例如数学问题求解、代码生成、知识图谱推理等。通过提升LLM的推理能力和泛化性，可以提高这些应用场景的性能和可靠性。此外，该研究提出的IB正则化方法可以作为一种通用的技术，应用于其他基于RL的LLM训练框架中，具有广泛的应用前景。

📄 摘要（原文）

Large language models (LLMs) have recently demonstrated remarkable progress in reasoning capabilities through reinforcement learning with verifiable rewards (RLVR). By leveraging simple rule-based rewards, RL effectively incentivizes LLMs to produce extended chain-of-thought (CoT) reasoning trajectories, progressively guiding them toward correct answers. However, existing approaches remain largely heuristic and intuition-driven, limiting the development of principled methodologies. In this paper, we present a theoretical characterization of LLM reasoning grounded in information bottleneck (IB) principle, introducing IB-aware reasoning optimization (IBRO), a framework that encourages reasoning trajectories to be both informative about the final correct answer and generalizable across diverse prompts. We derive a practical token-level surrogate objective and propose an efficient approximation, resulting in the lightweight IB regularization method. This technique integrates seamlessly into existing RL-based post-training frameworks without additional computational overhead, requiring only a one-line code modification. Empirically, we validate IB regularization across multiple mathematical reasoning benchmarks and RL algorithms, demonstrating consistent improvements in LLM reasoning performance.