Stepwise Informativeness Search for Efficient and Effective LLM Reasoning

📄 arXiv: 2502.15335v2 📥 PDF

作者: Siyuan Wang, Enda Zhao, Zhongyu Wei, Xiang Ren

分类: cs.CL

发布日期: 2025-02-21 (更新: 2025-04-12)

备注: Preprint

💡 一句话要点

提出Stepwise Informativeness Search，提升LLM多步推理的准确性和效率

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 多步推理 推理链 信息检索 树搜索

📋 核心要点

  1. 现有LLM在长文本推理中易忽略早期步骤信息，导致推理不可靠和冗余。
  2. 提出Stepwise Informativeness Search，通过主动引用先前步骤和减少冗余信息，引导LLM生成更准确简洁的推理。
  3. 实验表明，该方法通过生成更高质量的推理，减少错误和冗余，从而提高推理准确性。

📝 摘要（中文）

大型语言模型（LLMs）的进步显著提升了通过生成自由文本推理进行的多步推理能力。然而，最近的研究表明，LLMs在长文本推理过程中容易失去焦点。这引发了人们的担忧，即随着推理的进行，LLMs在解码后续步骤时可能会忽略早期步骤中的信息，从而导致生成不可靠和冗余的推理。为了解决这个问题，我们提出通过以下方式引导LLMs生成更准确和简洁的逐步推理：（1）主动引用来自未充分利用的先前步骤的信息，以及（2）最小化新步骤和现有步骤之间的冗余信息。我们引入了Stepwise Informativeness Search，这是一种推理时树搜索框架，包含两个选择启发式方法：基于grounding的引导选择，优先考虑对未充分利用的步骤给予更高关注的步骤；以及基于新颖性的引导选择，鼓励具有新颖结论的步骤。在推理生成过程中，我们使用一种自grounding策略，提示LLMs在每个步骤进行推导之前，显式地引用相关的先前步骤以提供前提。在四个推理数据集上的实验结果表明，我们的方法通过生成更高质量的推理，减少错误和冗余，从而提高推理准确性。

🔬 方法详解

问题定义：论文旨在解决大型语言模型（LLMs）在多步推理过程中，随着上下文长度增加，容易忽略早期步骤信息，导致生成不可靠和冗余推理的问题。现有方法缺乏对先前步骤信息的有效利用，并且生成的推理步骤之间存在大量冗余，影响了推理的准确性和效率。

核心思路：论文的核心思路是通过引导LLM主动引用先前步骤的信息，并最小化新步骤和现有步骤之间的冗余信息，从而生成更准确和简洁的逐步推理。这种方法旨在解决LLM在长文本推理中“失去焦点”的问题，提高推理的可靠性和效率。

技术框架：论文提出了Stepwise Informativeness Search框架，这是一个推理时的树搜索框架，包含以下主要模块： 1. 自Grounding策略：提示LLM在每个步骤进行推导之前，显式地引用相关的先前步骤以提供前提。 2. Grounding-guided Selection：优先选择对未充分利用的步骤给予更高关注的步骤。 3. Novelty-guided Selection：鼓励选择具有新颖结论的步骤。 该框架通过迭代地生成和评估推理步骤，最终选择最优的推理路径。

关键创新：论文的关键创新在于提出了Stepwise Informativeness Search框架，该框架通过结合自Grounding策略和两种选择启发式方法（Grounding-guided Selection和Novelty-guided Selection），有效地引导LLM生成更准确和简洁的推理。与现有方法相比，该框架能够更好地利用先前步骤的信息，并减少推理步骤之间的冗余。

关键设计： 1. 自Grounding策略：通过特定的prompt，要求LLM在生成每个推理步骤时，明确指出所依赖的先前步骤。 2. Grounding-guided Selection：使用注意力机制来衡量每个步骤对先前步骤的利用程度，并优先选择利用程度较低的步骤。 3. Novelty-guided Selection：使用文本相似度度量来衡量每个步骤与先前步骤之间的信息冗余程度，并优先选择信息冗余程度较低的步骤。 4. 树搜索算法：使用Beam Search算法在推理树中搜索最优的推理路径。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，在四个推理数据集上，该方法显著提高了推理准确性。例如，在某些数据集上，该方法相对于基线模型取得了超过5%的绝对提升。此外，该方法还能够生成更高质量的推理，减少错误和冗余，从而提高了推理的可解释性。

🎯 应用场景

该研究成果可应用于需要多步推理的各种场景，例如问答系统、知识图谱推理、自然语言推理等。通过提高LLM的推理准确性和效率，可以提升这些应用的用户体验和性能。此外，该方法还可以用于改进LLM的训练过程，使其更好地掌握多步推理能力。

📄 摘要（原文）

Advances in Large Language Models (LLMs) have significantly improved multi-step reasoning through generating free-text rationales. However, recent studies show that LLMs tend to lose focus over the middle of long contexts. This raises concerns that as reasoning progresses, LLMs may overlook information in earlier steps when decoding subsequent steps, leading to generate unreliable and redundant rationales. To address this, we propose guiding LLMs to generate more accurate and concise step-by-step rationales by (1) proactively referencing information from underutilized prior steps, and (2) minimizing redundant information between new and existing steps. We introduce stepwise informativeness search, an inference-time tree search framework incorporating two selection heuristics: grounding-guided selection which prioritizes steps paying higher attention over underutilized steps; and novelty-guided selection which encourages steps with novel conclusions. During rationale generation, we use a self-grounding strategy that prompts LLMs to explicitly reference relevant prior steps to provide premises before deduction at each step. Experimental results on four reasoning datasets demonstrate that our approach improves reasoning accuracy by generating higher-quality rationales with reduced errors and redundancy.