Beyond the Last Answer: Your Reasoning Trace Uncovers More than You Think
作者: Hasan Abed Al Kader Hammoud, Hani Itani, Bernard Ghanem
分类: cs.CL, cs.AI, cs.LG
发布日期: 2025-04-29
备注: Preprint
🔗 代码/项目: GITHUB
💡 一句话要点
提出基于子思想聚合的LLM推理方法，提升复杂数学问题求解精度
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 推理 子思想 聚合 数学推理 准确率提升 一致性分析
📋 核心要点
- 现有LLM评估仅依赖最终答案，忽略了中间推理步骤可能蕴含的更优解，存在局限性。
- 将推理过程分解为子思想，从每个子思想出发生成多个延续，聚合这些延续的答案以提高准确性。
- 在AIME2024和AIME2025数据集上，该方法分别实现了高达13%和10%的准确率提升。
📝 摘要（中文）
大型语言模型（LLMs）利用逐步推理来解决复杂问题。通常的评估方法是生成完整的推理过程，并评估最终答案的正确性。本文挑战了对最终答案的依赖，提出了两个问题：最终答案是否可靠地代表了模型的最优结论？不同的推理路径是否会产生不同的结果？为了回答这些问题，我们分析了中间推理步骤（称为子思想），并提出了一种基于我们发现的方法。我们的方法包括基于语言线索将推理过程分割成连续的子思想。我们首先提示模型从每个中间子思想的终点生成延续。我们从源自不同子思想的每个完整延续中提取一个潜在答案。我们发现，通过选择最频繁的答案（众数）来聚合这些答案，通常会比仅仅依赖从原始完整轨迹得出的答案产生更高的准确性。分析来自不同子思想的答案之间的一致性揭示了与模型的置信度和正确性相关的特征，这表明有可能识别不太可靠的答案。我们在各种LLM和具有挑战性的数学推理数据集（AIME2024和AIME2025）上的实验表明，准确性得到了持续提高，增益分别达到了13％和10％。
🔬 方法详解
问题定义：论文旨在解决大型语言模型（LLM）在复杂推理问题中，最终答案可能并非最优解的问题。现有方法通常只评估最终答案的正确性，忽略了中间推理步骤（子思想）中可能存在的更优解，导致评估结果不够全面，模型潜力未能充分挖掘。
核心思路：论文的核心思路是，将LLM的推理过程分解为多个子思想，并从每个子思想的终点出发，生成多个可能的延续。通过聚合这些延续产生的答案，可以更全面地评估模型的推理能力，并找到更优的解决方案。这种方法类似于集思广益，通过多个角度的思考来提高问题解决的准确性。
技术框架：该方法主要包含以下几个阶段： 1. 推理轨迹分割：利用语言线索将LLM的完整推理轨迹分割成多个子思想。 2. 子思想延续生成：从每个子思想的终点出发，提示LLM生成多个可能的延续。 3. 答案提取：从每个延续中提取一个潜在的答案。 4. 答案聚合：通过选择最频繁出现的答案（众数）来聚合所有延续产生的答案，作为最终的预测结果。 5. 一致性分析：分析不同子思想产生的答案之间的一致性，用于评估模型的置信度和预测的可靠性。
关键创新：该方法最重要的创新点在于，它不再仅仅依赖于LLM的最终答案，而是充分利用了中间推理步骤的信息。通过对子思想进行分析和聚合，可以更全面地评估模型的推理能力，并找到更优的解决方案。这与现有方法只关注最终答案形成了鲜明对比。
关键设计：论文的关键设计包括： 1. 子思想分割策略：如何有效地将推理轨迹分割成有意义的子思想，需要仔细设计语言线索。 2. 延续生成策略：如何提示LLM生成多样化的延续，以覆盖更广阔的解空间。 3. 答案聚合策略：选择众数作为最终答案，是因为它代表了模型最普遍的认知，具有一定的鲁棒性。 4. 一致性分析方法：如何量化不同子思想答案之间的一致性，并将其与模型的置信度和正确性联系起来。
🖼️ 关键图片
📊 实验亮点
实验结果表明，该方法在AIME2024和AIME2025两个具有挑战性的数学推理数据集上取得了显著的性能提升，准确率分别提高了13%和10%。这表明该方法能够有效利用LLM的中间推理步骤，找到更优的解决方案，并提高模型在复杂问题求解中的可靠性。该方法具有良好的泛化能力，适用于不同的LLM。
🎯 应用场景
该研究成果可应用于提升LLM在复杂问题求解中的准确性和可靠性，例如数学推理、代码生成、知识问答等领域。通过子思想聚合，可以有效减少LLM的幻觉问题，提高其在实际应用中的可信度。未来，该方法有望扩展到其他类型的推理任务，并与其他技术（如强化学习、知识图谱）相结合，进一步提升LLM的性能。
📄 摘要（原文）
Large Language Models (LLMs) leverage step-by-step reasoning to solve complex problems. Standard evaluation practice involves generating a complete reasoning trace and assessing the correctness of the final answer presented at its conclusion. In this paper, we challenge the reliance on the final answer by posing the following two questions: Does the final answer reliably represent the model's optimal conclusion? Can alternative reasoning paths yield different results? To answer these questions, we analyze intermediate reasoning steps, termed subthoughts, and propose a method based on our findings. Our approach involves segmenting a reasoning trace into sequential subthoughts based on linguistic cues. We start by prompting the model to generate continuations from the end-point of each intermediate subthought. We extract a potential answer from every completed continuation originating from different subthoughts. We find that aggregating these answers by selecting the most frequent one (the mode) often yields significantly higher accuracy compared to relying solely on the answer derived from the original complete trace. Analyzing the consistency among the answers derived from different subthoughts reveals characteristics that correlate with the model's confidence and correctness, suggesting potential for identifying less reliable answers. Our experiments across various LLMs and challenging mathematical reasoning datasets (AIME2024 and AIME2025) show consistent accuracy improvements, with gains reaching up to 13\% and 10\% respectively. Implementation is available at: https://github.com/hammoudhasan/SubthoughtReasoner.