Boosting Process-Correct CoT Reasoning by Modeling Solvability of Multiple-Choice QA
作者: Raphael Schumann, Stefan Riezler
分类: cs.AI, cs.CL
发布日期: 2025-09-30
💡 一句话要点
通过建模多项选择题的可解性，提升过程正确的CoT推理
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 思维链推理 多项选择题问答 可解性建模 奖励模型 强化学习 过程正确性 幻觉减少
📋 核心要点
- 现有大语言模型在多项选择题推理中易产生虚假CoT，导致错误答案，尤其在问题不可解时。
- 论文核心思想是建模问题的可解性，并将其融入奖励模型和强化学习目标，从而提升推理的可靠性。
- 实验结果表明，该方法能有效提高过程正确的推理率，并改善强化学习中的答案准确性。
📝 摘要（中文）
大型语言模型的推理质量不仅取决于产生正确的答案，还取决于生成有效的中间步骤。本文通过多项选择题问答（MCQA）研究了这个问题，MCQA提供了一个具有固定答案选项的受控环境。分析表明，当问题对于模型来说实际上是无法解决时，虚假的思维链（CoT）更有可能出现，从而导致假阳性。通过估计每个问题的可解性，发现了一个学习最有效的中间状态。基于此，本文调整了结果监督奖励模型和具有群体相对优势的强化学习，将可解性纳入其目标。在数学和多模态数据集上的实验表明，这些修改始终产生更高的过程正确推理率，并且在强化学习中，答案准确性也得到了提高。研究结果强调了可解性是减少幻觉和提高CoT推理可靠性的关键因素。
🔬 方法详解
问题定义：现有的大型语言模型在进行多项选择题问答时，即使最终答案正确，其推理过程（Chain-of-Thought, CoT）也可能是不合理的，即存在“幻觉”现象。尤其当问题本身对于模型来说是难以解决的（不可解）时，模型更容易生成虚假的推理链，从而导致错误的结论。现有的方法缺乏对问题可解性的考虑，容易受到这些虚假CoT的影响。
核心思路：论文的核心思路是显式地建模问题的可解性，并将其作为一种先验知识融入到模型的训练过程中。通过估计每个问题的可解性，可以区分哪些CoT是可靠的，哪些是不可靠的。这样，模型就可以更加关注那些可解问题的推理过程，从而减少虚假CoT的影响。
技术框架：整体框架包括以下几个主要步骤：1) 可解性估计：使用某种方法（具体方法未知）估计每个问题的可解性得分。2) 奖励模型调整：调整现有的结果监督奖励模型，将可解性得分纳入奖励函数的计算中。具体来说，对于可解性较高的问题，如果CoT是正确的，则给予更高的奖励；对于可解性较低的问题，即使CoT是正确的，也适当降低奖励。3) 强化学习：使用调整后的奖励模型进行强化学习，目标是最大化过程正确的推理率和答案准确性。论文还采用了group-relative advantage的强化学习方法，进一步提升学习效率。
关键创新：最重要的技术创新点在于将问题的可解性建模并融入到CoT推理的训练过程中。与现有方法相比，该方法能够更加有效地减少虚假CoT的影响，提高推理的可靠性。通过显式地考虑问题的难度，模型可以更好地学习到真实的推理模式。
关键设计：论文的关键设计包括：1) 可解性估计方法：具体如何估计问题的可解性，论文中没有详细说明，这部分是未知信息。2) 奖励函数设计：如何将可解性得分融入到奖励函数中，需要仔细设计，以平衡答案正确性和推理过程的合理性。3) 强化学习算法选择：选择合适的强化学习算法，并进行参数调优，以获得最佳的训练效果。论文使用了group-relative advantage的强化学习方法，但具体实现细节未知。
🖼️ 关键图片
📊 实验亮点
实验结果表明，通过将可解性纳入奖励模型和强化学习目标，可以显著提高过程正确的推理率。在数学和多模态数据集上，该方法都取得了优于现有基线的性能。此外，在强化学习中，答案准确性也得到了提高，这表明该方法不仅能提高推理过程的可靠性，还能改善最终的答案质量。具体的性能提升幅度未知。
🎯 应用场景
该研究成果可应用于提升大语言模型在各种需要复杂推理的场景下的可靠性，例如智能客服、自动问答系统、教育辅导等。通过减少模型产生幻觉的可能性，可以提高用户对AI系统的信任度，并促进其在实际应用中的广泛采用。未来的研究可以探索更精确的可解性估计方法，并将其应用于更广泛的推理任务。
📄 摘要（原文）
Reasoning quality in large language models depends not only on producing correct answers but also on generating valid intermediate steps. We study this through multiple-choice question answering (MCQA), which provides a controlled setting with fixed answer options. Our analysis shows that when questions are effectively unsolvable for a model, spurious chains of thought (CoTs) are more likely to appear, leading to false positives. By estimating the solvability of each question, we uncover an intermediate regime where learning is most effective. Building on this insight, we adapt outcome-supervised reward models and reinforcement learning with group-relative advantage to incorporate solvability into their objectives. Across experiments on math and multimodal datasets, these modifications consistently yield higher rates of process-correct reasoning and, in reinforcement learning, improved answer accuracy as well. Our results highlight solvability as a key factor for reducing hallucinations and increasing reliability in CoT reasoning.