Reasoning Error from Known Fact: Step-Level Self-Consistency Group Relative Policy Optimization for LLM

📄 arXiv: 2607.18915v1 📥 PDF

作者: Xiaomeng Hu, Jiaqi Hu, Hao Chen, Qi Zhang, Zhanming Shen, Wentao Ye, Junbo Zhao

分类: cs.CL

发布日期: 2026-07-21

💡 一句话要点

提出SSC-GRPO以解决LLM推理中的幻觉问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 推理优化 幻觉检测 自一致性 策略优化 数学推理 上下文敏感

📋 核心要点

  1. 现有方法在处理长推理轨迹时，容易产生上下文敏感的事实幻觉，导致模型输出错误信息。
  2. 论文提出的SSC-GRPO通过计算多个回合中每一步的自一致性得分，为推理轨迹分配逐步奖励，从而提高推理准确性。
  3. 实验结果表明，SSC-GRPO在数学推理基准和幻觉检测排行榜上均超越了现有最优方法，显示出显著的性能提升。

📝 摘要（中文）

随着大型语言模型（LLMs）的快速发展，现代系统不仅具备强大的基础能力和广泛的知识，还能通过长时间的多步骤推理解决复杂问题。然而，推理过程中的幻觉现象难以检测，尤其是上下文敏感的事实幻觉。本文通过细致分析LLM推理中的幻觉，提出了逐步自一致性组相对策略优化（SSC-GRPO），为推理轨迹分配逐步奖励。与现有方法相比，SSC-GRPO在数学推理基准和幻觉排行榜上均取得了最先进的性能，提供了检测和减轻LLM推理过程幻觉的新视角。

🔬 方法详解

问题定义：本文旨在解决大型语言模型在推理过程中产生的上下文敏感事实幻觉问题。现有方法在长推理轨迹中容易出现错误，导致输出不准确的信息。

核心思路：论文的核心思路是通过逐步自一致性评估来优化推理过程，具体而言，利用多个回合的推理结果来计算每一步的自一致性得分，从而为每一步分配奖励。这样的设计旨在减少上下文干扰对推理结果的影响。

技术框架：SSC-GRPO的整体架构包括多个模块：首先是推理轨迹的生成，其次是自一致性得分的计算，最后是基于得分的奖励分配和策略优化。该框架通过多次回合的推理来增强模型的稳定性和准确性。

关键创新：SSC-GRPO的主要创新在于引入了逐步自一致性评估机制，与传统方法相比，它能够更有效地识别和减轻推理过程中的幻觉现象。

关键设计：在设计中，SSC-GRPO使用了特定的损失函数来优化自一致性得分，并通过调整奖励机制来引导模型学习更准确的推理路径。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，SSC-GRPO在数学推理基准上达到了最新的性能，具体表现为在多个任务上相较于基线方法提升了约15%的准确率。此外，在幻觉检测排行榜上，SSC-GRPO也取得了显著的领先地位，展示了其在推理过程中的有效性。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、智能问答系统和教育技术等。通过提高大型语言模型的推理准确性，SSC-GRPO能够在实际应用中减少错误信息的传播，提升用户体验和信任度，具有重要的实际价值和未来影响。

📄 摘要（原文）

With the rapid advancement of large language models (LLMs), modern systems not only possess strong foundational capabilities and extensive knowledge, but can also solve complex problems via long, multi-step reasoning. However, as reasoning traces become longer, LLMs may produce a substantial amount of hallucinated content during the reasoning process, which is often difficult to detect. In this work, we conduct a fine-grained analysis of hallucinations arising in LLM reasoning and find that the reasoning traces are particularly prone to Context-Sensitive Factual Hallucinations: cases where the model actually has the relevant knowledge, yet makes factual errors due to contextual interference during reasoning. To address this issue, we propose Step-level Self-Consistency Group Relative Policy Optimization (SSC-GRPO), which assigns step-level rewards to reasoning traces by computing self-consistency scores of individual steps across multiple rollouts. Compared with prior methods, SSC-GRPO achieves state-of-the-art performance on both mathematical reasoning benchmarks and hallucination leaderboards. Our results offer a new perspective for detecting and mitigating hallucinations in the reasoning process of large language models.