SOPO: Socratic Guided Policy Optimization for Span-Level Hallucination Detection

📄 arXiv: 2610.32212v1 📥 PDF

作者: Jiawei Dong, Zilong Bai, Pengtian zhu, Peng Zhou

分类: cs.CL, cs.AI

发布日期: 2026-10-23

备注: 24 pages, 11 figures

🔗 代码/项目: GITHUB

💡 一句话要点

提出SOPO以解决大语言模型的幻觉检测问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 幻觉检测 强化学习 自然语言处理 推理能力 模型优化

📋 核心要点

  1. 现有方法在跨度级幻觉检测中面临定位模糊和奖励稀疏等挑战，影响模型的推理能力。
  2. SOPO通过引入苏格拉底反馈机制，利用教师模型提供间接提示，优化推理轨迹，增强幻觉检测效果。
  3. 实验结果表明，SOPO在多个基准测试中表现优异，超越了现有的最先进模型，提升了检测的准确性。

📝 摘要（中文）

大语言模型（LLMs）在自然语言处理任务中广泛应用，但存在幻觉问题，即生成不真实或不一致的内容。尽管可验证奖励的强化学习（RLVR）在推理任务中表现出色，但在跨度级幻觉检测中面临定位模糊、困难示例的奖励稀疏和长度膨胀等挑战。为此，本文提出了Socratic Guided Policy Optimization（SOPO），一种多轮强化学习框架，旨在增强幻觉检测的鲁棒性。SOPO的关键创新在于苏格拉底反馈机制，通过教师模型在回滚过程中提供间接提示，指导推理轨迹，从而缓解奖励稀疏问题。此外，本文还引入了基于回合的优势缩放，以惩罚冗长偏差，鼓励模型发展高效的自主推理能力。实验证明，SOPO（4B）在RAGTruth上实现了最先进的性能，超越了领先的专有模型（如GPT-5）和标准RL基线，并在四个领域外基准上获得了比GRPO更高的平均分数。

🔬 方法详解

问题定义：本文旨在解决大语言模型在生成内容时的幻觉问题，现有方法在处理跨度级幻觉检测时面临定位模糊、奖励稀疏和长度膨胀等痛点。

核心思路：SOPO的核心思路是通过苏格拉底反馈机制，利用教师模型提供的间接提示，指导模型的推理过程，从而提高模型在困难示例上的表现，缓解奖励稀疏问题。

技术框架：SOPO采用多轮强化学习框架，主要包括教师模型、学生模型和回滚过程。教师模型负责提供反馈，学生模型则根据反馈优化推理轨迹。

关键创新：SOPO的关键创新在于引入了苏格拉底反馈机制，使得模型在推理时能够获得更有效的指导，显著提升了幻觉检测的鲁棒性。与现有方法相比，SOPO更好地解决了奖励稀疏和冗长偏差的问题。

关键设计：在设计上，SOPO采用了基于回合的优势缩放策略，以惩罚冗长的推理过程，同时优化了损失函数，使得模型能够更有效地学习推理能力。

🖼️ 关键图片

fig_0

📊 实验亮点

SOPO在RAGTruth数据集上实现了最先进的性能，超越了领先的专有模型（如GPT-5）和标准RL基线。在四个领域外的基准测试中，SOPO的平均分数高于GRPO，显示出其在幻觉检测任务中的显著提升。

🎯 应用场景

该研究的潜在应用领域包括自然语言生成、对话系统和信息检索等。通过提高幻觉检测的准确性，SOPO能够在实际应用中提升用户体验，减少生成内容的错误和不一致性，具有重要的实际价值和未来影响。

📄 摘要（原文）

Large Language Models (LLMs) have gained widespread adoption in various natural language processing tasks, but suffer from hallucination issues where they generate unfaithful or inconsistent content. While Reinforcement Learning with Verifiable Rewards (RLVR) has shown promising applications in reasoning tasks, its application to span-level hallucination detection is challenged by localization ambiguity, reward sparsity on hard examples, and uncontrolled length inflation. To address these issues, we introduce Socratic Guided Policy Optimization (SOPO), a multi-turn RL framework for robust hallucination detection. The key innovation of SOPO is a Socratic feedback mechanism, where a teacher model guides the reasoning trajectories during rollout by providing indirect hints inferred from the ground truth. This teacher-guided approach enables the model to generate more effective reasoning trajectories for hard examples, thus alleviating reward sparsity. Furthermore, we incorporate Turn-based Advantage Scaling to penalize verbosity bias, encouraging the model to develop efficient and autonomous reasoning capabilities. Empirical results on RAGTruth demonstrate that SOPO (4B) achieves state-of-the-art performance, surpassing leading proprietary models (e.g., GPT-5) and standard RL baselines, while obtaining higher reported mean scores than GRPO on four out-of-domain benchmarks, with mixed evidence against CAPO. We release our training and evaluation code alongside the 1.7B and 4B SOPO models at https://github.com/patsnap/SOPO.