PHRBench: A Behavioral Evaluation of Post-Hallucination Reasoning in LLMs

📄 arXiv: 2610.10455v1 📥 PDF

作者: Linghao Meng, Feng He, Xuan Yang, Junyuan Mao, Pinze Ren, Deqing Mu, Hesen Yang, Qiankun Li

分类: cs.CL, cs.AI

发布日期: 2026-10-07

💡 一句话要点

提出PHRBench以评估大语言模型的后幻觉推理行为

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 后幻觉推理 大语言模型 推理轨迹 幻觉信息 自然语言处理 模型评估 预测模型

📋 核心要点

  1. 现有研究对后幻觉推理的理解不足，主要集中在最终结果和推理动态的变化上。
  2. 本文提出PHRBench基准，通过结构化评估推理轨迹，深入分析模型如何处理幻觉信息。
  3. 在4820个控制实例中，发现成功恢复较为稀少，但与推理过程中的信念更新频率相关。

📝 摘要（中文）

幻觉信息在多阶段大语言模型系统中传播，成为后续推理的上下文。现有研究主要关注最终结果的变化和推理动态，缺乏对模型如何在响应层面解决幻觉前提的深入理解。本文提出PHRBench，一个控制性基准，用于在四个领域和18个大语言模型中结构化评估后幻觉推理。PHRBench通过幻觉合规性、幻觉规避和启发式修正独立表征每个推理轨迹，并定义成功修正为最终达到正确答案的轨迹。实验发现，成功恢复相对较少，且与推理轨迹中的信念更新频率相关，幻觉提示的特性对成功恢复具有显著的预测信号。

🔬 方法详解

问题定义：本文旨在解决大语言模型在后幻觉推理中如何处理幻觉信息的问题。现有方法对模型在响应层面解决幻觉前提的机制理解不足。

核心思路：提出PHRBench基准，通过独立表征推理轨迹，分析幻觉合规性、幻觉规避和启发式修正，深入理解模型的推理过程。

技术框架：PHRBench包括多个模块，首先是幻觉信息的识别与分类，然后是推理轨迹的记录与分析，最后是成功修正的评估。

关键创新：最重要的创新在于通过结构化的方式评估后幻觉推理，提供了对模型推理行为的深刻洞察，与现有方法的定性分析形成对比。

关键设计：设计了轻量级预测器，能够基于幻觉提示的特性进行成功恢复的预测，取得了0.847的AUROC性能。实验中使用了4820个控制实例，确保了评估的严谨性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，成功恢复的频率相对较低，但与推理轨迹中的信念更新频率显著相关。轻量级预测器在成功恢复预测中达到了0.847的AUROC，表明幻觉提示特性具有重要的预测能力。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、智能问答系统和对话生成等。通过深入理解大语言模型的推理行为，能够提升模型在处理复杂信息时的准确性和可靠性，具有重要的实际价值和未来影响。

📄 摘要（原文）

Hallucinated information can propagate through multi-stage LLM systems and become part of the context for subsequent reasoning. Existing studies of post-hallucination reasoning (PHR) mainly characterize changes in final outcomes and aggregate reasoning dynamics, leaving how models resolve hallucinated premises at the response level insufficiently understood. In this work, we introduce PHRBench, a controlled benchmark for behaviorally structured PHR across four domains and 18 large language models. PHRBench characterizes each reasoning trajectory independently of final-answer correctness through Hallucination Compliance, Hallucination Avoidance, and Heuristic Correction, and defines an insightful trajectory as successful correction that ultimately reaches the correct answer. Across 4820 controlled instances, we find that successful recovery remains relatively rare and is associated with more frequent belief updates along the reasoning trajectory. We further find that properties of the hallucinated prompt contain substantial predictive signal for successful recovery, with a lightweight predictor achieving an AUROC of 0.847. These findings provide a behavioral view of post-hallucination reasoning, characterizing how LLMs resolve erroneous context and when successful recovery is likely to occur.