GeoFaith: A Spatio-Temporal Dual View of Faithful Chain-of-Thought

📄 arXiv: 2605.26893v1 📥 PDF

作者: Weijiang Lv, Wentong Zhao, Jiayu Wang, Yuhao Wu, Jiaheng Wei, Xiaobo Xia

分类: cs.CL, cs.AI

发布日期: 2026-05-26

💡 一句话要点

GeoFaith：提出时空双重视角的可信Chain-of-Thought推理框架

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: Chain-of-Thought 可信推理 忠实性评估 时空建模 强化学习

📋 核心要点

  1. 现有CoT推理存在事后合理化问题，导致推理链不忠实，且缺乏有效、可扩展的忠实性评估方法。
  2. GeoFaith利用潜在几何结构和熵动力学，从时空双重视角诊断和增强推理链的忠实性。
  3. 实验表明，GeoFaith在忠实性检测和下游推理方面均表现出色，生成更短、更可解释的推理链。

📝 摘要（中文）

Chain-of-Thought (CoT) 推理提升了大语言模型 (LLMs) 的能力，但基于结果的监督导致普遍的事后合理化，产生了看似合理但不忠实的推理链。现有的大多数忠实性评估方法要么不可扩展，要么成本高昂，要么不可靠。我们提出了 GeoFaith，一个时空框架，利用潜在的几何结构和熵动力学来诊断和加强忠实的推理。我们开发了一个可扩展的引导流程，将步骤级别的标注从四个领域的 1k 扩展到 20k 个样本，训练了一个在标准基准测试中优于 GPT-5 的 8B 忠实性检测器，并设计了一个忠实性感知的强化学习框架，联合优化结果正确性、过程忠实性和轨迹一致性。实验表明，所提出的方法在忠实性检测和下游推理方面都取得了优异的性能，产生了更短、更易于解释的链，而没有牺牲准确性。我们的代码将公开提供。

🔬 方法详解

问题定义：论文旨在解决Chain-of-Thought (CoT) 推理中普遍存在的事后合理化问题，即模型生成的推理链看似合理，但实际上与得出最终答案的过程并不一致，缺乏真实性。现有的忠实性评估方法存在可扩展性差、成本高昂或可靠性低等问题，难以有效诊断和纠正不忠实的推理过程。

核心思路：GeoFaith的核心思路是从时空双重视角来评估和增强CoT推理的忠实性。具体来说，它利用潜在的几何结构来捕捉推理步骤之间的关系，并利用熵动力学来分析推理过程中的信息流动和不确定性。通过结合时空信息，GeoFaith能够更准确地识别和纠正不忠实的推理步骤。

技术框架：GeoFaith框架主要包含三个阶段：1) 可扩展的引导流程，用于生成大规模的步骤级别标注数据；2) 忠实性检测器，用于评估推理链的忠实性；3) 忠实性感知的强化学习框架，用于优化模型的推理过程，使其更加忠实。该框架通过联合优化结果正确性、过程忠实性和轨迹一致性，从而提高CoT推理的整体性能。

关键创新：GeoFaith的关键创新在于提出了时空双重视角的忠实性评估方法，并将其应用于CoT推理的优化。与现有方法相比，GeoFaith能够更准确地捕捉推理过程中的细微变化，并利用这些信息来提高推理的忠实性和可解释性。此外，GeoFaith还提出了一个可扩展的引导流程，用于生成大规模的标注数据，从而克服了数据稀缺的问题。

关键设计：GeoFaith的关键设计包括：1) 使用几何结构来表示推理步骤之间的关系，例如使用图神经网络来学习节点（推理步骤）的嵌入表示；2) 使用熵动力学来分析推理过程中的信息流动和不确定性，例如计算每个步骤的熵值，并将其作为忠实性评估的指标；3) 设计忠实性感知的强化学习奖励函数，鼓励模型生成更加忠实的推理链。具体的参数设置、损失函数和网络结构等细节将在论文中详细描述（未知）。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

GeoFaith在多个基准测试中取得了显著的性能提升。例如，在忠实性检测任务中，GeoFaith训练的8B模型优于GPT-5。在下游推理任务中，GeoFaith能够生成更短、更易于解释的推理链，同时保持甚至提高准确性。具体的数据和提升幅度将在论文中详细展示（未知）。

🎯 应用场景

GeoFaith的研究成果可应用于各种需要可信推理的场景，例如医疗诊断、金融风险评估、法律咨询等。通过提高CoT推理的忠实性和可解释性，GeoFaith可以帮助人们更好地理解模型的决策过程，并增强对模型的信任。此外，GeoFaith还可以用于开发更加安全可靠的AI系统，避免因不忠实推理而导致的错误决策。

📄 摘要（原文）

Chain-of-Thought (CoT) reasoning has advanced large language models (LLMs), but outcome-based supervision leads to pervasive post-hoc rationalization, producing plausible yet unfaithful reasoning chains. Most prior faithfulness assessment methods are either unscalable, expensive, or unreliable. We propose GeoFaith, a spatio-temporal framework that leverages latent geometric structure and entropy dynamics to diagnose and enforce faithful reasoning. We develop a scalable bootstrapping pipeline expanding step-level annotations from 1k to 20k samples across four domains, train an 8B faithfulness detector outperforming GPT-5 on standard benchmarks, and design a faithfulness-aware reinforcement learning framework jointly optimizing outcome correctness, process faithfulness, and trajectory consistency. Experiments show the proposed method achieves superior performance on both faithfulness detection and downstream reasoning, producing shorter, more interpretable chains without sacrificing accuracy. Our code will be made available publicly.