Verbalising Model's Computation for Chain-of-Thought Faithfulness Detection

📄 arXiv: 2610.23275v1 📥 PDF

作者: Yujing Wang, Yulan He, Wenya Wang, Hanqi Yan

分类: cs.CL

发布日期: 2026-10-16

💡 一句话要点

提出VERITAS以解决链式思维的可信性检测问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 链式思维 可信性检测 模型可视化 推理过程 雅可比投影 特征提取 分类器训练

📋 核心要点

  1. 现有的链式思维验证方法在解释推理不可信性的发展方面存在不足，难以提供深入的理解。
  2. 本文提出VERITAS，通过层级雅可比投影可视化模型内部推理的演变，揭示推理锚点的变化。
  3. 实验结果表明，VERITAS在多个数据集上显著提升了性能，平衡准确率提高28.4%，激活探测平均提升16.0%。

📝 摘要（中文）

当前的链式思维（CoT）验证方法主要通过模型输出或静态激活来检测推理的可信性，但在解释不可信性如何在生成过程中发展方面存在局限。本文提出VERITAS，旨在对模型计算进行可视化，展示不同推理锚点如何在层间转移并在输出中显现。VERITAS采用层级雅可比投影，生成每个CoT标记的内部推理演变的可视化描述。通过在提取的特征上训练分类器，研究表明这些结构化特征提供了关于推理如何及何处偏离可信性的深刻见解。实验结果显示，VERITAS在FaithCoT-Bench和BonaFide的四个数据集上，相较于LLM-as-Judge，平衡准确率提升28.4%，激活探测平均提升16.0%。进一步分析表明，VERITAS可推广至不同数据集和模型架构。

🔬 方法详解

问题定义：本文旨在解决当前链式思维验证方法在推理不可信性解释方面的不足，现有方法无法有效追踪推理过程中的变化和发展。

核心思路：VERITAS通过层级雅可比投影技术，对模型的内部计算进行可视化，展示推理锚点的演变过程，从而提供更深入的理解。

技术框架：VERITAS的整体架构包括数据输入、层级雅可比投影、特征提取和分类器训练几个主要模块。数据输入阶段获取模型输出，随后通过雅可比投影提取每层的推理特征，最后训练分类器以识别推理的可信性。

关键创新：VERITAS的主要创新在于其可视化模型计算的能力，提供了对推理过程的动态理解，与传统的静态激活检测方法形成鲜明对比。

关键设计：在设计上，VERITAS采用了层级雅可比投影作为核心技术，结合特征提取和分类器训练，确保了模型能够有效捕捉推理过程中的变化，提升了检测的准确性。具体参数设置和损失函数的选择在实验中经过优化，以确保最佳性能。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果显示，VERITAS在四个数据集上相较于LLM-as-Judge实现了28.4%的平衡准确率提升，激活探测的平均提升幅度为16.0%。这些结果表明VERITAS在推理可信性检测方面的显著优势，展示了其在不同数据集和模型架构中的良好泛化能力。

🎯 应用场景

VERITAS的研究成果在多个领域具有广泛的应用潜力，包括自然语言处理、智能问答系统和自动推理等。通过提供更透明的推理过程，VERITAS能够帮助开发更可信的AI系统，增强用户对AI决策的理解和信任。未来，该方法还可能推动对复杂模型的解释性研究，促进AI技术的可解释性和安全性。

📄 摘要（原文）

Current Chain-of-Thought (CoT) verification methods detect reasoning faithfulness from model outputs or static activations, but are limited in explaining how unfaithfulness develops during generation. We introduce VERITAS to verbalise the model's computation: how different reasoning anchors emerge, transfer across layers, and surface in the output. VERITAS adopts the layer-wise Jacobian projection to produce a verbalised account of the model's internal reasoning evolution at each generated CoT token. By training a classifier on the extracted features along the traces, we show that these structured features provide insightful perspectives on how and where reasoning diverges toward unfaithfulness. Experiments on four datasets from FaithCoT-Bench and BonaFide show that VERITAS achieves a significant performance gain over LLM-as-Judge, with a 28.4% gain in balanced accuracy, and an average improvement of 16.0% over activation probing. Further analysis shows VERITAS can be generalised to different datasets and model architectures. Our work shows that verbalising model computation provides a richer and more interpretable lens on CoT faithfulness, moving beyond detection toward a mechanistic understanding of how reasoning fails.