Making LLMs Say What They Think: Measuring and Improving CoT-Interpretability Alignment

📄 arXiv: 2609.38972v1 📥 PDF

作者: Yihuai Hong, Shauli Ravfogel, Chen Zhao, Eunsol Choi

分类: cs.CL, cs.AI

发布日期: 2026-09-30

备注: 28 pages, 9 figures, 10 tables

🔗 代码/项目: GITHUB

💡 一句话要点

提出CoT-可解释性对齐度量以提升LLM推理透明度

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 链式推理 可解释性 大型语言模型 推理透明度 后训练 参数保真度 自然语言处理

📋 核心要点

  1. 现有的链式推理（CoT）方法无法准确反映大型语言模型的内部计算，导致推理透明度不足。
  2. 提出CoT-可解释性对齐（CIA）度量，旨在评估模型的CoT与其内部推理之间的一致性，从而提高可解释性。
  3. 实验结果显示，通过后训练方法，CoT的参数保真度显著提高，任务准确性得以保持或改善。

📝 摘要（中文）

链式推理（CoT）通常作为大型语言模型（LLM）得出答案的代理。然而，越来越多的证据表明，模型的CoT往往无法反映其内部计算，并且可以在不影响最终答案的情况下进行更改。本研究测量并改善LLM的CoT与其内部计算之间的对齐度，提出了CoT-可解释性对齐（CIA）度量，评估模型的CoT与其内部推理策略之间的一致性。通过在三项任务上评估CIA，发现LLM在所有任务中的对齐度有限（44.8-75.9%）。我们通过后训练实验改善CIA，设定任务准确性和参数保真度信号作为奖励，结果显示可以显著提高CoT的参数保真度，同时保持或提高任务准确性。我们提供了丰富的分析，包括其泛化模式。

🔬 方法详解

问题定义：本研究旨在解决大型语言模型（LLM）在推理过程中，链式推理（CoT）与内部计算之间缺乏一致性的问题。现有方法未能有效反映模型的真实推理过程，导致可解释性不足。

核心思路：提出CoT-可解释性对齐（CIA）度量，通过评估模型的CoT与其内部推理策略的一致性，来提升模型的推理透明度和可信度。

技术框架：整体架构包括三个主要模块：首先，使用可解释性工具提取模型的内部推理策略；其次，计算CoT与内部推理之间的对齐度；最后，通过后训练优化模型以提高对齐度。

关键创新：最重要的技术创新在于引入了CoT-可解释性对齐（CIA）度量，提供了一种新的方式来审计和改善模型的推理透明度，与传统方法相比，强调了对内部计算的直接评估。

关键设计：在实验中，设置了任务准确性和参数保真度信号作为奖励，通过后训练方法优化模型参数，确保在提高CoT的参数保真度的同时，保持或提升任务的准确性。具体的损失函数和参数设置在实验中进行了详细探讨。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果表明，LLM在三项任务上的CoT与内部推理的对齐度仅为44.8-75.9%。通过后训练方法，CoT的参数保真度显著提高，同时任务准确性保持不变或有所提升，展示了该方法的有效性和潜力。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、智能问答系统和教育技术等。通过提高大型语言模型的推理透明度，可以增强用户对模型输出的信任，促进其在关键应用场景中的使用，如医疗、法律和金融等领域。未来，随着可解释性研究的深入，该方法可能会推动更广泛的AI系统的透明化进程。

📄 摘要（原文）

Chain-of-thought (CoT) traces often serve as a proxy for how Large Language Models (LLMs) arrive at their answers. However, growing evidence shows that models' CoT often fails to reflect their internal computations and can be changed without affecting their final answers. In this work, we measure and improve the alignment between the reasoning described in an LLM's CoT and what it computes internally. We propose CoT-Interpretability Alignment (CIA), a metric that measures the agreement between a model's CoT traces and its internal reasoning strategies as detected by interpretability tools. We evaluate CIA on three tasks (two-hop question answering, hint intervention, and integer multiplication) across three LLMs, finding that LLMs exhibit limited alignment across all tasks (44.8-75.9%). We then experiment with improving CIA via post-training, setting both the task accuracy and parametric faithfulness signals as a reward. Experiments show that we can substantially improve CoT parametric faithfulness while maintaining or improving the task accuracy. We provide rich analysis, such as their generalization patterns. Our work provides both a framework for auditing CoT parametric faithfulness and a pathway toward making models' explicit reasoning more trustworthy. Code and data are available at https://github.com/yihuaihong/CIA-minimal-repro.