Measuring Chain of Thought Faithfulness by Unlearning Reasoning Steps

📄 arXiv: 2502.14829v4 📥 PDF

作者: Martin Tutek, Fateme Hashemi Chaleshtori, Ana Marasović, Yonatan Belinkov

分类: cs.CL

发布日期: 2025-02-20 (更新: 2025-12-13)

备注: Outstanding paper at EMNLP 2025

💡 一句话要点

提出FUR框架，通过消除推理步骤信息评估CoT推理的参数忠实度。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 思维链 忠实度评估 消除学习 语言模型 多跳问答

📋 核心要点

  1. 现有CoT方法难以验证推理过程是否真正基于模型自身的参数知识，存在“虚假推理”的风险。
  2. FUR框架通过从模型参数中移除CoT推理步骤的信息，观察对最终预测的影响来评估忠实度。
  3. 实验表明，FUR能有效改变模型对特定问题的预测，揭示CoT推理步骤与模型参数信念的相关性。

📝 摘要（中文）

当语言模型被提示进行逐步思考时，会产生思维链（CoT），这是一系列模型用于生成预测的推理步骤。尽管CoT提示方面的工作很多，但CoT中表达的推理是否忠实于模型的参数信念尚不清楚。本文介绍了一个用于衡量生成推理的参数忠实度的框架，并提出了通过消除推理步骤（FUR）来衡量忠实度的方法，它是该框架的一个实例。FUR从模型参数中消除推理步骤中包含的信息，并将忠实度衡量为对模型预测产生的最终影响。对四个语言模型和五个多跳多项选择题（MCQA）数据集的实验表明，FUR通常能够通过消除关键步骤来精确地改变底层模型对给定实例的预测，从而表明CoT何时在参数上是忠实的。进一步的分析表明，模型在消除学习后生成的CoT支持不同的答案，暗示了消除学习的更深层影响。

🔬 方法详解

问题定义：论文旨在解决如何衡量思维链（CoT）推理过程的参数忠实度问题。现有的CoT方法虽然能提升模型性能，但无法保证模型输出的推理步骤是真正基于其自身参数知识的，可能存在“虚假推理”的情况，即模型只是为了生成看似合理的解释，而实际的预测并非基于这些步骤。

核心思路：论文的核心思路是通过“消除学习”（Unlearning）CoT推理步骤中包含的信息，然后观察模型预测结果的变化。如果消除某个推理步骤后，模型的预测发生显著改变，则说明该推理步骤对模型的预测起到了关键作用，即该CoT在参数层面上是忠实的。反之，如果消除推理步骤后，模型预测不变，则说明该推理步骤可能与模型的真实推理过程无关。

技术框架：FUR框架主要包含以下几个步骤：1. 使用CoT提示生成模型对特定问题的推理步骤和最终预测。2. 选择需要消除学习的推理步骤。3. 使用特定的消除学习算法，从模型参数中移除选定推理步骤的信息。4. 再次使用模型对相同问题进行预测，观察预测结果是否发生变化。5. 通过比较消除学习前后的预测结果，评估CoT的参数忠实度。

关键创新：FUR框架的关键创新在于将“消除学习”技术应用于CoT推理的忠实度评估。与传统的CoT评估方法不同，FUR直接作用于模型参数，通过观察参数变化对预测结果的影响，来判断CoT推理步骤与模型参数信念的相关性。这种方法能够更直接地衡量CoT的参数忠实度，避免了仅仅基于表面文本相似度的评估方法可能存在的偏差。

关键设计：论文中，消除学习的具体实现方式未知，可能采用了基于梯度下降的微调方法，通过反向传播算法更新模型参数，使得模型“忘记”选定的推理步骤。具体的损失函数和网络结构取决于所使用的语言模型。关键在于如何有效地从模型参数中移除特定推理步骤的信息，同时尽可能地保持模型在其他任务上的性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，FUR框架能够有效地改变模型对特定问题的预测，证明了CoT推理步骤与模型参数信念之间存在密切关系。通过消除关键推理步骤，模型生成的CoT会支持不同的答案，进一步验证了消除学习的有效性。具体性能数据和提升幅度在论文中未明确给出。

🎯 应用场景

该研究成果可应用于提升大型语言模型的可信度和可靠性。通过评估CoT推理的忠实度，可以帮助开发者识别和纠正模型中的虚假推理现象，提高模型在问答、决策等任务中的准确性和透明度。此外，该方法还可用于分析模型推理过程中的知识来源，为模型知识编辑和持续学习提供指导。

📄 摘要（原文）

When prompted to think step-by-step, language models (LMs) produce a chain of thought (CoT), a sequence of reasoning steps that the model supposedly used to produce its prediction. Despite much work on CoT prompting, it is unclear if reasoning verbalized in a CoT is faithful to the models' parametric beliefs. We introduce a framework for measuring parametric faithfulness of generated reasoning, and propose Faithfulness by Unlearning Reasoning steps (FUR), an instance of this framework. FUR erases information contained in reasoning steps from model parameters, and measures faithfulness as the resulting effect on the model's prediction. Our experiments with four LMs and five multi-hop multi-choice question answering (MCQA) datasets show that FUR is frequently able to precisely change the underlying models' prediction for a given instance by unlearning key steps, indicating when a CoT is parametrically faithful. Further analysis shows that CoTs generated by models post-unlearning support different answers, hinting at a deeper effect of unlearning.