CASE: Causal Alignment and Structural Enforcement for Improving Chain-of-Thought Faithfulness

📄 arXiv: 2607.18820v1 📥 PDF

作者: Ziming Wang, Yinghua Yao, Changwu Huang, Ke Tang, Xin Yao

分类: cs.CL

发布日期: 2026-07-21

🔗 代码/项目: GITHUB

💡 一句话要点

提出CASE框架以解决链式推理的忠实性问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 链式推理 因果对齐 结构性约束 选择性损失 自然语言处理 模型可解释性 推理忠实性

📋 核心要点

  1. 现有的自回归大型语言模型在生成答案时，允许指令直接影响答案，导致推理链的忠实性不足。
  2. CASE框架通过训练时的因果对齐和推理时的结构性约束，确保指令仅通过推理链影响最终答案。
  3. 实验表明，CASE在多个模型和基准上实现了37%的平均提升，并展现出更强的跨数据集忠实性转移能力。

📝 摘要（中文）

链式推理（CoT）在提升大型语言模型（LLMs）的性能和可解释性方面被广泛应用，但生成的推理可能无法忠实支持最终答案。本文从因果角度研究这一问题，提出CASE框架，通过训练时的因果对齐和推理时的结构性约束来改善CoT的忠实性。CASE在训练过程中构建了反事实CoT、偏置指令和空指令数据集，并应用选择性损失微调来增强CoT与答案之间的依赖关系，同时抑制指令的快捷方式。在推理时，CASE通过掩蔽直接从指令到答案的注意力，防止模型绕过生成的CoT。实验结果表明，CASE在四个基准上实现了37%的平均相对提升，并保持了竞争力的准确性。

🔬 方法详解

问题定义：本文旨在解决链式推理过程中，指令直接影响答案的问题，导致推理链的忠实性不足。现有方法未能有效抑制这种快捷方式，影响了推理的可靠性。

核心思路：CASE框架通过构建反事实CoT和偏置指令数据集，在训练过程中增强CoT与答案之间的依赖关系，同时在推理时掩蔽直接的指令到答案的注意力，从而确保推理链的忠实性。

技术框架：CASE的整体架构分为训练和推理两个阶段。在训练阶段，构建多种数据集并应用选择性损失微调；在推理阶段，实施结构性约束以防止模型绕过生成的推理链。

关键创新：CASE的创新在于结合了因果对齐和结构性约束，确保了推理过程的忠实性。这与传统方法的直接指令到答案生成方式形成了本质区别。

关键设计：在训练阶段，使用选择性损失函数来强化CoT与答案的依赖关系，并通过掩蔽机制在推理阶段防止直接的指令影响答案生成。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

在实验中，CASE框架在三个模型和四个基准上实现了37%的平均相对提升，展现出更强的跨数据集忠实性转移能力，同时保持了竞争力的平均准确性，显著优于最强基线。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理中的问答系统、对话生成和教育技术等。通过提升推理的忠实性，CASE框架能够增强模型的可解释性和可靠性，从而在实际应用中提供更准确的结果，具有重要的实际价值和未来影响。

📄 摘要（原文）

Chain-of-thought (CoT) reasoning is widely used to improve both the performance and interpretability of large language models (LLMs), yet the generated reasoning may not faithfully support the final answer. We study this problem from a causal perspective, where a faithful CoT process should follow the chain $Z\rightarrow X\rightarrow Y$, with $Z$, $X$, and $Y$ denoting the instruction, reasoning chain, and final answer, respectively. In this process, the instruction should affect the answer only through the reasoning chain. However, conventional autoregressive LLMs condition answer generation on both the instruction and the CoT, which still allows a direct instruction-to-answer shortcut. To address this issue, we propose CASE, a framework that combines training-time causal alignment and inference-time structural enforcement. During training, CASE builds counterfactual-CoT, biased-instruction, and empty-instruction datasets, and applies selective-loss fine-tuning to strengthen CoT-to-answer dependence while suppressing instruction shortcuts. During inference, CASE masks direct attention from instruction tokens to answer tokens, preventing the model from bypassing the generated CoT. We provide an information-theoretic analysis showing how these components promote faithful chains. Experiments on three models and four benchmarks show that CASE achieves a 37\% average per-setting relative improvement in overall CoT faithfulness over the strongest baselines, exhibits stronger cross-dataset faithfulness transfer, and maintains competitive average accuracy. Code is available at https://github.com/oddwang/CASE.