Mitigating Spurious Correlations Between Question and Answer via Chain-of-Thought Correctness Perception Distillation

📄 arXiv: 2509.05602v2 📥 PDF

作者: Hongyan Xie, Yitong Yao, Yikun Ban, Zixuan Huang, Deqing Wang, Zhenhe Wu, Haoxiang Su, Chao Wang, Shuangyong Song

分类: cs.CL

发布日期: 2025-09-06 (更新: 2025-09-09)

备注: PrePrint

💡 一句话要点

提出CoPeD，通过纠正性感知蒸馏缓解CoT数据中的虚假相关性问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 链式思考 知识蒸馏 虚假相关性 推理能力 语言模型

📋 核心要点

  1. 现有方法依赖LLM生成的CoT数据微调SLM，但CoT数据中包含的噪声推理过程会导致SLM学习到问题和答案之间的虚假相关性。
  2. CoPeD通过引入正确性感知任务设置，鼓励模型基于正确的推理过程预测答案，并在推理错误时进行修正，从而提高推理的可靠性。
  3. CoPeD还提出了一种正确性感知加权损失，动态调整训练样本的贡献，使模型更关注推理过程对正确答案有更强支持的样本。

📝 摘要（中文）

大型语言模型(LLMs)在推理任务中表现出色，但部署成本高昂。因此，小型语言模型(SLMs)通常在LLMs生成的CoT数据上进行微调，以复制LLMs的能力。然而，这些CoT数据可能包含有噪声的推理过程，这些过程要么未能证实答案，要么没有提供额外的支持答案预测的信息，这导致SLMs捕获问题和答案之间的虚假相关性，并损害推理质量。本文提出了Chain-of-Thought Correctness Perception Distillation (CoPeD)，旨在从任务设置和数据利用的角度提高学生模型的推理质量。首先，我们引入了一种正确性感知任务设置，鼓励学生模型基于正确的推理过程预测答案，并在推理过程不正确时修改答案。这种设置提高了推理的忠实性，并允许模型从错误中学习。然后，我们提出了一种正确性感知加权损失，它根据推理过程和答案的组合损失动态调整每个训练实例的贡献。这种策略鼓励模型更多地关注推理过程为正确答案提供更强支持的样本。实验表明，CoPeD在同分布(IND)和异分布(OOD)基准推理数据集上均有效。

🔬 方法详解

问题定义：论文旨在解决小型语言模型(SLMs)在模仿大型语言模型(LLMs)的推理能力时，由于训练数据（LLMs生成的Chain-of-Thought, CoT数据）中存在噪声推理过程而导致的虚假相关性问题。这些噪声推理过程未能有效支持答案，使得SLMs学习到问题和答案之间的表面关联，而非真正的推理能力。

核心思路：论文的核心思路是通过引入“正确性感知”来指导SLM的学习过程。具体来说，模型不仅要预测答案，还要判断其推理过程的正确性，并在推理错误时进行修正。这种方式鼓励模型关注推理过程与答案之间的因果关系，而非简单的相关性。

技术框架：CoPeD包含两个主要组成部分：1) 正确性感知任务设置：修改了训练目标，要求模型同时预测答案和推理过程的正确性。如果推理过程被判断为错误，模型需要尝试修正答案。2) 正确性感知加权损失：根据推理过程和答案的正确性，动态调整每个训练样本的损失权重。推理过程越能支持正确答案，该样本的权重越高。

关键创新：CoPeD的关键创新在于其“正确性感知”的设计理念。与传统的蒸馏方法不同，CoPeD不仅关注模仿LLM的推理过程，更关注推理过程的正确性以及对答案的支持程度。这种方式能够有效缓解虚假相关性问题，提高SLM的泛化能力。

关键设计：正确性感知加权损失是关键设计之一。具体来说，损失函数包含两部分：推理过程的损失和答案的损失。每个样本的权重由这两部分损失共同决定。如果推理过程的损失较低（即推理过程正确），且答案的损失也较低（即答案正确），则该样本的权重较高。反之，如果推理过程或答案的损失较高，则该样本的权重较低。这种加权方式使得模型更加关注那些推理过程能够有效支持正确答案的样本。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，CoPeD在同分布(IND)和异分布(OOD)基准推理数据集上均取得了显著的性能提升。具体来说，CoPeD在多个数据集上超越了现有的蒸馏方法，尤其是在OOD数据集上表现出更强的泛化能力。这证明了CoPeD能够有效缓解虚假相关性问题，提高模型的推理质量。

🎯 应用场景

CoPeD方法可应用于各种需要推理能力的自然语言处理任务，例如问答系统、阅读理解、数学问题求解等。通过提高小型语言模型的推理质量，CoPeD可以降低部署成本，使得这些模型能够在资源受限的环境中应用，例如移动设备或边缘计算场景。此外，该方法还有助于提高模型的可解释性和鲁棒性。

📄 摘要（原文）

Large language models (LLMs) excel at reasoning tasks but are expensive to deploy. Thus small language models (SLMs) are fine-tuned on CoT data generated by LLMs to copy LLMs' abilities. However, these CoT data may include noisy rationales that either fail to substantiate the answers or contribute no additional information to support answer prediction, which leads SLMs to capture spurious correlations between questions and answers and compromise the quality of reasoning. In this work, we propose Chain-of-Thought Correctness Perception Distillation (CoPeD), which aims to improve the reasoning quality of the student model from the perspectives of task setting and data utilization. Firstly, we introduce a correctness-aware task setting that encourages the student model to predict answers based on correct rationales and revise them when they are incorrect. This setting improves the faithfulness of reasoning and allows the model to learn from its mistakes. Then, we propose a Correctness-Aware Weighted loss, which dynamically adjusts the contribution of each training instance based on the combined loss of the rationale and the answer. This strategy encourages the model to focus more on samples where the rationale offers stronger support for the correct answer. Experiments have shown that CoPeD is effective on both in-distribution (IND) and out-of-distribution (OOD) benchmark reasoning datasets.