Enhancing Chain-of-Thought Reasoning with Critical Representation Fine-tuning

📄 arXiv: 2507.10085v1 📥 PDF

作者: Chenxi Huang, Shaotian Yan, Liang Xie, Binbin Lin, Sinan Fan, Yue Xin, Deng Cai, Chen Shen, Jieping Ye

分类: cs.CL, cs.AI

发布日期: 2025-07-14

备注: Accepted by ACL 2025

💡 一句话要点

提出CRFT：通过关键表征微调增强Chain-of-Thought推理能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 表征微调 参数高效微调 Chain-of-Thought 关键表征 信息流分析 复杂推理 少样本学习

📋 核心要点

  1. 现有ReFT方法在复杂推理任务中直接微调固定位置的表征，效果不佳，因为这些表征对最终输出的影响不明确。
  2. CRFT通过信息流分析识别并优化模型中的关键表征，这些表征对信息的整合和传递起着重要作用。
  3. 实验表明，CRFT在算术和常识推理任务上显著提升了LLaMA和Mistral模型的性能，尤其是在少样本场景下。

📝 摘要（中文）

表征微调(ReFT)是一种参数高效微调(PEFT)方法，通过编辑表征空间显著提高参数效率，受到了广泛关注。本文研究将ReFT应用于复杂推理任务。然而，直接使用原生ReFT方法（修改每层开头和结尾的固定位置表征）效果欠佳，因为这些固定位置表征对输出的影响不确定。我们观察到，在复杂推理任务中，存在某些关键表征，它们整合了来自前层的显著信息或调节后续层的表征，通过逐层传播对最终输出产生重大影响。因此，微调这些关键表征有可能极大地提高推理性能。基于此，我们提出关键表征微调(CRFT)，一种通过信息流分析识别和优化这些关键表征的新方法。CRFT在监督学习框架内运行，在冻结基础模型的同时，动态优化低秩线性子空间中的关键表征。在LLaMA和Mistral模型家族的八个算术和常识推理基准上验证了我们方法的有效性和效率。此外，我们的方法也能有效地适应少样本设置，将一次性准确率提高了16.4%。我们的工作突出了表征级优化在CoT推理中未被发掘的潜力，为传统PEFT方法提供了一种轻量级但功能强大的替代方案。

🔬 方法详解

问题定义：论文旨在解决现有表征微调方法(ReFT)在复杂推理任务中表现不佳的问题。原生ReFT方法简单地微调每一层固定位置的表征，忽略了不同表征对最终推理结果的不同影响程度。这种一视同仁的微调方式效率低下，且可能引入噪声，导致性能提升有限。

核心思路：论文的核心思路是识别并重点微调对推理过程至关重要的“关键表征”。这些关键表征能够有效整合来自前层的信息，并对后续层的表征产生显著影响，从而对最终的推理结果起到关键作用。通过专注于这些关键表征的优化，可以更有效地提升模型的推理能力。

技术框架：CRFT方法主要包含两个阶段：1) 关键表征识别：通过信息流分析，确定每一层中对最终输出影响最大的表征。具体方法未知，但推测可能涉及梯度分析或其他敏感性分析技术。2) 关键表征微调：在监督学习框架下，使用低秩线性子空间对识别出的关键表征进行微调，同时冻结基础模型参数。这种低秩微调方式可以有效减少参数量，提高微调效率。

关键创新：CRFT的核心创新在于其选择性微调策略。与原生ReFT方法对所有表征进行无差别微调不同，CRFT专注于优化那些对推理过程至关重要的关键表征。这种选择性微调策略能够更有效地利用有限的计算资源，并避免引入不必要的噪声。

关键设计：论文中提到使用低秩线性子空间进行微调，这是一种常见的参数高效微调技术。具体如何确定低秩子空间的维度，以及如何设计损失函数来引导关键表征的优化，论文中没有详细说明。信息流分析的具体实现方式也未知。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

CRFT在八个算术和常识推理基准上验证了有效性，使用了LLaMA和Mistral模型家族。实验结果表明，CRFT能够显著提升模型的推理性能，尤其是在少样本场景下，一次性准确率提升了16.4%。这表明CRFT能够有效地从少量数据中学习，并泛化到新的推理任务。

🎯 应用场景

CRFT方法可应用于各种需要复杂推理能力的自然语言处理任务，例如问答系统、文本摘要、机器翻译等。通过提升模型的推理能力，可以提高这些应用在准确性、可靠性和效率方面的表现。此外，CRFT的参数高效特性使其特别适用于资源受限的场景，例如移动设备或边缘计算环境。

📄 摘要（原文）

Representation Fine-tuning (ReFT), a recently proposed Parameter-Efficient Fine-Tuning (PEFT) method, has attracted widespread attention for significantly improving parameter efficiency by editing representation space alone. In this work, we investigate applying ReFT to complex reasoning tasks. However, directly using the native ReFT method, which modifies fixed representations at the beginning and end of each layer, yields suboptimal performance, as these fixed-position representations have uncertain impact on the outputs. We observe that, in complex reasoning tasks, there often exist certain critical representations. These representations either integrate significant information from preceding layers or regulate subsequent layer representations. Through layer-by-layer propagation, they exert a substantial influence on the final output. Naturally, fine-tuning these critical representations has the potential to greatly enhance reasoning performance. Building upon these insights, we propose Critical Representation Fine-Tuning (CRFT), a novel method that identifies and optimizes these critical representations through information flow analysis. CRFT operates within a supervised learning framework, dynamically optimizing critical representations in a low-rank linear subspace while freezing the base model. The effectiveness and efficiency of our method are validated across eight benchmarks for arithmetic and commonsense reasoning, using LLaMA and Mistral model families. Furthermore, our method also adapts effectively to few-shot settings, boosting one-shot accuracy by 16.4%. Our work highlights the untapped potential of representation-level optimization for CoT reasoning, offering a lightweight yet powerful alternative to traditional PEFT methods.