YFPO: A Preliminary Study of Yoked Feature Preference Optimization with Neuron-Guided Rewards for Mathematical Reasoning
作者: Yifan Le
分类: cs.CL
发布日期: 2026-05-12
备注: 10 pages, 2figures. Work in progress
💡 一句话要点
YFPO：一种神经元引导奖励的Yoked特征偏好优化方法，用于提升数学推理能力。
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 偏好优化 数学推理 神经元引导 奖励函数 可解释性
📋 核心要点
- 现有偏好优化方法依赖外部数据，忽略了模型内部蕴含的与能力相关的神经元激活信息。
- YFPO利用AttnLRP识别与数学相关的神经元，并基于其激活裕度构建辅助奖励，增强偏好学习。
- 初步实验表明，神经元级别的信号可以与偏好优化结合，并在一定程度上提升数学推理性能。
📝 摘要（中文）
偏好优化已成为提升大型语言模型推理能力的重要后训练范式。现有方法通常依赖于外部构建的偏好数据，使用偏好和非偏好响应作为样本级别的监督。然而，这些外部信号很少显式地利用模型内部表示中包含的与能力相关的信息。对于数学推理，某些神经元组可能表现出与数学知识、符号操作或逻辑推理相关的激活模式。类似于反射行为信号，这些内部激活可能粗略地指示模型是否正在使用与数学相关的能力。我们引入了YFPO，即Yoked特征偏好优化，这是一个用于数学推理的初步神经元引导偏好优化框架。YFPO首先使用AttnLRP来识别与数学相关的神经元，然后从偏好和非偏好响应之间的激活裕度中构建辅助奖励。这种设计利用内部神经元级别的信号增强了外部偏好学习。我们使用GSM8K作为主要基准，在一个小规模语言模型上进行了初步实验。结果表明，神经元级别的信号可以与偏好优化相互作用，并偶尔提高推理性能，为更细粒度和可解释的面向推理的后训练提供了一个有希望的方向。
🔬 方法详解
问题定义：现有基于偏好优化的语言模型数学推理能力提升方法，主要依赖于外部构建的偏好数据集，缺乏对模型内部神经元激活信息的有效利用。这些方法无法充分挖掘模型内部与数学能力相关的知识表示，导致训练效率和效果受限。
核心思路：YFPO的核心思路是利用模型内部神经元的激活状态作为一种内在奖励信号，辅助外部偏好学习。通过识别与数学推理相关的神经元，并根据其在偏好和非偏好响应中的激活差异，构建额外的奖励信号，引导模型更好地利用内部知识进行推理。
技术框架：YFPO框架主要包含以下几个阶段：1) 神经元识别：使用AttnLRP (Attention-based Layer-wise Relevance Propagation) 方法识别模型中与数学推理相关的神经元。AttnLRP通过反向传播，计算每个神经元对最终预测结果的贡献度，从而筛选出对数学问题求解具有重要影响的神经元。2) 奖励构建：对于每个训练样本，模型生成偏好响应和非偏好响应。然后，计算识别出的数学神经元在两种响应中的激活值，并计算激活裕度（偏好响应的激活值减去非偏好响应的激活值）。该激活裕度被用作辅助奖励信号。3) 偏好优化：将外部偏好数据和内部神经元奖励信号结合起来，使用标准的偏好优化算法（例如PPO）对模型进行微调。
关键创新：YFPO的关键创新在于将模型内部的神经元激活信息引入到偏好优化过程中。与传统的仅依赖外部数据的偏好学习方法不同，YFPO能够利用模型自身的知识表示，提供更细粒度和更具解释性的监督信号。这种方法有望提高模型的推理能力，并增强模型的可解释性。
关键设计：YFPO的关键设计包括：1) 使用AttnLRP进行神经元识别，确保选取的神经元与数学推理能力高度相关。2) 使用激活裕度作为奖励信号，鼓励模型在偏好响应中激活更多与数学相关的神经元。3) 将内部奖励信号与外部偏好数据相结合，平衡外部监督和内部知识利用。具体损失函数未知，但推测是将外部偏好损失和内部神经元奖励结合。
🖼️ 关键图片
📊 实验亮点
在GSM8K数据集上的初步实验表明，YFPO能够与偏好优化方法相互作用，并在一定程度上提高模型的数学推理性能。虽然具体提升幅度未知，但该结果验证了神经元级别信号在推理任务中的潜力，为后续研究提供了有价值的参考。
🎯 应用场景
YFPO的研究成果可应用于提升各种语言模型的数学推理能力，例如解决数学应用题、进行符号推导等。该方法还可以推广到其他需要特定领域知识的推理任务，例如代码生成、科学发现等。通过利用模型内部的知识表示，YFPO有望提高模型的推理能力和可解释性，并促进人机协作。
📄 摘要（原文）
Preference optimization has become an important post-training paradigm for improving the reasoning abilities of large language models. Existing methods typically rely on externally constructed preference data, using preferred and dispreferred responses as sample-level supervision. However, such external signals rarely make explicit use of capability-related information contained in the model's internal representations. For mathematical reasoning, certain neuron groups may exhibit activation patterns associated with mathematical knowledge, symbolic manipulation, or logical reasoning. Similar to reflexive behavioral signals, these internal activations may provide a coarse indication of whether the model is engaging math-related capabilities.We introduce YFPO, short for Yoked Feature Preference Optimization, a preliminary neuron-guided preference optimization framework for mathematical reasoning. YFPO first uses AttnLRP to identify math-related neurons, and then constructs an auxiliary reward from their activation margin between preferred and dispreferred responses. This design augments external preference learning with internal neuron-level signals. We conduct preliminary experiments on a small-scale language model using GSM8K as the main benchmark. Results suggest that neuron-level signals can interact with preference optimization and occasionally improve reasoning performance, offering a promising direction for more fine-grained and interpretable reasoning-oriented post-training.