Learning to Optimize Multi-Objective Alignment Through Dynamic Reward Weighting
作者: Yining Lu, Zilong Wang, Shiyang Li, Xin Liu, Changlong Yu, Qingyu Yin, Zhan Shi, Zixuan Zhang, Meng Jiang
分类: cs.LG, cs.CL
发布日期: 2025-09-14
💡 一句话要点
提出动态奖励权重调整方法，优化多目标对齐问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多目标强化学习 动态奖励权重 在线偏好对齐 帕累托前沿 超体积
📋 核心要点
- 传统多目标强化学习方法难以捕捉非凸帕累托前沿，导致在线偏好对齐任务中性能受限。
- 提出动态奖励权重调整方法，通过自适应调整奖励权重，有效探索目标空间中的帕累托前沿。
- 实验证明该方法与多种强化学习算法兼容，并在数学推理数据集上优于固定权重基线。
📝 摘要（中文）
多目标强化学习通常使用固定权重的线性奖励标量化方法，但这种方法无法捕捉非凸帕累托前沿，导致次优结果。在大语言模型的在线偏好对齐中，这个问题尤为突出。参数化策略生成的随机轨迹会产生从参数到目标的高度非线性和非凸映射，任何单一的静态权重方案都无法找到最佳权衡。为了解决这个问题，我们引入了动态奖励权重调整，在在线强化学习过程中自适应地调整奖励权重。与依赖固定权重插值的现有方法不同，我们的动态权重调整持续平衡和优先考虑训练中的目标，从而有效地探索目标空间中的帕累托前沿。我们提出了两种复杂度递增且更具通用性的方法：（1）超体积引导的权重自适应和（2）基于梯度的权重优化，为在线多目标对齐提供了一个通用的工具包。大量的实验表明，我们的方法与常用的在线强化学习算法（包括GRPO、REINFORCE和RLOO）兼容，在多个数学推理数据集上有效，并且适用于不同的模型系列，与固定权重线性标量化基线相比，始终以更少的训练步骤实现帕累托优势解。
🔬 方法详解
问题定义：论文旨在解决多目标强化学习中，使用固定权重线性标量化方法无法有效捕捉非凸帕累托前沿，导致在线偏好对齐任务中性能受限的问题。现有方法无法根据训练过程中的目标动态调整权重，难以找到最佳的权衡方案。
核心思路：核心思路是引入动态奖励权重调整机制，在在线强化学习过程中，根据当前的学习状态自适应地调整各个目标的奖励权重。通过动态调整权重，可以更好地平衡和优先考虑不同的目标，从而更有效地探索目标空间中的帕累托前沿。
技术框架：整体框架是在标准的强化学习流程中，加入一个动态权重调整模块。该模块根据当前策略的表现，计算出新的奖励权重，并将其用于指导策略的更新。具体流程如下： 1. 使用当前策略生成轨迹。 2. 根据轨迹计算各个目标的奖励。 3. 使用动态权重调整模块，根据奖励计算新的权重。 4. 使用新的权重对奖励进行标量化。 5. 使用标量化的奖励更新策略。
关键创新：关键创新在于提出了两种动态权重调整方法： 1. 超体积引导的权重自适应：根据当前策略在目标空间中的超体积（Hypervolume）来调整权重。超体积越大，说明策略在帕累托前沿上的覆盖范围越广，性能越好。 2. 基于梯度的权重优化：使用梯度下降法直接优化权重，使得策略在各个目标上的表现都得到提升。
关键设计： * 超体积引导的权重自适应：使用超体积作为奖励信号，引导权重的调整。具体来说，可以使用超体积的梯度来更新权重。 * 基于梯度的权重优化：使用策略梯度方法，直接优化权重。需要设计合适的损失函数，例如，可以使用各个目标的奖励的加权和作为损失函数。
🖼️ 关键图片
📊 实验亮点
实验结果表明，该方法与常用的在线强化学习算法（包括GRPO、REINFORCE和RLOO）兼容，并在多个数学推理数据集上有效。与固定权重线性标量化基线相比，该方法能够以更少的训练步骤实现帕累托优势解，显著提升了多目标对齐的效率和性能。
🎯 应用场景
该研究成果可广泛应用于需要平衡多个目标的强化学习任务中，例如机器人控制、资源分配、推荐系统等。特别是在大语言模型的对齐任务中，可以用于平衡模型的流畅性、安全性、准确性等多个目标，提升模型的综合性能和用户体验。未来可以进一步探索更复杂的动态权重调整策略，以适应更复杂的任务场景。
📄 摘要（原文）
Prior works in multi-objective reinforcement learning typically use linear reward scalarization with fixed weights, which provably fail to capture non-convex Pareto fronts and thus yield suboptimal results. This limitation becomes especially critical in online preference alignment for large language models. Here, stochastic trajectories generated by parameterized policies create highly non-linear and non-convex mappings from parameters to objectives that no single static weighting scheme can find optimal trade-offs. We address this limitation by introducing dynamic reward weighting, which adaptively adjusts reward weights during the online reinforcement learning process. Unlike existing approaches that rely on fixed-weight interpolation, our dynamic weighting continuously balances and prioritizes objectives in training, facilitating effective exploration of Pareto fronts in objective space. We introduce two approaches of increasing sophistication and generalizability: (1) hypervolume-guided weight adaptation and (2) gradient-based weight optimization, offering a versatile toolkit for online multi-objective alignment. Our extensive experiments demonstrate their compatibility with commonly used online reinforcement learning algorithms (including GRPO, REINFORCE, and RLOO), effectiveness across multiple mathematical reasoning datasets, and applicability to different model families, consistently achieving Pareto dominant solutions with fewer training steps than fixed-weight linear scalarization baselines.