Lexicographic Multi-Objective On-Policy Distillation

📄 arXiv: 2610.02359v1 📥 PDF

作者: Doseok Jang, Jon Ander Campos, Youran Qi

分类: cs.LG, cs.AI, cs.CL

发布日期: 2026-10-01

备注: 24 pages, 3 figures, 5 tables; includes appendices

💡 一句话要点

提出LMOPD以解决多目标强化学习中的奖励优先级问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 多目标强化学习 奖励优先级 专家模型 策略蒸馏 自然语言处理

📋 核心要点

  1. 现有的多奖励后训练方法未能有效保护奖励的优先级顺序，导致在权衡时出现不对称问题。
  2. LMOPD通过选择检测到缺陷的专家，并局部投影其策略修正，来整合不同优先级的奖励专门化策略。
  3. 实验结果表明，LMOPD在保留准确性和推理质量的同时，显著提高了简洁性，相较于其他基线有明显优势。

📝 摘要（中文）

强化学习中的可验证奖励（RLVR）通常优化答案的正确性，但有效的语言模型行为还需要高质量的推理和简洁的响应。现有的多奖励后训练方法通常将奖励标量化或结合专家，而没有明确保护奖励的优先级顺序。当权衡不对称时，例如简洁性不应以正确性为代价，问题尤为突出。本文提出了Lexicographic Multi-Objective On-Policy Distillation（LMOPD），一种在明确优先级下整合奖励专门化策略的多教师方法。通过对30B-A3B混合专家变换器模型的评估，LMOPD在数学基准测试中显示出显著的效果提升。

🔬 方法详解

问题定义：本文旨在解决现有多奖励后训练方法在奖励优先级保护上的不足，尤其是在权衡简洁性与正确性时的挑战。

核心思路：LMOPD的核心思想是通过明确的优先级选择专家，并在学生回合中局部投影其策略修正，以确保高优先级奖励的有效整合。

技术框架：LMOPD的整体架构包括多个专家策略的选择机制和局部投影修正模块。每次学生回合中，首先选择检测到缺陷的专家，然后进行策略修正。

关键创新：LMOPD的关键创新在于引入了字典序多目标蒸馏方法，明确了奖励的优先级，从而有效整合不同专家的能力，克服了现有方法的不足。

关键设计：在设计上，LMOPD使用了特定的损失函数来平衡不同专家的贡献，并通过局部投影来强化高优先级专家的能力。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果显示，在两个专家的设置中，LMOPD保留了准确性和推理质量的提升，同时获得了46.9%的简洁性提升。在四个专家的设置中，LMOPD保留了约90%的准确性和推理正确性提升，相较于最佳基线的57%有显著优势。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、对话系统和自动问答等场景，能够提升模型在复杂任务中的表现，尤其是在需要平衡多种目标的情况下。未来，LMOPD可能会对多任务学习和强化学习的结合产生深远影响。

📄 摘要（原文）

Reinforcement learning from verifiable rewards (RLVR) usually optimizes answer correctness, yet useful language-model behavior also requires high-quality reasoning and concise responses. Existing multi-reward post-training methods typically scalarize rewards or combine specialists without explicitly protecting a reward priority order. This is problematic when trade-offs are asymmetric: conciseness, for example, should not improve at the cost of correctness. We introduce Lexicographic Multi-Objective On-Policy Distillation (LMOPD), a multi-teacher method for integrating reward-specialized policies under explicit priorities. For each student rollout, LMOPD selects the specialist for the first objective whose gate detects a deficiency, then locally projects its centered log-policy correction to remove components that oppose higher-priority specialists. We evaluate 30B-A3B mixture-of-experts transformer models in two- and four-expert settings on three math benchmarks, measuring retained specialist gains. With two experts, LMOPD's point estimates fully retain the accuracy and reasoning-quality gains while acquiring $46.9\%$ of the conciseness gain. With four experts, it retains $\approx90\%$ of both the accuracy gain and reasoning-correctness gain, compared to only $\approx57\%$ by the next best evaluated baseline. Matched four-expertablations show that lexicographic routing outperforms random routing and that projection further strengthens both top-priority capabilities. Across both scales, LMOPD preserves the highest-priority capabilities more effectively than the existing baselines we evaluate, demonstrating the value of explicit priorities for specialist integration.