CORD: Conflict-Aware Optimization for Joint RL and Distillation in Agents

📄 arXiv: 2610.29965v1 📥 PDF

作者: Wenhao Yu, Zhengcheng Wang, Jiahong Liu, Zexuan Qiu, Minda Hu, Shaohang Wei, Jiafei Lyu, Junyan Lyu, Haobo Fu, Irwin King

分类: cs.LG

发布日期: 2026-10-21

备注: 38 pages, 12 figures

💡 一句话要点

提出CORD框架以解决联合强化学习与蒸馏训练中的冲突问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 强化学习 自蒸馏 梯度优化 冲突解决 智能体训练

📋 核心要点

  1. 现有方法在联合强化学习与蒸馏训练中，梯度抵消问题导致优化效果不佳。
  2. CORD框架通过分离受保护目标选择与投影条件，优化两个目标的冲突，提升训练效果。
  3. 在多个实验中，CORD显著提高了ALFWorld和WebShop的成功率，验证了其有效性。

📝 摘要（中文）

联合强化学习与自蒸馏结合了任务奖励与密集教师指导用于代理训练，但其梯度可能部分抵消。CORD是一个通用框架，旨在优化两个目标的冲突。它将受保护目标的选择与触发投影的条件分开，并在每个优化器小批量中组合梯度。通过最近点公式，CORD提供了闭式更新，并表征了其对受保护目标的一阶影响。梯度诊断将代理训练中的冲突与局部优化进展丧失联系起来，并激励选择性修正。作为一种梯度组合机制，CORD可以添加到不同的联合训练方案中，同时保留其目标。在三个方案中，CORD提高了ALFWorld的成功率1.5-15.9个百分点。在WebShop上，成功率从60.7%提升至64.6%。

🔬 方法详解

问题定义：本论文旨在解决联合强化学习与蒸馏训练中梯度抵消的问题。现有方法在处理任务奖励与教师指导时，可能导致优化效果不理想。

核心思路：CORD框架的核心思路是将受保护目标的选择与触发投影的条件分开，从而优化两个目标的冲突。通过在每个优化器小批量中组合梯度，CORD能够有效提升训练效果。

技术框架：CORD的整体架构包括选择受保护目标、触发条件、梯度组合等模块。具体流程为：首先确定受保护目标，然后根据条件触发投影，最后在每个小批量中进行梯度组合更新。

关键创新：CORD的主要创新在于其梯度组合机制，能够在不损失原有目标的情况下，优化联合训练中的冲突。这一设计与现有方法的本质区别在于其对梯度的处理方式。

关键设计：在CORD中，关键参数设置包括混合系数的选择，以及损失函数的设计。通过最近点公式，CORD实现了闭式更新，确保了对受保护目标的一阶影响被有效表征。

🖼️ 关键图片

fig_0

📊 实验亮点

在实验中，CORD显著提高了ALFWorld的成功率，提升幅度达到1.5-15.9个百分点。在WebShop上，成功率从60.7%提升至64.6%，验证了其在不同训练方案中的有效性。

🎯 应用场景

CORD框架在机器人学习、自动驾驶、游戏AI等领域具有广泛的应用潜力。通过优化联合训练中的梯度冲突，CORD能够提升智能体的学习效率和性能，推动相关技术的发展与应用。

📄 摘要（原文）

Joint reinforcement learning and self-distillation combines task rewards with dense teacher guidance for agent training, but their gradients can partly cancel. A mixing coefficient controls relative scale without selectively removing opposing components. We present CORD, a general framework for conflict-aware optimization of two objectives. CORD separates the choice of protected objective from the condition that triggers projection, and combines the gradients once per optimizer mini-batch. A nearest-point formulation yields a closed-form update and characterizes its first-order effect on the protected objective before optimizer transformations. Gradient diagnostics connect conflict in agent training to lost local optimization progress and motivate selective correction. As a gradient-combination mechanism, CORD can be added to different joint training recipes while retaining their objectives. Across three such recipes, it improves ALFWorld success by 1.5-15.9 percentage points. On WebShop, it improves two of the three pairs, with SDAR rising from 60.7% to 64.6% success. Our analyses explain why protection direction and projection gate must be chosen together, and why the distillation objective and its mixing weight remain consequential after projection.