Router Drift Control: Mitigating Off-Policy Degradation in Mixture-of-Experts Reinforcement Learning

📄 arXiv: 2610.21682v1 📥 PDF

作者: Liangyao Jin, Zhixin Wang, Liming Liu, Mingjun Zhang, Zhengzhou Zhu, Fangcheng Fu, Jinlong Hou, Yuan Cheng, Xiaohe Hu, Ping Zhang, Siyuan Feng

分类: cs.LG, cs.AI

发布日期: 2026-10-15

💡 一句话要点

提出Router Drift Control以解决Mixture-of-Experts强化学习中的离策略退化问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 强化学习 混合专家 路由控制 离策略学习 异步训练 梯度偏差 智能决策 机器人控制

📋 核心要点

  1. 现有的Mixture-of-Experts模型在训练和推理阶段存在不匹配，导致路由器漂移和性能下降。
  2. 论文提出Router Drift Control（RDC），通过检测推理与训练之间的路由不一致性来选择性拒绝高漂移的响应。
  3. 实验表明，RDC在异步训练中结合截断重要性采样（TIS）能显著提高验证准确率，超过基线方法5.5个百分点。

📝 摘要（中文）

强化学习（RL）在训练与推理不匹配、迷你批更新和异步训练的情况下可能变为离策略。这种不匹配在混合专家（MoE）模型中尤为严重，导致路由决策的变化和路由器漂移。为此，论文提出Router Drift Control（RDC），通过利用推理和训练之间的路由不一致性作为离策略陈旧性的信号，选择性地拒绝高漂移响应，从而避免了重放引入的梯度偏差，同时保留了原生专家选择及其学习信号。实验结果表明，RDC在策略陈旧性增加时获得更大收益，并在异步RL中依然有效。

🔬 方法详解

问题定义：本论文旨在解决Mixture-of-Experts模型中由于训练与推理不匹配导致的离策略退化问题。现有方法在重放阶段引入的梯度偏差使得模型性能受到影响。

核心思路：提出Router Drift Control（RDC），利用推理与训练之间的路由不一致性作为信号，选择性地拒绝高漂移的响应，从而减少梯度偏差并保留有效的学习信号。

技术框架：RDC的整体架构包括路由选择模块、漂移检测模块和响应过滤模块。路由选择模块负责根据当前状态选择专家，漂移检测模块评估推理与训练的路由一致性，响应过滤模块则根据漂移程度决定是否保留响应。

关键创新：RDC的主要创新在于通过路由不一致性来判断离策略陈旧性，避免了传统重放方法引入的梯度偏差，保持了专家选择的有效性。

关键设计：在RDC中，设置了漂移阈值以决定何时拒绝响应，损失函数设计上考虑了梯度偏差的影响，网络结构上则保持了与现有MoE模型的兼容性。通过这些设计，RDC能够在异步训练中有效提升模型性能。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

实验结果显示，RDC在异步训练中结合截断重要性采样（TIS）能够将AIME 2024和AIME 2025的平均峰值验证准确率提高5.5个百分点，相较于TIS提升4.5个百分点，相较于R3也有显著提升，验证了其有效性。

🎯 应用场景

该研究的潜在应用领域包括智能决策系统、自动驾驶、机器人控制等需要高效强化学习的场景。通过减少离策略退化，RDC能够提升这些系统的学习效率和决策准确性，具有重要的实际价值和未来影响。

📄 摘要（原文）

Reinforcement learning (RL) can become off-policy due to training-inference mismatch, mini-batch updates, and asynchronous training.The resulting mismatch is especially harmful in Mixture-of-Experts (MoE) models, where rollout--training discrepancies can change routing decisions and lead to router drift. Rollout Routing Replay (R3) mitigates this mismatch by reusing expert selections from the rollout stage during training. Our analysis shows that routing replay introduces gradient bias by losing contributions from experts selected by the training router but not the rollout router. To address this, we propose Router Drift Control (RDC), which uses routing disagreement between rollout and training as a signal of off-policy staleness and selectively rejects high-drift responses. The sequence-level filtering avoids gradient bias introduced by replay while preserving native expert selection and the associated learning signals for retained responses. Experiments show that RDC achieves larger gains as policy staleness increases and remains effective in asynchronous RL. In asynchronous training, RDC combined with Truncated Importance Sampling (TIS) improves the average peak validation accuracy across AIME 2024 and AIME 2025 by 5.5 points over TIS and 4.5 points over R3.