Router Drift Control: Mitigating Off-Policy Degradation in Mixture-of-Experts Reinforcement Learning

📄 arXiv: 2610.21682v2 📥 PDF

作者: Liangyao Jin, Zhixin Wang, Liming Liu, Mingjun Zhang, Zhengzhou Zhu, Fangcheng Fu, Jinlong Hou, Yuan Cheng, Xiaohe Hu, Ping Zhang, Siyuan Feng

分类: cs.LG, cs.AI

发布日期: 2026-10-15 (更新: 2026-10-16)

💡 一句话要点

提出Router Drift Control以解决Mixture-of-Experts强化学习中的离策略退化问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 强化学习 Mixture-of-Experts 路由漂移 离策略退化 异步训练 重要性采样 专家选择

📋 核心要点

  1. 现有的Mixture-of-Experts模型在训练与推理阶段存在显著的不匹配，导致路由决策漂移，影响学习效果。
  2. 论文提出Router Drift Control（RDC），通过识别推理与训练之间的路由不一致性，选择性地拒绝高漂移的响应，以减轻离策略退化。
  3. 实验结果显示，RDC在策略陈旧性增加时表现出更大的性能提升，并在异步训练中有效提升了验证准确率。

📝 摘要（中文）

强化学习（RL）在训练与推理不匹配、迷你批量更新和异步训练的情况下可能变为离策略，这种不匹配在Mixture-of-Experts（MoE）模型中尤为显著。为此，论文提出Router Drift Control（RDC），通过利用推理与训练之间的路由不一致性来识别离策略的陈旧性，并选择性地拒绝高漂移响应。实验结果表明，RDC在策略陈旧性增加时能够获得更大的提升，并在异步RL中保持有效性。结合截断重要性采样（TIS），RDC在AIME 2024和AIME 2025的平均峰值验证准确率上比TIS提高了5.5个百分点，比R3提高了4.5个百分点。

🔬 方法详解

问题定义：论文要解决的问题是Mixture-of-Experts模型在训练与推理阶段的路由决策不一致，导致的离策略退化现象。现有的Rollout Routing Replay（R3）方法虽然能部分缓解这一问题，但引入了梯度偏差，损失了训练路由器选择的专家贡献。

核心思路：论文的核心思路是通过Router Drift Control（RDC）利用推理与训练之间的路由不一致性作为离策略陈旧性的信号，选择性地拒绝那些高漂移的响应，从而避免梯度偏差，同时保留有效的专家选择和学习信号。

技术框架：RDC的整体架构包括两个主要阶段：首先，在推理阶段收集专家选择信息；其次，在训练阶段根据路由不一致性进行响应过滤。该框架通过序列级过滤来实现，确保保留有效的学习信号。

关键创新：RDC的主要创新在于通过识别路由不一致性来动态调整训练过程，避免了传统方法中由于重放引入的梯度偏差。这一方法与现有的R3方法本质上不同，后者未能有效处理路由漂移问题。

关键设计：在RDC中，设计了特定的过滤机制来评估路由不一致性，并设置了相应的阈值来决定是否拒绝高漂移的响应。此外，结合了截断重要性采样（TIS）以进一步提升训练效果。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

实验结果表明，RDC在策略陈旧性增加时能够显著提升性能，结合TIS时在AIME 2024和AIME 2025的平均峰值验证准确率上比TIS提高了5.5个百分点，比R3提高了4.5个百分点，展示了其在异步强化学习中的有效性。

🎯 应用场景

该研究的潜在应用领域包括机器人控制、自动驾驶、游戏智能体等需要实时决策的强化学习任务。通过有效控制路由漂移，RDC能够提升模型在动态环境中的适应性和决策质量，具有重要的实际价值和未来影响。

📄 摘要（原文）

Reinforcement learning (RL) can become off-policy due to training-inference mismatch, mini-batch updates, and asynchronous training. The resulting mismatch is especially harmful in Mixture-of-Experts (MoE) models, where rollout-training discrepancies can change routing decisions and lead to router drift. Rollout Routing Replay (R3) mitigates this mismatch by reusing expert selections from the rollout stage during training. Our analysis shows that routing replay introduces gradient bias by losing contributions from experts selected by the training router but not the rollout router. To address this, we propose Router Drift Control (RDC), which uses routing disagreement between rollout and training as a signal of off-policy staleness and selectively rejects high-drift responses. The sequence-level filtering avoids gradient bias introduced by replay while preserving native expert selection and the associated learning signals for retained responses. Experiments show that RDC achieves larger gains as policy staleness increases and remains effective in asynchronous RL. In asynchronous training, RDC combined with Truncated Importance Sampling (TIS) improves the average peak validation accuracy across AIME 2024 and AIME 2025 by 5.5 points over TIS and 4.5 points over R3.