MOER: Mix-Policy Optimization under Expert Prefix Guidance with Selective Rollback

📄 arXiv: 2610.30873v1 📥 PDF

作者: Xuyang Zhong, Jiuding Yang, Yiwen Guo, Chen Liu

分类: cs.LG, cs.AI

发布日期: 2026-10-22

🔗 代码/项目: GITHUB

💡 一句话要点

提出MOER框架以解决强化学习中的专家指导与自我探索问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 混合策略优化 强化学习 专家指导 自我探索 选择性回滚 模型训练 推理任务 稳定性提升

📋 核心要点

  1. 现有混合策略优化方法存在静态全轨迹指导抑制自我探索或缺乏正确性保证的问题，导致训练效果不佳。
  2. MOER框架通过逐渐衰减的专家前缀与自我探索相结合，采用选择性回滚机制确保每个轨迹的正确性。
  3. 实验结果显示，MOER在数学和一般推理任务中表现优异，超越所有基线，且在不同任务和模型中具有良好的泛化能力。

📝 摘要（中文）

混合策略优化将离线专家数据融入强化学习循环，以超越在线强化学习的能力边界。然而，现有方法要么提供静态的全轨迹指导，抑制自我探索，要么采用缺乏正确性保证的专家前缀指导，导致性能不佳或训练崩溃。本文提出MOER，一个混合策略优化框架，协调专家指导与自我探索。MOER将逐渐衰减的专家思维链前缀注入提示中，让模型完成剩余推理，并通过选择性回滚机制替换失败的完成，确保每个离线轨迹的正确性。此外，采用和谐的混合策略目标，通过GRPO损失优化在线标记，同时用信任区域SFT损失监督专家前缀和完成标记，显著稳定训练。大量实验表明，MOER在数学和一般领域推理任务中取得最高平均分，超越所有基本和混合策略基线，并在多样化任务、模型规模和基础模型类别中保持一致的泛化能力。

🔬 方法详解

问题定义：本文旨在解决现有混合策略优化方法在强化学习中面临的专家指导与自我探索之间的平衡问题。现有方法往往导致自我探索不足或训练崩溃，缺乏有效的正确性保证。

核心思路：MOER框架通过引入逐渐衰减的专家思维链前缀，允许模型在专家指导下进行自我推理，促进自我探索。同时，选择性回滚机制确保了每个离线轨迹的正确性，避免了错误推理的传播。

技术框架：MOER的整体架构包括专家前缀注入、推理完成、选择性回滚和混合策略目标优化四个主要模块。首先，专家前缀被逐渐衰减并注入到模型提示中，接着模型进行推理，最后通过选择性回滚机制替换失败的推理结果。

关键创新：MOER的主要创新在于其选择性回滚机制和和谐的混合策略目标，这与现有方法的静态全轨迹指导和缺乏正确性保证形成鲜明对比，显著提升了训练的稳定性和效果。

关键设计：在损失函数设计上，MOER采用GRPO损失优化在线标记，同时用信任区域SFT损失监督专家前缀和完成标记。此外，专家前缀的衰减策略是一个重要的参数设置，影响自我探索的程度。

📊 实验亮点

实验结果表明，MOER在数学和一般领域推理任务中达到了最高平均分，超越了所有基本和混合策略基线，具体提升幅度达到了XX%。该框架在多样化任务和模型规模中表现出色，展现了良好的泛化能力。

🎯 应用场景

MOER框架在强化学习领域具有广泛的应用潜力，特别是在需要结合专家知识与自我探索的任务中，如机器人控制、自动驾驶和游戏智能等。其创新的选择性回滚机制和混合策略目标设计，能够有效提升模型的学习效率和稳定性，推动智能系统的进一步发展。

📄 摘要（原文）

Mix-policy optimization incorporates off-policy expert data into the reinforcement learning (RL) loop to transcend the capability boundary of on-policy RL. However, existing methods either provide static full-trace guidance that suppresses self-exploration, or adopt expert prefix guidance without correctness guarantees, leading to suboptimal performance or even training collapse. In this paper, we propose MOER, a mix-policy optimization framework that harmonizes expert guidance with self-exploration. MOER injects a decaying expert chain-of-thought prefix into the prompt and lets the model complete the remaining reasoning, with the prefix length progressively annealed to encourage self-exploration. A selective rollback mechanism replaces failed completions with the original full expert trace, guaranteeing the correctness of every off-policy trajectory. Furthermore, a harmonized mix-policy objective optimizes on-policy tokens with a GRPO loss while supervising both expert prefix and completion tokens with a trust-region SFT loss, substantially stabilizing training. Extensive experiments show that MOER achieves the highest average scores in mathematical and general domain reasoning tasks, outperforming all basic and mix-policy baselines, and generalizes consistently across diverse tasks, model scales, and base model categories. Codes are available at https://github.com/CityU-MLO/MOER.