Opinion: Towards Unified Expressive Policy Optimization for Robust Robot Learning

📄 arXiv: 2511.10087v1 📥 PDF

作者: Haidong Huang, Haiyue Zhu. Jiayu Song, Xixin Zhao, Yaohua Zhou, Jiayi Zhang, Yuze Zhai, Xiaocong Li

分类: cs.RO, cs.AI, cs.LG

发布日期: 2025-11-13

备注: Accepted by NeurIPS 2025 Workshop on Embodied World Models for Decision Making

💡 一句话要点

提出UEPO，用于解决机器人离线到在线强化学习中的多模态行为覆盖和分布偏移问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 离线强化学习 在线强化学习 扩散模型 机器人学习 策略优化

📋 核心要点

  1. O2O-RL面临多模态行为覆盖不足和在线适应时的分布偏移两大难题，限制了其在机器人领域的应用。
  2. UEPO借鉴大语言模型思路，构建统一生成框架，利用扩散模型提升策略多样性和动力学模型泛化性。
  3. 实验表明，UEPO在D4RL基准测试中，运动和灵巧操作任务上均显著优于现有方法，展现出优越性能。

📝 摘要（中文）

离线到在线强化学习(O2O-RL)已成为一种安全高效的机器人策略部署范式，但面临两个根本挑战：多模态行为的覆盖范围有限以及在线适应期间的分布偏移。我们提出了UEPO，一个受大型语言模型预训练和微调策略启发的统一生成框架。我们的贡献有三方面：(1) 一种多种子动态感知扩散策略，可有效捕获各种模态，而无需训练多个模型；(2) 一种动态散度正则化机制，可强制执行具有物理意义的策略多样性；(3) 一种基于扩散的数据增强模块，可增强动力学模型的泛化能力。在D4RL基准测试中，UEPO在运动任务上比Uni-O4提高了+5.9%，在灵巧操作任务上提高了+12.4%，证明了强大的泛化性和可扩展性。

🔬 方法详解

问题定义：离线到在线强化学习(O2O-RL)旨在利用离线数据预训练策略，然后在线进行微调以适应真实环境。然而，现有的O2O-RL方法通常难以覆盖多模态行为，并且在在线适应过程中容易出现分布偏移，导致性能下降。这些问题源于离线数据集的局限性和在线环境的探索不足。

核心思路：UEPO的核心思路是借鉴大型语言模型的预训练和微调策略，构建一个统一的生成框架。通过扩散模型学习离线数据的分布，生成多样化的策略，从而解决多模态行为覆盖不足的问题。同时，引入动态散度正则化机制，鼓励策略探索具有物理意义的行为，缓解分布偏移。

技术框架：UEPO包含三个主要模块：(1) 多种子动态感知扩散策略：利用多个随机种子初始化扩散过程，生成多样化的策略样本，从而捕获不同的模态。(2) 动态散度正则化机制：在策略优化过程中，引入动态散度正则化项，鼓励策略探索与当前状态相关的多样化行为。(3) 基于扩散的数据增强模块：利用扩散模型生成额外的训练数据，增强动力学模型的泛化能力。整体流程是先使用离线数据训练扩散策略和动力学模型，然后在在线环境中进行微调，利用动态散度正则化和数据增强技术提升性能。

关键创新：UEPO的关键创新在于将扩散模型应用于O2O-RL，并设计了动态散度正则化机制和基于扩散的数据增强模块。与现有方法相比，UEPO能够更有效地捕获多模态行为，缓解分布偏移，并提升动力学模型的泛化能力。

关键设计：多种子动态感知扩散策略使用多个随机种子生成策略样本，种子的数量是一个重要的超参数。动态散度正则化机制中的散度度量采用KL散度，正则化系数根据训练进度动态调整。基于扩散的数据增强模块使用训练好的扩散模型生成额外的状态-动作对，并将其添加到训练数据集中。

📊 实验亮点

UEPO在D4RL基准测试中取得了显著的性能提升。在运动任务上，UEPO比Uni-O4提高了+5.9%。在灵巧操作任务上，UEPO比Uni-O4提高了+12.4%。这些结果表明，UEPO具有强大的泛化性和可扩展性，能够有效地解决O2O-RL中的多模态行为覆盖和分布偏移问题。

🎯 应用场景

UEPO具有广泛的应用前景，可用于各种机器人任务，例如：自动驾驶、家庭服务机器人、工业自动化等。通过利用离线数据进行预训练，并在线进行微调，UEPO可以显著降低机器人学习的成本和风险，提高机器人的智能化水平和适应能力。该研究对于推动机器人技术的进步具有重要的实际价值和未来影响。

📄 摘要（原文）

Offline-to-online reinforcement learning (O2O-RL) has emerged as a promising paradigm for safe and efficient robotic policy deployment but suffers from two fundamental challenges: limited coverage of multimodal behaviors and distributional shifts during online adaptation. We propose UEPO, a unified generative framework inspired by large language model pretraining and fine-tuning strategies. Our contributions are threefold: (1) a multi-seed dynamics-aware diffusion policy that efficiently captures diverse modalities without training multiple models; (2) a dynamic divergence regularization mechanism that enforces physically meaningful policy diversity; and (3) a diffusion-based data augmentation module that enhances dynamics model generalization. On the D4RL benchmark, UEPO achieves +5.9\% absolute improvement over Uni-O4 on locomotion tasks and +12.4\% on dexterous manipulation, demonstrating strong generalization and scalability.