ROAD: Adaptive Data Mixing for Offline-to-Online Reinforcement Learning via Bi-Level Optimization

📄 arXiv: 2605.14497v1 📥 PDF

作者: Letian Yang, Xu Liu, Yiqiang Lu, Jian Liu, Weiqiang Wang, Shuai Li

分类: cs.LG, cs.AI

发布日期: 2026-05-14

备注: 20 pages, 9 figures, 7 tables. Accepted to IJCAI 2026

💡 一句话要点

提出ROAD框架以解决离线到在线强化学习中的数据混合问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 离线强化学习 在线微调 数据混合 双层优化 多臂老虎机 策略更新 性能提升

📋 核心要点

  1. 现有离线到在线强化学习方法在处理数据分布转变时缺乏适应性，导致性能不佳。
  2. 本文提出ROAD框架，通过双层优化将数据选择问题形式化，自动化数据重放过程。
  3. 实验证明，ROAD在多个数据集上表现优于传统方法，显著提升了稳定性和性能。

📝 摘要（中文）

离线到在线强化学习结合了离线预训练的稳定性和在线微调的灵活性。然而，离线数据集与在线策略之间的非平稳分布转变是一个关键挑战。现有方法通常依赖于静态混合比例或启发式重放策略，缺乏对不同环境和训练动态的适应性，导致稳定性与渐近性能之间的权衡不理想。为此，本文提出了强化学习优化自适应数据混合（ROAD）框架，自动化数据重放过程。我们将数据选择问题形式化为双层优化过程，采用多臂老虎机机制来实现可行性，保持离线先验并防止价值过高估计。实验证明，该方法在多个数据集上优于现有重放方法，消除了手动调整的需求，同时实现了更好的稳定性和渐近性能。

🔬 方法详解

问题定义：本文旨在解决离线到在线强化学习中数据分布转变带来的挑战。现有方法依赖静态混合比例或启发式重放策略，缺乏对环境变化的适应性，导致性能下降。

核心思路：论文提出的ROAD框架通过双层优化将数据选择问题视为一个元决策过程，外层优化关注在线微调期间的策略性能，而内层则使用传统的Q学习更新。

技术框架：ROAD框架包括数据选择的双层优化过程，外层使用元决策来指导数据混合，内层则通过Q学习进行策略更新。该框架采用多臂老虎机机制来实现动态数据重放。

关键创新：最重要的技术创新在于将数据选择问题形式化为双层优化，解决了现有方法中的目标不一致问题，使得数据重放过程更加灵活和高效。

关键设计：在算法设计中，使用了近似双层梯度的替代目标，以保持离线先验并防止价值的过高估计。具体的参数设置和损失函数设计确保了算法的有效性和稳定性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，ROAD框架在多个数据集上均优于传统数据重放方法，具体表现为在某些基准测试中性能提升超过20%。该方法消除了手动调整的需求，同时在稳定性和渐近性能上均表现出色。

🎯 应用场景

该研究的潜在应用领域包括机器人控制、游戏智能体训练以及自动驾驶等场景。在这些领域中，能够有效处理离线和在线数据的动态变化，将显著提升系统的性能和适应能力，具有重要的实际价值和未来影响。

📄 摘要（原文）

Offline-to-online reinforcement learning harnesses the stability of offline pretraining and the flexibility of online fine-tuning. A key challenge lies in the non-stationary distribution shift between offline datasets and the evolving online policy. Common approaches often rely on static mixing ratios or heuristic-based replay strategies, which lack adaptability to different environments and varying training dynamics, resulting in suboptimal tradeoff between stability and asymptotic performance. In this work, we propose Reinforcement Learning with Optimized Adaptive Data-mixing (ROAD), a dynamic plug-and-play framework that automates the data replay process. We identify a fundamental objective misalignment in existing approaches. To tackle this, we formulate the data selection problem as a bi-level optimization process, interpreting the data mixing strategy as a meta-decision governing the policy performance (outer-level) during online fine-tuning, while the conventional Q-learning updates operate at the inner level. To make it tractable, we propose a practical algorithm using a multi-armed bandit mechanism. This is guided by a surrogate objective approximating the bi-level gradient, which simultaneously maintains offline priors and prevents value overestimation. Our empirical results demonstrate that this approach consistently outperforms existing data replay methods across various datasets, eliminating the need for manual, context-specific adjustments while achieving superior stability and asymptotic performance.