Multi-Fidelity Policy Gradients Stabilize Data-Scarce Reinforcement Learning

📄 arXiv: 2610.02505v1 📥 PDF

作者: Xinjie Liu, Ruihan Zhao, Anirban Chaudhuri, Cyrus Neary, Ufuk Topcu, David Fridovich-Keil

分类: cs.LG, cs.AI, cs.RO

发布日期: 2026-10-01

💡 一句话要点

提出多保真度策略梯度方法以解决数据稀缺的强化学习问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 强化学习 策略梯度 多保真度 机器人控制 数据效率 方差降低 仿真任务

📋 核心要点

  1. 现有的强化学习方法在目标领域数据稀缺时，容易导致梯度估计的不稳定性和噪声增大。
  2. 本文提出的MFPG框架通过构建控制变量来降低方差，利用LF数据而不偏倚策略梯度估计。
  3. 实验结果显示，MFPG-PPO在多种任务中显著提高了学习稳定性，尤其在HF数据预算有限的情况下表现优异。

📝 摘要（中文）

在强化学习中，策略梯度方法在目标领域数据稀缺时可能变得不稳定，导致梯度估计噪声增大。本文提出了一种多保真度策略梯度（MFPG）框架，通过将有限的高保真度（HF）数据与丰富的低保真度（LF）数据结合，来降低方差并提高HF数据的效率。与现有方法不同，MFPG仅利用LF数据构建控制变量，而不直接优化基于LF数据的偏差目标。我们将MFPG扩展到现代的演员-评论家学习中，并在GPU并行仿真和物理机器人上进行实验，结果表明MFPG-PPO在多种任务中优于仅使用HF数据训练的PPO，并在最困难的任务中与使用16倍HF数据的PPO表现相当。

🔬 方法详解

问题定义：本文解决了在强化学习中，稀缺的高保真度数据导致的策略梯度估计不稳定的问题。现有方法往往直接优化低保真度数据的偏差目标，导致学习效果不佳。

核心思路：MFPG框架的核心思想是利用低保真度数据构建控制变量，从而降低高保真度数据的方差，提高数据效率，而不直接影响策略梯度的估计。

技术框架：MFPG-PPO的整体架构包括三个主要模块：采样模块、优势估计模块和控制变量构建模块。通过重新设计这些模块，MFPG-PPO能够保持跨保真度的相关性，并监控估计的不确定性以防止方差膨胀。

关键创新：MFPG-PPO的主要创新在于其对采样和优势估计的重新设计，确保了不同保真度数据之间的相关性，从而克服了传统方法中常见的方差膨胀问题。

关键设计：在参数设置上，MFPG-PPO引入了预算感知机制，以合理分配高低保真度数据的采样预算。此外，控制变量的构建方法经过优化，以确保其有效性和准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，MFPG-PPO在多种仿真机器人运动任务中，几乎在所有设置下均优于仅使用高保真度数据训练的PPO，并在最困难的任务中与使用16倍高保真度数据的PPO表现相当，显示出显著的性能提升。

🎯 应用场景

该研究的潜在应用领域包括机器人控制、自动驾驶和复杂系统的优化等。通过提高数据利用效率，MFPG-PPO能够在数据稀缺的情况下实现更稳定的学习，具有重要的实际价值和广泛的应用前景。

📄 摘要（原文）

Policy gradient methods for on-policy reinforcement learning (RL) can become unstable when expensive, scarce target-domain data yield noisy gradient estimates. We address this challenge by complementing limited high-fidelity (HF) target-domain data with abundant, cheap, but biased low-fidelity (LF) data, e.g., from a simplified simulator. Most existing methods directly optimize biased objectives based on LF data. In contrast, the recently introduced multi-fidelity policy gradient (MFPG) framework uses LF data solely to construct a control variate that reduces variance and improves HF data efficiency without biasing the policy gradient estimator. However, published work on MFPG is limited to REINFORCE on small-scale simulation tasks. We develop MFPG for modern actor-critic learning in GPU-parallel simulation and on a physical robot. Our analysis and experiments show that naive extensions to proximal policy optimization (PPO) can lose cross-fidelity correlation or inflate variance. Our MFPG-PPO addresses these failures by redesigning the sampling, advantage estimation, and control variate construction to preserve cross-fidelity correlation, and by monitoring estimator uncertainty to prevent variance inflation. We also introduce a budget-aware MFPG-PPO to divide a fixed sampling budget among high- and low-fidelity data sources. Across simulated robot locomotion tasks of varying LF-to-HF transfer difficulty and HF data budgets, MFPG-PPO improves upon PPO trained on HF data alone in nearly all settings, and consistently matches the performance of PPO trained with 16x more HF data on the hardest task at the smallest HF budgets. In contrast, most baselines that use LF data perform well only where direct LF-to-HF transfer succeeds. MFPG-PPO enables stable learning on a physical Franka arm using only 4 real-robot episodes per update and no human demonstrations.