Simulation Priors for Rapid Adaptation in Model-Based RL for Autonomous Racing

📄 arXiv: 2610.26757v1 📥 PDF

作者: Adrian Remonda, Jiajun Xi, Nicklas Hansen, Marcus Greiff, Thomas Lew, John Talbot, John Subosits, Xiaolong Wang

分类: cs.LG, cs.RO, eess.SY

发布日期: 2026-10-19

💡 一句话要点

提出Prior-Informed Adaptation以解决模型基强化学习在自主赛车中的快速适应问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 强化学习 自主赛车 模型基方法 快速适应 仿真先验 不确定性规划 在线学习

📋 核心要点

  1. 现有的强化学习方法在物理系统中的应用受到数据收集成本和安全风险的限制，导致适应性不足。
  2. 本文提出的PIA框架通过预训练世界模型并利用有限的目标领域交互，快速适应不同的环境变化。
  3. 实验结果显示，PIA在仿真中适应速度快于强基线，并在真实硬件上实现了可靠的少量交互适应。

📝 摘要（中文）

强化学习能够学习高性能控制策略，但其对大量交互的依赖限制了在物理系统中的应用，因为数据收集成本高且失败风险大。本文提出Prior-Informed Adaptation（PIA），一个离线到在线的模型基强化学习框架，利用结构化的仿真先验实现快速适应。PIA在异构的低高保真仿真轨迹上预训练世界模型，然后通过不确定性正则化规划在有限的目标领域交互中进行适应。PIA将仿真轨迹视为偏置先验，在在线适应过程中修正残差不匹配。实验表明，PIA在高保真仿真和真实全尺寸自主赛车中表现优异，适应速度快，圈速更低，失败率更少。

🔬 方法详解

问题定义：本文旨在解决模型基强化学习在自主赛车中快速适应不同环境的挑战。现有方法通常需要大量的交互数据，且在物理系统中应用时面临高成本和安全风险。

核心思路：PIA框架通过在异构的低高保真仿真轨迹上预训练世界模型，并在有限的目标领域交互中进行不确定性正则化规划，来实现快速适应。该方法将仿真轨迹视为偏置先验，在线适应过程中修正残差不匹配。

技术框架：PIA的整体架构包括两个主要阶段：首先是离线阶段，在此阶段对世界模型进行预训练；其次是在线适应阶段，通过有限的交互数据进行调整。

关键创新：PIA的核心创新在于将仿真轨迹作为偏置先验，而不是依赖于准确的仿真器进行策略转移。这一方法显著提高了适应速度和效率。

关键设计：PIA采用不确定性正则化规划来优化适应过程，具体的损失函数和网络结构设计旨在提高模型在目标领域的表现。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果表明，PIA在高保真仿真中比强基线更快适应不同的赛道和表面变化，圈速更低且失败率更少。在真实硬件上，PIA在不到一小时的交互中实现了可靠的少量适应。

🎯 应用场景

该研究的潜在应用领域包括自动驾驶、机器人控制和其他需要快速适应的动态环境。通过减少对大量交互数据的依赖，PIA能够在实际应用中提高安全性和效率，推动智能系统的广泛部署。

📄 摘要（原文）

Reinforcement learning enables learning high-performance control policies, but its reliance on extensive interaction limits deployment on physical systems where data collection is costly, and failures are unsafe. We introduce Prior-Informed Adaptation (PIA), an offline-to-online model-based RL framework that uses structured simulation priors for rapid adaptation. PIA pretrains a world model on heterogeneous low- and high-fidelity simulated trajectories, then adapts it with limited target-domain interaction using uncertainty-regularized planning. Rather than requiring an accurate simulator for policy transfer, PIA treats simulated trajectories as biased priors whose residual mismatch is corrected during online adaptation. We evaluate PIA in autonomous racing using high-fidelity simulation and on a real full-size autonomous race car. In simulation, PIA adapts faster across track and surface shifts than strong baselines, achieving lower lap times and fewer failures. On hardware, PIA achieves reliable few-shot adaptation with less than one hour of on-vehicle interaction.