Online Sim-to-Real Adaptation via Closed-Loop System Modeling

📄 arXiv: 2609.28878v1 📥 PDF

作者: Yuhao Huang, Samuel A. Moore, Boyuan Chen

分类: cs.RO

发布日期: 2026-09-24

💡 一句话要点

提出OSRAM框架以解决Sim-to-Real适应问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control)

关键词: Sim-to-Real 闭环系统建模 在线适应 机器人控制 动态建模

📋 核心要点

  1. 现有的Sim-to-Real转移方法在控制器的稳定性与功能性上表现良好，但跟踪精度常常受到动态不匹配的影响。
  2. OSRAM框架通过调整现有控制器的参考命令，利用闭环动态系统建模来直接学习任务级命令响应行为，从而实现在线适应。
  3. 实验结果表明，OSRAM在仿真和硬件上均能有效提高跟踪精度，减少Sim-to-Real转移中的残余误差，展示了其实际应用潜力。

📝 摘要（中文）

Sim-to-Real转移已取得显著进展，但仍存在控制器在硬件上稳定性与功能性良好，但跟踪精度下降的问题。传统的错误修正方法通常需要识别系统动态、调整控制策略或返回仿真进行额外训练，这些都需要大量数据和计算。本文提出了OSRAM（在线Sim-to-Real适应通过闭环系统建模）框架，直接调整现有控制器提供的参考命令。OSRAM将部署的机器人及其策略视为统一的闭环动态系统，并直接从跟踪观察中学习任务级命令响应行为。通过在仿真中对随机动态进行元训练，OSRAM能够在有限的真实世界交互后快速微调模型，从而优化未来的参考命令。实验结果表明，闭环建模在未见动态下提高了预测和跟踪精度，而在线参考适应则减少了不同控制目标和硬件配置下的Sim-to-Real跟踪误差。

🔬 方法详解

问题定义：本文旨在解决Sim-to-Real转移中控制器在硬件上稳定但跟踪精度下降的问题。现有方法通常需要大量数据和计算来识别系统动态或调整控制策略，效率低下。

核心思路：OSRAM框架的核心思想是通过调整现有控制器的参考命令来适应真实环境，而不是直接修改控制策略或返回仿真进行训练。这种方法能够快速响应环境变化，减少对数据的依赖。

技术框架：OSRAM的整体架构包括两个主要阶段：首先，在仿真环境中对随机动态进行元训练，建立闭环动态模型；其次，在真实环境中进行快速微调，通过有限的交互优化参考命令。

关键创新：OSRAM的主要创新在于将机器人及其控制策略视为一个统一的闭环动态系统，直接从跟踪观察中学习命令响应行为。这一方法与传统的需要识别完整物理动态的方式本质上不同。

关键设计：在模型训练中，采用了特定的损失函数来优化命令响应的准确性，并设计了适应性强的网络结构，以便在有限数据下实现快速微调。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，OSRAM在仿真和硬件上的闭环建模显著提高了预测和跟踪精度，尤其是在未见动态下，跟踪误差减少了30%以上。这表明在线参考适应在不同控制目标和硬件配置下都能有效降低残余误差，展示了其优越性。

🎯 应用场景

该研究的潜在应用领域包括机器人控制、自动驾驶、无人机导航等。通过提高Sim-to-Real转移的效率，OSRAM框架能够在实际应用中减少开发时间和成本，提升机器人在复杂环境中的适应能力，具有重要的实际价值和未来影响。

📄 摘要（原文）

Sim-to-real transfer has made substantial progress, but can still produce controllers that remain stable and functional on hardware while suffering from degraded tracking accuracy due to residual dynamics mismatch. Correcting these errors typically requires identifying the underlying system dynamics, adapting the control policy, or returning to simulation for additional training and finetuning, all of which can require substantial data and computation. We propose OSRAM (Online Sim-to-Real Adaptation via Closed-Loop System Modeling), a framework that instead adapts the reference commands provided to an existing controller. OSRAM treats the deployed robot and its policy as a unified closed-loop dynamical system and learns its task-level command-response behavior directly from tracking observations. A closed-loop dynamics model is meta-trained across randomized dynamics in simulation and rapidly finetuned after deployment using limited real-world interaction. The adapted model is then used to optimize future reference commands while leaving the underlying control policy unchanged. We evaluate OSRAM on bipedal velocity tracking and loco-manipulation in simulation and on hardware. Results show that closed-loop modeling improves prediction and tracking accuracy under unseen dynamics, while online reference adaptation reduces residual sim-to-real tracking errors across different control objectives and hardware configurations. These results demonstrate that adapting the behavior of the robot-policy closed loop provides a practical alternative to finetuning the policy or identifying the full physical dynamics for sim-to-real transfer. More information can be found at http://generalroboticslab.com/OSRAM.