Learning Generalizable Visuomotor Policy through Dynamics-Alignment

📄 arXiv: 2510.27114v1 📥 PDF

作者: Dohyeok Lee, Jung Min Lee, Munkyung Kim, Seokhun Ju, Jin Woo Koo, Kyungjae Lee, Dohyeong Kim, TaeHyun Cho, Jungwoo Lee

分类: cs.RO, cs.LG

发布日期: 2025-10-31

备注: 9 pages, 6 figures

💡 一句话要点

提出动力学对齐的Flow Matching策略，提升机器人操作策略的泛化性

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱八：物理动画 (Physics-based Animation)

关键词: 机器人学习 行为克隆 动力学预测 泛化能力 Flow Matching 策略学习 视觉操作

📋 核心要点

  1. 行为克隆方法依赖专家数据，泛化性受限；视频预测模型虽能学习时空表征，但动作无关的动力学限制了其在精确操作任务中的应用。
  2. DAP通过策略和动力学模型的相互修正反馈，实现动作生成过程中的自我校正，从而提升策略的泛化能力。
  3. 实验表明，DAP在真实机器人操作任务中，尤其是在OOD场景下，泛化性能优于现有方法，展现出更强的鲁棒性。

📝 摘要（中文）

针对机器人学习中行为克隆方法因专家演示数据有限而泛化性差的问题，本文提出了一种动力学对齐的Flow Matching策略（DAP）。DAP将动力学预测集成到策略学习中，引入了一种新颖的架构，其中策略模型和动力学模型在动作生成过程中提供相互修正的反馈，从而实现自我校正和改进的泛化能力。实验验证表明，在真实机器人操作任务中，DAP的泛化性能优于基线方法，尤其是在包括视觉干扰和光照变化等超出分布（OOD）的场景中表现出更强的鲁棒性。

🔬 方法详解

问题定义：现有基于行为克隆的机器人学习方法，由于依赖有限的专家演示数据，导致策略的泛化能力较差。虽然利用视频预测模型可以学习丰富的时空表征，但这些模型学习到的动力学是动作无关的，无法区分不同的控制输入，限制了其在精确操作任务中的应用，并且需要大规模的预训练数据集。

核心思路：本文的核心思路是将动力学预测集成到策略学习中，通过策略模型和动力学模型之间的相互作用，实现动作生成过程中的自我校正。具体来说，策略模型根据当前状态生成动作，动力学模型预测该动作作用后的状态变化，然后策略模型根据动力学模型的预测结果调整动作，从而提高动作的准确性和鲁棒性。

技术框架：DAP包含策略模型和动力学模型两个主要模块。策略模型负责根据当前状态生成动作，动力学模型负责预测给定状态和动作后的状态变化。这两个模型通过Flow Matching机制进行连接，策略模型生成的动作作为动力学模型的输入，动力学模型的预测结果作为策略模型的反馈，从而实现相互修正。整个框架采用端到端的方式进行训练。

关键创新：DAP的关键创新在于引入了策略模型和动力学模型之间的相互反馈机制。这种机制使得策略模型能够利用动力学模型的预测信息来调整动作，从而提高动作的准确性和鲁棒性。与传统的行为克隆方法相比，DAP不需要大量的专家演示数据，并且能够更好地泛化到新的场景中。与现有的视频预测模型相比，DAP能够学习到动作相关的动力学，从而更好地适应精确操作任务。

关键设计：DAP采用Flow Matching作为策略和动力学模型之间的连接机制。Flow Matching的目标是学习一个向量场，使得从任意状态出发，沿着该向量场运动，最终能够到达目标状态。在DAP中，策略模型生成的动作被视为向量场的一部分，动力学模型预测的状态变化被视为沿着该向量场运动的结果。通过最小化策略模型生成的动作和动力学模型预测的状态变化之间的差异，可以实现策略模型和动力学模型的对齐。

📊 实验亮点

实验结果表明，DAP在真实机器人操作任务中，泛化性能优于基线方法。尤其是在视觉干扰和光照变化等OOD场景下，DAP表现出更强的鲁棒性，能够成功完成任务，而基线方法则表现出明显的性能下降。具体的性能数据在论文中进行了详细的展示和分析。

🎯 应用场景

该研究成果可应用于各种需要高精度和强泛化能力的机器人操作任务，例如工业自动化、医疗手术、家庭服务等。通过学习动力学对齐的策略，机器人能够更好地适应不同的环境和任务，提高操作的效率和安全性。此外，该方法还可以扩展到其他领域，例如自动驾驶、游戏AI等。

📄 摘要（原文）

Behavior cloning methods for robot learning suffer from poor generalization due to limited data support beyond expert demonstrations. Recent approaches leveraging video prediction models have shown promising results by learning rich spatiotemporal representations from large-scale datasets. However, these models learn action-agnostic dynamics that cannot distinguish between different control inputs, limiting their utility for precise manipulation tasks and requiring large pretraining datasets. We propose a Dynamics-Aligned Flow Matching Policy (DAP) that integrates dynamics prediction into policy learning. Our method introduces a novel architecture where policy and dynamics models provide mutual corrective feedback during action generation, enabling self-correction and improved generalization. Empirical validation demonstrates generalization performance superior to baseline methods on real-world robotic manipulation tasks, showing particular robustness in OOD scenarios including visual distractions and lighting variations.