Reactive Diffusion Policy: Slow-Fast Visual-Tactile Policy Learning for Contact-Rich Manipulation

📄 arXiv: 2503.02881v3 📥 PDF

作者: Han Xue, Jieji Ren, Wendi Chen, Gu Zhang, Yuan Fang, Guoying Gu, Huazhe Xu, Cewu Lu

分类: cs.RO, cs.AI, cs.LG

发布日期: 2025-03-04 (更新: 2025-04-23)

备注: Accepted to RSS 2025. Project page: https://reactive-diffusion-policy.github.io

💡 一句话要点

提出反应式扩散策略，用于接触丰富操作任务中的视觉-触觉慢-快策略学习。

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 机器人操作 模仿学习 扩散模型 触觉反馈 增强现实 接触丰富操作 视觉-触觉融合

📋 核心要点

  1. 现有视觉模仿学习方法难以对实时触觉反馈做出即时响应，限制了机器人完成复杂操作任务的能力。
  2. 论文提出反应式扩散策略(RDP)，利用慢速扩散策略生成动作块，快速分词器进行闭环触觉反馈控制。
  3. 实验表明，RDP在接触丰富任务中显著优于现有方法，并且适用于不同的触觉/力传感器。

📝 摘要（中文）

本文提出了一种用于学习接触丰富操作技能的慢-快视觉-触觉模仿学习算法，称为反应式扩散策略(RDP)。为了解决现有视觉模仿学习方法缺乏对实时触觉反馈的即时响应能力，以及遥操作系统难以提供精细触觉/力反馈的问题，本文引入了TactAR，一个通过增强现实(AR)提供实时触觉反馈的低成本遥操作系统。RDP采用两层结构：一个低频的慢速潜在扩散策略，用于在潜在空间中预测高层动作块；一个高频的快速非对称分词器，用于闭环触觉反馈控制。这种设计实现了复杂轨迹建模和快速反应行为的统一。在三个具有挑战性的接触丰富任务上的大量评估表明，RDP显著提高了性能，优于最先进的视觉模仿学习基线。实验还表明，RDP适用于不同的触觉/力传感器。

🔬 方法详解

问题定义：现有视觉模仿学习方法依赖于动作分块来建模复杂行为，但缺乏在分块执行过程中对实时触觉反馈的即时响应能力。此外，大多数遥操作系统难以提供精细的触觉/力反馈，限制了可执行任务的范围。因此，需要一种能够有效利用触觉信息，并对环境变化做出快速反应的策略学习方法。

核心思路：论文的核心思路是采用一种分层策略，将策略学习分解为慢速的高层动作规划和快速的低层触觉反馈控制。慢速策略负责生成粗粒度的动作块，快速策略则根据实时的触觉信息对动作进行调整，从而实现对环境变化的快速反应。这种慢-快结合的方式既能保证策略的全局规划能力，又能提高策略的局部适应性。

技术框架：RDP的整体框架包含两个主要模块：慢速潜在扩散策略和快速非对称分词器。首先，通过TactAR系统收集视觉和触觉数据。然后，慢速潜在扩散策略在潜在空间中学习生成高层动作块。接下来，快速非对称分词器接收视觉和触觉输入，并根据触觉反馈对动作进行调整，实现闭环控制。整个过程通过模仿学习进行训练。

关键创新：RDP的关键创新在于其慢-快分层结构和非对称分词器的设计。慢速扩散策略能够有效地建模复杂轨迹，而快速非对称分词器则能够根据实时的触觉反馈对动作进行调整，从而实现对环境变化的快速反应。这种分层结构使得RDP能够同时兼顾全局规划和局部适应性，从而在接触丰富操作任务中取得更好的性能。

关键设计：慢速扩散策略采用标准的扩散模型结构，通过学习数据分布的逆过程来生成动作块。快速非对称分词器采用非对称结构，分别处理视觉和触觉输入，并使用注意力机制将两者融合。损失函数包括模仿学习损失和正则化损失，用于约束策略的学习过程。具体的参数设置和网络结构根据不同的任务进行调整。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，RDP在三个具有挑战性的接触丰富任务中显著优于最先进的视觉模仿学习基线。例如，在插拔任务中，RDP的成功率比基线方法提高了15%以上。此外，实验还表明，RDP适用于不同的触觉/力传感器，具有良好的泛化能力。

🎯 应用场景

该研究成果可应用于各种需要精细操作和力控制的机器人任务，例如装配、医疗手术、以及在复杂环境中进行物体操作。通过结合视觉和触觉反馈，机器人能够更好地感知环境，并做出更精确的动作，从而提高任务的成功率和效率。未来，该技术有望应用于自动化生产线、远程医疗、以及其他需要机器人辅助的领域。

📄 摘要（原文）

Humans can accomplish complex contact-rich tasks using vision and touch, with highly reactive capabilities such as fast response to external changes and adaptive control of contact forces; however, this remains challenging for robots. Existing visual imitation learning (IL) approaches rely on action chunking to model complex behaviors, which lacks the ability to respond instantly to real-time tactile feedback during the chunk execution. Furthermore, most teleoperation systems struggle to provide fine-grained tactile / force feedback, which limits the range of tasks that can be performed. To address these challenges, we introduce TactAR, a low-cost teleoperation system that provides real-time tactile feedback through Augmented Reality (AR), along with Reactive Diffusion Policy (RDP), a novel slow-fast visual-tactile imitation learning algorithm for learning contact-rich manipulation skills. RDP employs a two-level hierarchy: (1) a slow latent diffusion policy for predicting high-level action chunks in latent space at low frequency, (2) a fast asymmetric tokenizer for closed-loop tactile feedback control at high frequency. This design enables both complex trajectory modeling and quick reactive behavior within a unified framework. Through extensive evaluation across three challenging contact-rich tasks, RDP significantly improves performance compared to state-of-the-art visual IL baselines. Furthermore, experiments show that RDP is applicable across different tactile / force sensors. Code and videos are available on https://reactive-diffusion-policy.github.io.