Agile-WAM: An Agile Tactile World Action Model for Contact-Rich Robot Control
作者: Hanchu Zhou, Brendan Lynch, Raman Goyal, Dechen Gao, Begum Kasap, Boqi Zhao, Junshan Zhang
分类: cs.RO, cs.LG
发布日期: 2026-09-17
🔗 代码/项目: PROJECT_PAGE
💡 一句话要点
提出Agile-WAM以解决接触丰富机器人控制中的效率问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 世界动作模型 触觉感知 机器人控制 多模态学习 高效推理
📋 核心要点
- 现有的触觉WAMs依赖于大型预训练模型，导致推理效率低下，灵活性不足。
- Agile-WAM通过将视觉和触觉信息编码为共享潜在空间，优化了动作生成和状态预测的流程。
- 在五个真实世界实验中，Agile-WAM的成功率提高了29.4%，推理延迟仅为11.9毫秒。
📝 摘要（中文）
世界动作模型（WAMs）超越了传统的视觉运动策略，通过联合预测未来世界状态和机器人动作，支持有效控制。然而，现有的触觉WAMs往往依赖于大规模预训练的生成模型，限制了推理效率和灵活部署。本文提出Agile-WAM，一个用于接触丰富机器人控制的灵活触觉世界动作模型。Agile-WAM将视觉和触觉观察编码为共享潜在空间，支持直接的视觉-触觉-动作流匹配过程。通过引入多视角多模态预测，Agile-WAM在九个模拟和五个真实世界的操作任务中表现出色，成功率显著提高，同时保持低推理延迟。
🔬 方法详解
问题定义：本文旨在解决现有触觉WAMs在推理效率和灵活性方面的不足，尤其是在接触丰富的机器人控制任务中。现有方法通常依赖于大型预训练生成模型，导致推理速度慢，难以适应动态环境。
核心思路：Agile-WAM的核心思想是将视觉和触觉观察整合到一个共享的潜在空间中，从而实现直接的视觉-触觉-动作流匹配。这种设计使得模型能够更有效地学习物理动态，提升控制精度。
技术框架：Agile-WAM的整体架构包括多个模块：首先是视觉和触觉信号的编码模块，接着是潜在空间的生成模块，最后是动作生成模块。通过多视角多模态预测，模型能够在不同时间尺度上进行有效的状态预测。
关键创新：Agile-WAM的主要创新在于引入了多视角多模态预测机制，能够同时处理视觉和触觉信号的不同时间特性。这一机制使得模型在捕捉细粒度接触动态方面表现优异，显著提升了控制性能。
关键设计：在模型设计中，采用了特定的损失函数以平衡视觉和触觉信息的学习，同时优化了网络结构以减少推理延迟。具体参数设置和网络层次结构的设计均经过精心调整，以确保高效的推理能力。
🖼️ 关键图片
📊 实验亮点
在五个真实世界的实验中，Agile-WAM的整体成功率提高了29.4%，同时实现了仅11.9毫秒的推理延迟。这些结果表明，Agile-WAM在接触丰富的操作任务中表现出色，超越了最强基线，展示了其在高频控制中的应用潜力。
🎯 应用场景
Agile-WAM在接触丰富的机器人操作中具有广泛的应用潜力，尤其是在工业自动化、服务机器人和医疗辅助等领域。其高效的推理能力和精准的控制性能能够显著提升机器人在复杂环境中的适应性和操作效率，未来可能推动智能机器人技术的进一步发展。
📄 摘要（原文）
World Action Models (WAMs) advance beyond conventional visuomotor policies by jointly predicting future world states and robot actions, enabling the policy to learn physical dynamics that support effective control. However, recent tactile WAMs often rely on large-scale pretrained generative backbones to capture contact-rich physical dynamics, which limit their inference efficiency and flexible deployment. In this paper, we present \ABBR{}, an agile tactile World Action Model for contact-rich robot control. \ABBR{} encodes visual and tactile observations into a shared latent that serves as the source of a direct vision-tactile-to-action flow-matching process, which can jointly generate latent representations of action chunks and future visual/tactile latents. A key observation is that vision and tactile signals evolve at inherently different timescales: adjacent visual frames are often highly similar, whereas tactile signals can change abruptly upon contact. We therefore introduce multi-horizon multimodal prediction in \ABBR{}, which provides supervision for visual latent at a larger temporal offset while predicting the tactile latent in the next frame to capture fine-grained contact dynamics. Across nine simulated and five real-world contact-rich manipulation tasks, \ABBR{} demonstrates strong and robust performance, outperforming the strongest baseline in success rate while maintaining low inference latency. In particular, in five real-world experiments, \ABBR{} yields a relative gain of $\textbf{29.4\%}$ in overall success rates while achieving inference latency of $\textbf{11.9 ms}$. These results demonstrate that multimodal WAM can be achieved with an agile architecture suitable for precise and high-frequency robot control. More details are available on our project page: https://hanchuzhou.github.io/TARO_project_page/.