DexTacWAM: A Visuo-Tactile World-Action Model for Dexterous Manipulation

📄 arXiv: 2609.24976v1 📥 PDF

作者: Haoran Yuan, Zekai Wang, Boning Shao, Haoran Lu, Trevor Darrell, Ismini Lourentzou, Wei Zhan

分类: cs.RO, cs.AI, cs.CV

发布日期: 2026-09-21

备注: 22 pages. Project website: https://dextacwam.github.io/

💡 一句话要点

提出DexTacWAM以解决视觉与触觉信息融合不足的问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 灵巧操控 视觉-触觉融合 世界-动作模型 接触动态 机器人技术 多模态学习 深度学习

📋 核心要点

  1. 现有的世界-动作模型主要依赖视觉信息，无法有效捕捉和建模接触动态，导致灵巧操控性能受限。
  2. DexTacWAM通过独立编码每个手指的触觉信息，并将其与视觉信息结合，提出了一种新的视觉-触觉世界建模方法。
  3. 在六个灵巧操控任务中，DexTacWAM的平均得分为70.6，显著高于基线模型的38.0，展示了其优越的性能。

📝 摘要（中文）

灵巧操控依赖于接触动态，这些动态往往仅通过视觉部分可观察。现有的世界-动作模型（WAMs）主要集中于视觉预测，无法直接建模接触动态。本文提出DexTacWAM，一种视觉-触觉世界-动作模型，独立编码每个手指的触觉信息，通过手指和姿态感知的触觉压缩器聚合特征，并将触觉潜变量注入视频扩散世界模型，实现联合的视觉-触觉世界建模。在22自由度的双手平台上进行的六个接触丰富的灵巧操控任务中，DexTacWAM在每个任务上均取得最高分，平均得分为70.6，远超最强基线的38.0。消融实验表明，建模接触演变是提升性能的关键因素。

🔬 方法详解

问题定义：本文旨在解决现有视觉-动作模型在灵巧操控中无法有效建模接触动态的问题。现有方法过于依赖视觉信息，导致对接触动态的理解不足。

核心思路：DexTacWAM通过独立编码每个手指的触觉信息，并将这些信息与视觉数据结合，形成一个联合的视觉-触觉世界模型，从而更全面地捕捉操控过程中的接触动态。

技术框架：DexTacWAM的整体架构包括触觉编码器、触觉压缩器和视频扩散世界模型。触觉编码器负责提取每个手指的触觉特征，触觉压缩器聚合这些特征，而视频扩散模型则用于生成和预测世界状态。

关键创新：DexTacWAM的核心创新在于将触觉信息与视觉信息有效结合，尤其是通过建模接触演变来提升预测准确性。这一方法与传统的仅依赖视觉的模型有本质区别。

关键设计：在设计上，触觉压缩器能够保持89.4%的接触回忆率，同时实现训练速度提升2.26倍，推理速度提升1.29倍。使用的损失函数和网络结构经过精心调整，以确保视觉与触觉信息的有效融合。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

DexTacWAM在六个接触丰富的灵巧操控任务中表现优异，平均得分达到70.6，显著高于最强基线的38.0。消融实验显示，去除触觉世界建模后，四任务的平均得分从74.7降至26.6，证明了触觉信息的重要性。

🎯 应用场景

DexTacWAM的研究成果在机器人灵巧操控、虚拟现实和增强现实等领域具有广泛应用潜力。通过更好地理解和模拟触觉信息，未来的机器人可以在复杂环境中执行更精细的操作，提高人机交互的自然性和效率。

📄 摘要（原文）

Dexterous manipulation depends on contact dynamics that are often only partially observable from vision. Recent World-Action Models (WAMs) couple predictive video world modeling with action generation, but remain largely vision-centric and therefore cannot directly model these contact dynamics. We present DexTacWAM, a visuo-tactile WAM that encodes each fingertip independently, aggregates the resulting features through a finger- and pose-aware tactile compressor, and injects the tactile latent into a video diffusion world model for joint visuo-tactile world modeling. Across six contact-rich dexterous manipulation tasks on a 22-DoF bimanual platform, DexTacWAM achieves the highest score on every task, averaging 70.6 versus 38.0 for the strongest baseline. Ablations attribute the gain to modeling contact evolution as part of the predicted world state rather than tactile conditioning alone: removing tactile world modeling reduces the four-task mean from 74.7 to 26.6 while keeping the same tactile features and action expert. After four hours of tactile-encoder adaptation with a frozen pretrained vision VAE, our continual vision-to-touch learning extends the pretrained video model to touch using roughly 100 demonstrations per task without tactile midtraining, while retaining visual prediction quality within 0.5 dB of vision-only counterparts. The compressor retains 89.4% of pre-fusion contact recall while enabling 2.26x faster training and 1.29x faster inference. Together, these results show that pretrained video priors can be extended to distributed multi-finger contact dynamics in a data- and compute-efficient manner.