Dexterous Tactile World Model
作者: Ziyao Zeng, Xiatao Sun, Hao Wang, Yueyang Pan, Zhengxiang Yu, Fengyu Yang, Tianyu Liu, Zhiwen Fan, Daniel Rakita
分类: cs.CV, cs.LG, cs.RO
发布日期: 2026-09-28
备注: Project page: https://adonis-galaxy.github.io/dtwm-project-page/
💡 一句话要点
提出灵巧触觉世界模型以提升操控预测精度
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱六：视频提取与匹配 (Video Extraction)
关键词: 触觉感知 操控预测 多模态融合 视频扩散变换器 机器人技术
📋 核心要点
- 现有的操控世界模型主要依赖视频数据，难以捕捉关键的触觉信息，导致手部运动的低估和预测误差较大。
- 本文提出的DTWM模型通过结合视频和触觉信号，利用预训练的视频扩散变换器来提升未来帧的预测精度。
- 实验结果表明，DTWM在手部运动预测中显著降低了误差，并在多次训练中表现出更好的稳定性和准确性。
📝 摘要（中文）
操控任务的世界模型通常依赖视频训练，但操控过程中的关键事件如接触和释放往往难以通过视觉观察，而触觉信号更易于感知。本文提出了灵巧触觉世界模型（DTWM），该模型结合了视频和手套传感器的触觉信号，能够进行自我中心操控的未来帧预测。通过在视频令牌中对应手部位置引入零初始化的残差，DTWM有效地减少了手部运动的低估，从23%降至9%。与仅基于视觉的模型相比，DTWM在手部区域的感知误差降低了7.4%，且在预测时间范围内的改进效果逐渐增强。
🔬 方法详解
问题定义：本文旨在解决传统视频训练的操控模型在关键触觉信息缺失时，导致的手部运动低估和预测误差问题。现有方法难以有效捕捉接触和释放等重要事件。
核心思路：DTWM模型通过结合视频数据和手套传感器的触觉信号，利用视频扩散变换器进行未来帧的预测。通过在视频令牌中引入触觉信号的残差，增强了模型对手部运动的感知能力。
技术框架：DTWM的整体架构包括视频输入模块、触觉信号处理模块和未来帧预测模块。视频输入通过预训练的扩散变换器处理，触觉信号则通过零初始化残差与视频令牌结合，最终生成未来帧的预测。
关键创新：DTWM的主要创新在于将触觉信号与视频数据结合，显著提升了手部运动的预测精度，尤其是在长时间预测时的表现优于现有的视觉模型。
关键设计：模型设计中，触觉信号的幅度和空间位置被纳入考虑，实验表明，使用二进制接触状态替代触觉信号会增加预测误差，强调了触觉信号在操控预测中的重要性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，DTWM在手部运动预测中将低估率从23%降低至9%，并在手部区域的感知误差减少了7.4%。此外，随着预测时间的延长，模型的改进效果显著增强，后期预测的提升幅度约为前期的4.1倍。
🎯 应用场景
该研究在机器人操控、虚拟现实和人机交互等领域具有广泛的应用潜力。通过提升操控预测的准确性，DTWM可以帮助机器人更好地理解和执行复杂的操作任务，从而提高自动化水平和用户体验。
📄 摘要（原文）
World models for manipulation are typically trained from video, yet the events that determine how manipulation unfolds, such as making and releasing contact, are difficult to observe visually and are often easier to sense through touch. We present the Dexterous Tactile World Model (DTWM), a video world model for future-frame prediction of egocentric manipulation from both observed video and tactile signals from a glove worn on each hand. We condition a pretrained video diffusion transformer on each hand's tactile signal through a zero-initialized residual at the corresponding hand location in the video tokens, while a causal mask prevents predicted frames from accessing future information. Compared with a vision-only model matched in architecture, parameters, and training, DTWM reduces the underestimation of hand motion from 23% to 9%, while reducing the perceptual error in the hand region by 7.4% across three training runs per model. The benefit also increases over the prediction horizon, with the improvement in the later predicted chunks being about 4.1x larger than in the first. DTWM also outperforms other visual-tactile world models under the same setting, and training with touch improves future-frame prediction even when no touch is available at inference. Ablations show that the model benefits from both the magnitude and spatial location of force: replacing the tactile signal with binary contact states, either per hand or per location, increases prediction error. The observed course of the force indicates whether the interaction will persist or change.