FeelWorld: Visuo-Tactile World Model for Hierarchical Contact Prediction and Planning

📄 arXiv: 2607.24267v1 📥 PDF

作者: Wenxuan Ma, Chaofan Zhang, Chao Xue, Yinghao Cai, Guocai Yao, Shaowei Cui, Shuo Wang

分类: cs.RO

发布日期: 2026-07-27

备注: 9 pages, 7 figures

💡 一句话要点

提出FeelWorld以解决触觉信息缺失导致的接触预测问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱四：生成式动作 (Generative Motion)

关键词: 视觉-触觉模型 接触预测 层次化建模 机器人规划 动态预测 自回归展开 触觉感知

📋 核心要点

  1. 现有视觉世界模型主要关注外观动态，忽视触觉信息，导致接触预测不准确。
  2. 提出FeelWorld模型，通过层次化的视觉-触觉状态联合预测，增强了对接触动态的理解。
  3. 实验结果显示，FeelWorld在多项任务中LPIPS指标显著降低，规划成功率达到81.7%。

📝 摘要（中文）

人类在规划物理交互时会想象候选动作的可能结果。然而，现有的视觉世界模型主要捕捉外观动态，忽视了支配接触丰富交互的触觉状态，可能导致想象的未来在视觉上看似合理但违反物理动态。我们提出了FeelWorld，一个层次化的视觉-触觉世界模型，联合预测未来的视觉潜变量和三种触觉状态。该模型通过共享的潜在动态模型进行显式监督的联合预测，并引入接触门控不对称注意机制，以防止自由空间运动中的无关触觉信号影响视觉预测。实验表明，FeelWorld在多个任务中显著提高了预测精度和规划成功率。

🔬 方法详解

问题定义：本论文旨在解决现有视觉世界模型在处理接触丰富交互时缺乏触觉信息的问题。现有方法往往只关注视觉动态，导致预测结果在物理上不合理。

核心思路：论文提出了FeelWorld模型，通过层次化的视觉和触觉状态联合预测，增强了对接触状态的理解。该模型设计了接触门控不对称注意机制，以区分自由空间和接触状态下的动态预测。

技术框架：FeelWorld的整体架构包括三个主要模块：视觉潜变量预测、触觉状态预测和接触门控机制。模型通过共享的潜在动态模型进行联合训练，确保视觉和触觉信息的有效整合。

关键创新：最重要的创新在于引入了层次化的触觉状态预测和接触门控机制，使得模型在接触前后能够灵活切换预测路径，提升了预测的准确性和鲁棒性。

关键设计：模型采用了显式监督的方式进行训练，损失函数设计上考虑了视觉和触觉状态的联合优化。此外，模型在训练过程中引入了自回归展开和上下文噪声注入，以提高对复合误差的鲁棒性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，FeelWorld在10步LPIPS指标上从0.084降低至0.058，且在80步自回归展开后，LPIPS指标比视觉基线低61%。此外，模型在零-shot规划中的成功率达到81.7%，展现出优越的性能。

🎯 应用场景

FeelWorld模型在机器人抓取、物体插入等任务中具有广泛的应用潜力。通过有效整合触觉信息，该模型能够提升机器人在复杂环境中的交互能力，未来可应用于智能制造、服务机器人等领域，推动人机协作的发展。

📄 摘要（原文）

Humans plan physical interactions by imagining the possible outcomes of candidate actions. However, existing visual world models primarily capture appearance dynamics while overlooking the tactile states that govern contact-rich interactions, potentially producing imagined futures that appear visually plausible but violate physical dynamics. We introduce FeelWorld, a hierarchical visuo-tactile world model that jointly predicts future visual latents and three tactile states. FeelWorld organizes these states hierarchically as contact state, a 3D tactile latent that encodes force-related information, and slip state. These states are jointly predicted by a shared latent dynamics model with explicit supervision. To prevent irrelevant tactile signals during free-space motion from degrading visual prediction, we introduce a contact-gated asymmetric attention mechanism that maintains a visual-only prediction pathway before contact and enables joint visuo-tactile dynamics prediction during contact. The model is further trained with autoregressive rollouts and context noise injection to improve robustness to compounding errors. The predicted contact and slip states also support contact-aware CEM planning. Experiments on chip grasping, fruit grasping, and USB insertion show that FeelWorld reduces 10-step LPIPS from 0.084 to 0.058 and maintains an LPIPS that is 61% lower than that of the visual baseline after an 80-step autoregressive rollout. FeelWorld also achieves an average zero-shot planning success rate of 81.7%, providing an effective approach for incorporating tactile sensing into world models.