ME-Dex 1.0: Bringing Heterogeneous Tactile Sensing into World Action Modeling

📄 arXiv: 2609.21449v1 📥 PDF

作者: Xuancheng Zhang, Xuetao Liu, Qianying Tang, Jizhe Wang, Zhijing Cheng, Bochen Lin, Haoran Wen, Ming Li, Kun Zhan, Yu Liu

分类: cs.CV

发布日期: 2026-09-18

💡 一句话要点

提出ME-Dex 1.0以解决异构触觉感知在世界动作建模中的不足

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 触觉感知 机器人操作 多模态学习 世界动作模型 混合变换器 数据生成平台 视觉-触觉融合

📋 核心要点

  1. 现有方法在处理触觉感知时，通常未能联合预测触觉状态与视觉观察，导致信息利用不足。
  2. 论文提出ME-Dex-1.0，通过混合变换器架构联合学习视觉、触觉和动作，提升机器人对环境的理解与交互能力。
  3. 在RoboTwin、DexJoCo和ManiFeel等仿真平台上的实验显示，使用触觉感知的机器人在操作性能上有显著提升。

📝 摘要（中文）

世界动作模型将视频模型的预测能力引入机器人动作生成，为未来视觉状态建模提供了丰富的基础。触觉感知通过直接测量物理交互来补充这一基础。现有方法通常将触觉特征作为条件输入，而未能联合预测未来的触觉状态、视觉观察和动作。我们的关键见解是，触觉信号与视频一样，提供了不断演变的世界状态的观察，应该与视频一起建模为未来观察。我们提出了ME-Dex-1.0（MachEmbodied-Dex-1.0），一个统一的世界动作触觉模型，用于视觉、触觉和动作的联合学习。ME-Dex-1.0采用混合变换器架构，包括视频专家、触觉专家和动作专家，所有专家通过流匹配进行训练。实验表明，使用触觉感知的夹持器和灵巧手的操作性能得到了显著提升。

🔬 方法详解

问题定义：本论文旨在解决现有方法在异构触觉感知与视觉观察联合预测中的不足，尤其是在机器人动作生成中的应用。现有方法未能充分利用触觉信号，导致对环境状态的理解不够全面。

核心思路：论文的核心思路是将触觉信号与视频信号一起建模为未来观察，认为触觉信号同样能够提供对世界状态的观察信息，从而增强机器人对环境的感知能力。

技术框架：ME-Dex-1.0采用混合变换器架构，包含视频专家、触觉专家和动作专家。通过流匹配训练这些专家，并在中间层使用共享注意力机制连接它们，以便在联合去噪过程中利用视觉和触觉动态的学习表示。

关键创新：最重要的技术创新在于将触觉感知与视觉信息联合建模，形成一个统一的世界动作触觉模型。这一方法与现有方法的本质区别在于同时考虑了多种感知输入的动态变化。

关键设计：论文设计了一个规范手模型和一个统一的触觉自编码器，将来自不同实现和感知布局的触觉观察映射到共享的空间和潜在空间。此外，开发了Agentic Tactile Data Engine，以补充有限的配对视觉、触觉和动作数据。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，使用ME-Dex-1.0的机器人在RoboTwin、DexJoCo和ManiFeel平台上的操作性能显著提升，尤其是在使用触觉感知的夹持器和灵巧手时，操作成功率和效率均有明显改善，具体性能数据未详述。

🎯 应用场景

该研究的潜在应用领域包括机器人操作、智能制造和人机交互等。通过提升机器人对触觉和视觉信息的理解能力，ME-Dex-1.0能够在复杂环境中实现更高效的操作，具有重要的实际价值和未来影响。

📄 摘要（原文）

World Action Models bring the predictive capabilities of video models into robot action generation, providing a rich foundation for modeling future visual states. Tactile sensing complements this foundation with direct measurements of physical interaction. Some existing methods use tactile features as conditioning inputs without jointly predicting future tactile states, visual observations, and actions. Our key insight is that tactile signals, like video, provide observations of the evolving world state and should be modeled as future observations alongside video. We present ME-Dex-1.0 (MachEmbodied-Dex-1.0), a unified World Action Tactile Model for joint visual, tactile, and action learning. ME-Dex-1.0 adopts a Mixture-of-Transformers architecture comprising a Video Expert, a Tactile Expert, and an Action Expert, all trained with flow matching. We use shared attention connects the experts in intermediate layers, allowing action generation to draw on learned representations of visual and tactile dynamics during joint denoising. To support multi-source heterogeneous tactile inputs, a Canonical Hand Model and a Unified Tactile Autoencoder map tactile observations from different embodiments and sensing layouts into shared spatial and latent spaces. To address the limited availability of paired visual, tactile, and action data, we develop the Agentic Tactile Data Engine, an agent-based data production platform. It supplements RoboTwin and DexJoCo with tactile data recorded directly from force sensors during trajectory replay in simulation. Experiments on the RoboTwin, DexJoCo, and ManiFeel simulation platforms, together with real robot evaluations, demonstrate improved manipulation performance using both grippers and dexterous hands equipped with tactile sensing.