OccluDex: Hierarchical 3D Visuo-Tactile Representation Learning for Egocentric Dexterous Manipulation under Self-Occlusion
作者: Ziheng Xu, Yueyuan Chen, Xinyuan He, Guoxing Liu, Yuanshuo Tan, Huiming Pan, Bin He, Shuo Jiang, Peter B. Shull
分类: cs.RO
发布日期: 2026-09-30
备注: 8 pages, 5 figures. This work has been submitted to the IEEE for possible publication. Copyright may be transferred without notice, after which this version may no longer be accessible
💡 一句话要点
提出OccluDex以解决自遮挡下的灵巧操控问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱六：视频提取与匹配 (Video Extraction)
关键词: 灵巧操控 自遮挡 3D表示学习 视觉-触觉融合 跨模态注意力 机器人技术 强化学习
📋 核心要点
- 现有方法在自我遮挡情况下难以准确估计物体几何和接触信息，影响操控的可靠性。
- OccluDex通过层次化的3D视觉-触觉表示学习，结合全局几何与局部接触信息，提升操控的鲁棒性。
- 在模拟实验中，OccluDex在未见物体上准确率提高12.6%，在已见物体上提高8.3%，并在物理实验中成功实现零-shot的模拟到现实泛化。
📝 摘要（中文）
可靠的灵巧操控需要在交互过程中持续估计物体几何形状和手-物体接触。然而，在自我遮挡的情况下，操控手常常遮挡与任务相关的物体表面和接触区域，减少了可用于状态估计的视觉证据，从而使得稳健的闭环控制和对未见物体几何的泛化变得尤为困难。为此，本文提出了OccluDex，一个层次化的3D视觉-触觉表示学习框架，集成了全局几何结构与局部接触信息，以实现动态自遮挡下的稳健操控。OccluDex采用多尺度掩码自编码，逐步编码部分3D几何，并通过跨模态注意力将触觉接触标记与高层几何特征融合。该编码器从同步的人类视觉-触觉演示中进行预训练，并作为冻结的感知骨干转移到下游强化学习中。
🔬 方法详解
问题定义：本文旨在解决在自我遮挡情况下灵巧操控中物体几何和接触信息估计的困难。现有方法在遮挡情况下无法提供足够的视觉证据，导致操控效果不佳。
核心思路：OccluDex的核心思路是通过层次化的3D视觉-触觉表示学习，结合全局几何结构与局部接触信息，来增强在动态自遮挡下的操控能力。这样的设计使得系统能够在视觉信息不足的情况下仍然保持对物体状态的准确估计。
技术框架：OccluDex的整体架构包括多尺度掩码自编码器和跨模态注意力机制。首先，通过多尺度掩码自编码逐步编码部分3D几何信息，然后将触觉接触标记与高层几何特征进行融合，以增强对物体状态的理解。
关键创新：OccluDex的关键创新在于其层次化的表示学习方法和跨模态融合技术，这与现有方法的单一视觉或触觉信息处理方式有本质区别，显著提升了在自遮挡情况下的操控能力。
关键设计：在设计上，OccluDex采用了多尺度掩码自编码策略，确保了对部分几何信息的有效编码。此外，网络结构中引入了跨模态注意力机制，以便更好地融合视觉和触觉信息，从而提升整体性能。具体的损失函数和参数设置在实验中经过优化，以确保模型的稳定性和准确性。
🖼️ 关键图片
📊 实验亮点
OccluDex在模拟实验中表现出色，未见物体的操控准确率提高了12.6%，已见物体提高了8.3%。此外，物理实验中，使用Shadow Hand成功实现了零-shot的模拟到现实泛化，证明了其在实际应用中的有效性。
🎯 应用场景
该研究的潜在应用领域包括人形机器人在复杂环境中的物体操控，如家庭服务机器人、工业自动化等。OccluDex能够在视觉信息受限的情况下，依然实现对新物体的灵巧操控，具有重要的实际价值和广泛的应用前景。
📄 摘要（原文）
Reliable dexterous manipulation requires continuous estimation of object geometry and hand-object contact throughout interaction. With egocentric sensing, however, the manipulating hand frequently occludes task-relevant object surfaces and contact regions, reducing the visual evidence available for state estimation and thereby making robust closed-loop control and generalization to unseen object geometries particularly challenging. To address this, we present OccluDex, a hierarchical 3D visuo-tactile representation learning framework that integrates global geometric structure with local contact information for robust manipulation under dynamic self-occlusion during hand-object interaction. OccluDex adopts multi-scale masked autoencoding to progressively encode partial 3D geometry and fuses tactile contact tokens with high-level geometric features through cross-modal attention. The encoder is pretrained from synchronized human visuo-tactile demonstrations and transferred as a frozen perceptual backbone for downstream reinforcement learning. We evaluate OccluDex on a faucet rotation task, requiring one full clockwise handle revolution, and a tabletop object reorientation task, requiring a 180-degree tabletop object reorientation without toppling. In simulation experiments, OccluDex demonstrated 12.6% higher accuracy for unseen objects and 8.3% higher accuracy for previously seen objects than the strongest state-of-the-art baseline models. Physical experiments were further performed with a Shadow Hand to demonstrate successful zero-shot sim-to-real generalization on unseen physical objects. This results could enable humanoid egocentric object manipulation for seen and unseen objects even when the manipulating robotic hand occludes vision.