AnyViewDex: View-Invariant Dexterous Manipulation from RGB Observations
作者: Soham Patil, Om Sanjay Gunjal, Sourabh Bhosale, Arhan Chavare, Ramandeep Singh Hora, Spandan Roy
分类: cs.RO
发布日期: 2026-09-17
💡 一句话要点
提出AnyViewDex以解决多指灵巧操作中的视角敏感问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)
关键词: 视角不变性 多指灵巧操作 几何监督 对比学习 单目视觉 机器人抓取 深度学习
📋 核心要点
- 现有的多指灵巧操作方法对相机视角变化非常敏感，导致在实际应用中效果不佳。
- 论文提出的AnyViewDex通过在模拟中编码几何知识，实现了无需显式3D感知的视角不变控制。
- 实验结果表明，AnyViewDex在多种未见物体和视角下的抓取成功率达到76.7%，显示出良好的零-shot迁移能力。
📝 摘要（中文）
多指灵巧操作的视觉运动策略对相机视角变化高度敏感。为实现视角不变性，现有方法越来越依赖于显式的3D模态，如RGB-D或点云，这可能引入硬件依赖、校准要求以及在实际部署中对传感器噪声的脆弱性。本文展示了无需显式的3D感知即可实现视角不变控制的方法，通过在模拟过程中将几何知识编码到视觉表示中。我们提出了AnyViewDex，这是一种不对称的训练管道，结合了多视图对比对齐与特权3D几何监督。通过在模拟训练中回归绝对3D物体坐标，这一辅助目标提供了几何基础信号，减轻了全局池化对比嵌入的空间崩溃。在部署时，该策略仅使用未校准的单目RGB和本体感知进行零-shot操作。我们在xArm7和16自由度LEAP手上的硬件评估中验证了该方法，AnyViewDex在八个未见物体和六个未校准视角下的抓取成功率达到76.7%。
🔬 方法详解
问题定义：本文旨在解决多指灵巧操作中对相机视角变化的敏感性问题。现有方法依赖于显式的3D感知，导致硬件依赖和校准困难。
核心思路：AnyViewDex通过在模拟训练中将几何知识编码到视觉表示中，实现了视角不变的控制，而无需在测试时进行3D感知。
技术框架：该方法采用不对称的训练管道，结合多视图对比对齐和特权3D几何监督。训练过程中回归绝对3D物体坐标，提供几何基础信号。
关键创新：最重要的创新在于通过几何监督来减轻全局池化对比嵌入的空间崩溃，确保了在未校准条件下的有效操作。
关键设计：在训练中使用的损失函数包括对比损失和几何回归损失，网络结构设计上采用了多视图输入以增强对比对齐效果。具体参数设置和网络架构细节在论文中进行了详细描述。
🖼️ 关键图片
📊 实验亮点
在硬件评估中，AnyViewDex在八个未见物体和六个未校准视角下的抓取成功率达到了76.7%。这一结果表明，几何基础的单目策略能够在没有测试时深度感知的情况下实现有效的零-shot迁移，展示了显著的性能提升。
🎯 应用场景
该研究的潜在应用领域包括机器人抓取、自动化装配和人机交互等场景。通过实现视角不变的灵巧操作，AnyViewDex能够在多种环境中有效工作，降低了对复杂硬件的依赖，具有广泛的实际价值和未来影响。
📄 摘要（原文）
Visuomotor policies for multi-fingered dexterous manipulation are highly sensitive to camera viewpoint shifts. To achieve view invariance, recent methods increasingly rely on explicit 3D modalities like RGB-D or point clouds, which can introduce hardware dependencies, calibration requirements, and vulnerability to sensor noise during real-world deployment. In this work, we show that view-invariant control can be achieved without explicit test-time 3D sensing by encoding geometric knowledge into the visual representation during simulation. We present AnyViewDex, an asymmetric training pipeline that combines multi-view contrastive alignment with privileged 3D geometric supervision. By regressing absolute 3D object coordinates during simulated training, this auxiliary objective provides a geometric grounding signal that mitigates the spatial collapse of the globally pooled contrastive embedding. At deployment, the policy operates zero-shot using only uncalibrated monocular RGB and proprioception. We validate this approach across both reinforcement learning and student-teacher distillation. In hardware evaluation on an xArm7 with a 16-DoF LEAP Hand, AnyViewDex reaches 76.7% grasping success across eight unseen objects and six uncalibrated viewpoints (480 trials; 2,400 across all ablation conditions), indicating that geometrically grounded monocular policies transfer zero-shot without test-time depth. Project Page: https://anyviewdex.github.io/