VOMMI: Collecting and Leveraging Portable Demonstrations for Mobile Manipulation
作者: Yutian Zhang, Xingrui Xiong, Siyuan Ma, Yang Li, Jiawen Wen, Jiaqi Zhai, Liwen Yang, Ce Hao, Haozhen Chi, Yangkun Zhu, Yifan Zhu, Xiaowen Chu, Dong Wei, Qiaojun Yu, Dibo Hou
分类: cs.RO, cs.AI
发布日期: 2026-10-06
备注: 9 pages, 6 figures
💡 一句话要点
提出VOMMI以解决移动操控数据稀缺问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 移动操控 视觉里程计 可携带演示 机器人学习 多模态融合
📋 核心要点
- 现有方法依赖遥操作或专用设备，导致获取低成本、可靠的运动监督困难。
- VOMMI框架通过离线轨迹重建和在线视觉运动条件化，连接RGB演示与后训练。
- 基于可携带演示的策略在基础速度误差上降低18.2%，成功率提升8.3个百分点。
📝 摘要（中文）
可携带的移动操控演示有助于缓解具身智能的数据稀缺问题，但从RGB观察中获取可靠、低成本且无机器人运动监督的演示仍然具有挑战性。现有方法通常依赖于遥操作或配备额外传感硬件的专用设备，而直接使用估计的视觉里程计（VO）轨迹可能会因累积漂移和不完美的运动监督而引入不一致性。本文提出了视觉里程计条件下的移动操控接口（VOMMI），这是一个可携带演示收集和学习框架，通过离线轨迹重建和在线视觉运动条件化，将可携带的RGB演示与视觉-语言-动作（VLA）后训练连接起来。VOMMI同步身体和手部视图，以捕捉导航上下文和局部物体交互，无需人机运动学对应校准。实验结果表明，基于可携带演示训练的策略在基础速度误差上比基于机器人收集演示的策略低18.2%。
🔬 方法详解
问题定义：本论文旨在解决从RGB观察中获取可靠的移动操控演示的问题。现有方法依赖于遥操作或专用设备，导致获取低成本的运动监督变得困难，同时直接使用视觉里程计轨迹可能引入不一致性。
核心思路：论文提出的VOMMI框架通过离线轨迹重建和在线视觉运动条件化，能够将可携带的RGB演示与视觉-语言-动作（VLA）后训练有效连接，从而克服现有方法的局限性。
技术框架：VOMMI框架包含多个模块，首先是可携带演示的收集，其次是离线轨迹重建，最后是在线视觉运动条件化。该框架能够同步身体和手部视图，捕捉导航上下文和局部物体交互。
关键创新：VOMMI的核心创新在于其无需人机运动学对应校准，利用R2-VO通过稀疏几何锚点优化离线演示轨迹，并生成因果局部运动标记用于在线策略条件化。这一设计与现有方法的本质区别在于其高效性和准确性。
关键设计：在设计中，R2-VO使用稀疏几何锚点来优化轨迹，采用动作组残差适配器将局部运动标记整合到基础分支中。实验中使用了500条可携带轨迹进行每个任务的评估，确保了结果的可靠性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，基于可携带演示训练的策略在基础速度误差上比基于机器人收集的演示低18.2%，同时保持了相似的末端执行器位移精度。此外，离线重建使身体和手部轨迹的绝对误差平均降低了24.6%。整体系统在三个真实机器人任务中成功率提高了8.3个百分点。
🎯 应用场景
该研究的潜在应用领域包括服务机器人、家庭自动化和工业自动化等场景。通过提高移动操控的效率和准确性，VOMMI能够在实际操作中显著降低人力成本，并提升机器人在复杂环境中的适应能力，具有广泛的实际价值和未来影响。
📄 摘要（原文）
Portable mobile-manipulation demonstrations can help alleviate data scarcity for embodied intelligence, but obtaining reliable, low-cost, and robot-free motion supervision from RGB observations remains challenging. Existing approaches often rely on teleoperation or specialized devices equipped with additional sensing hardware, while directly using estimated visual odometry (VO) trajectories can introduce inconsistencies due to accumulated drift and imperfect motion supervision. We present the Visual-Odometry-Conditioned Mobile Manipulation Interface (VOMMI), a portable demonstration collection and learning framework that connects portable RGB demonstrations to vision-language-action (VLA) post-training through offline trajectory reconstruction and online visual-motion conditioning. VOMMI synchronizes body and hand views to capture navigation context and local object interactions without requiring human-robot kinematic correspondence calibration. R2-VO refines offline demonstration trajectories using sparse geometric anchors and produces causal local-motion tokens over multiple prediction horizons for online policy conditioning. An action-group residual adapter incorporates these tokens only into the base branch. Experiments use a 500-trajectory portable for each task, with 75 trajectories held out for RGB-VO evaluation, and 200 robot demonstrations as references. Our policy, post-trained only on portable demonstrations, achieves 18.2% lower base-velocity error than a policy trained with robot-collected demonstrations, while maintaining comparable end-effector translation accuracy. Offline reconstruction reduces absolute trajectory errors for the body and hand streams by 24.6% on average relative to the best evaluated baseline for each stream. The complete system improves the mean success rate by 8.3 percentage points over OpenPI 0.5 across three real-robot tasks.