Multi-View Latent Action Pretraining for Cross-Embodiment Robot Learning from Videos
作者: Oliver Hausdörfer, Felix Minzenmay, Mani Majd, Maximilian P. Christof, Shiyuan Zhang, Angela P. Schoellig
分类: cs.RO
发布日期: 2026-10-20
备注: Website: https://learnsyslab.github.io/multiview_latent_action_pretraining/
🔗 代码/项目: PROJECT_PAGE
💡 一句话要点
提出多视角潜在动作预训练以解决跨体态机器人学习问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱七：动作重定向 (Motion Retargeting)
关键词: 多视角学习 潜在动作模型 机器人学习 视频理解 跨体态迁移
📋 核心要点
- 现有的潜在动作模型主要依赖单一摄像头视角，导致对6D机器人动作的解析模糊，无法有效处理深度和遮挡问题。
- 论文提出了一种新的多视角潜在动作模型，通过交叉注意机制整合多个摄像头视角，提升了对动作的理解和解析能力。
- 实验结果显示，双视角LAM预训练在解码真实动作和任务成功率上均显著优于单视角方法，且在实际应用中表现出色。
📝 摘要（中文）
在这项研究中，作者提出了一种新的潜在动作模型（LAM），该模型通过同步多摄像头视角来处理视频数据，从而克服了现有单视角方法在6D机器人动作解析中的局限性。通过交叉注意机制，该模型能够更好地解决深度和遮挡问题，并将其压缩为潜在动作。实验结果表明，与单视角方法相比，双视角LAM预训练在解码真实6D动作的能力上提高了17%，并且在机器人学习任务中成功率提升了13.5%。此外，该方法在实际硬件上也表现出色，成功率较仅依赖动作的策略提高了20%。
🔬 方法详解
问题定义：本研究旨在解决现有潜在动作模型在解析6D机器人动作时的局限性，特别是在处理深度和遮挡问题时的不足。现有方法通常依赖于单一摄像头视角，导致对动作的理解不够全面。
核心思路：论文提出的多视角潜在动作模型（LAM）通过使用同步的多摄像头视角，结合交叉注意机制，能够更准确地解析动作并克服深度和遮挡的影响。这种设计使得模型能够更全面地理解视频中的动作信息。
技术框架：整体架构包括多个主要模块：首先，多个摄像头捕获同步视频数据；其次，通过交叉注意机制处理这些视角以解决深度和遮挡问题；最后，将处理后的信息压缩为潜在动作，并输入到一个策略网络中，该网络结合了潜在专家和动作专家。
关键创新：最重要的创新在于引入了多视角输入和交叉注意机制，使得模型能够在解析复杂动作时更具鲁棒性。这与传统的单视角方法形成了鲜明对比，后者在处理复杂场景时往往会出现信息丢失。
关键设计：在模型设计中，采用了特定的损失函数来优化潜在动作的解码能力，并且在网络结构上进行了调整，以适应多视角数据的输入。这些设计细节确保了模型在处理不同视角数据时的有效性和准确性。
🖼️ 关键图片
📊 实验亮点
实验结果表明，双视角LAM预训练在解码真实6D动作的能力上提高了17%，而在机器人学习任务中的成功率提升了13.5%。在实际应用中，该方法在850次实验中成功率较仅依赖动作的策略提升了20%。
🎯 应用场景
该研究的潜在应用领域包括机器人操作、自动驾驶以及人机交互等场景。通过利用视频数据进行机器人学习，可以降低对昂贵的人工操作数据的依赖，提升机器人在复杂环境中的自主学习能力。未来，该方法有望在多种任务中实现更高效的技能迁移和学习。
📄 摘要（原文）
Action-free videos are an appealing substitute for costly teleoperated data. Latent action models (LAMs) turn videos into a supervision signal by inferring abstract actions between frames. Existing LAMs observe a single camera view, which resolves 6D robot actions only ambiguously missing out-of-plane movements and potential occlusions. We propose a LAM that ingests synchronized multi-camera views using cross-attention to resolve depth and occlusions before compressing them into latent actions. The latent actions are fed into a policy in which a latent expert and an action expert are coupled by sequential flow matching around a frozen VLM backbone. We further evaluate in strict cross-embodiment settings where task-specific demonstrations come from other embodiments. We show that dual-view LAM pretraining improves the decodability of ground-truth 6D actions by 17% compared to single-view, while scaling single-view data by two orders of magnitude is not sufficient to fully recover out-of-plane motions. The downstream policy improves success rate by +13.5% compared to +6.2% for single-view LAM. A single cross-embodiment is sufficient for skill transfer, and adding a second viewpoint outperforms adding up to four further embodiments. The results transfer to hardware where demonstrations come from a human hand improving success rate by +20% over action-only policies in 850 rollouts. We show that video and robot data are complementary, and that benefits of learning from video are task-dependent. Website: https://learnsyslab.github.io/multiview_latent_action_pretraining/