From Predictive Geometry to Action: Learning Complementary Predictive Representations for Embodied Manipulation
作者: Xiaoxu Xu, Hao Li, Hongtao Zhang, Yili Tang, Jiafei Cao, Junhao Cai, Haoxiang Ma, Weixin Li, Weinan Zhang
分类: cs.RO
发布日期: 2026-10-20
🔗 代码/项目: GITHUB
💡 一句话要点
提出双阶段框架以解决动作生成中的预测几何表示问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 动作生成 预测几何 互补表示 多视角学习 机器人操作
📋 核心要点
- 现有方法在动作生成中未能有效表示预测几何，导致对未来场景演变的理解不足。
- 本文提出双阶段框架，通过多视角视频学习互补的预测表示，优化几何特征以支持动作生成。
- 在多个环境下实验表明，该方法显著提升了策略性能，WidowX评估中提升了10.4个百分点。
📝 摘要（中文）
有效的操作需要策略不仅捕捉当前场景几何，还需理解几何在交互下的演变。现有方法要么通过当前观察增强策略的几何信息，要么将未来预测作为辅助监督，未能明确预测几何在动作生成中的表示方式。为此，本文提出一种双阶段框架，从多视角视频片段中学习互补的预测表示。在预训练阶段，冻结的3D基础模型提供密集的几何特征，这些特征被压缩为预测几何表示，并优化以保留场景结构及其时间演变。随后，动作监督应用于几何转变，以提取强调与动作相关的互补运动表示。在下游后训练中，通过几何查询转移预测几何，而运动表示引导动作生成路径中的中间特征。通过LIBERO、LIBERO-Plus、SimplerEnv以及真实世界的双手和单臂任务，我们的方法在下游策略上持续改善，包括在WidowX评估中绝对提升10.4个百分点。
🔬 方法详解
问题定义：本文旨在解决现有方法在动作生成中对预测几何表示不足的问题，导致对未来场景演变的理解不够准确。现有方法要么依赖当前几何信息，要么将未来预测作为辅助监督，未能有效整合这两者。
核心思路：论文提出的双阶段框架通过多视角视频片段学习互补的预测表示，首先利用冻结的3D基础模型提取几何特征，然后通过动作监督优化这些特征，以增强动作生成的准确性和有效性。
技术框架：整体架构分为预训练和后训练两个阶段。在预训练阶段，使用3D模型提取几何特征并压缩为预测几何表示；在后训练阶段，通过几何查询转移预测几何，同时利用运动表示引导中间特征，确保动作生成的连贯性。
关键创新：最重要的技术创新在于提出了互补的预测几何表示与运动表示的结合，强调了动作相关的几何转变。这种设计使得模型能够在生成动作时更好地理解未来场景的演变。
关键设计：在损失函数设计上，强调了几何结构和时间演变的保留，同时在网络结构中采用了多视角输入，以增强模型对复杂场景的理解能力。
🖼️ 关键图片
📊 实验亮点
实验结果显示，本文方法在多个环境中均显著提升了策略性能，特别是在WidowX评估中实现了10.4个百分点的绝对增益。此外，方法在多个VLA架构和WAMs之间的迁移表现也得到了验证，提升了未来世界和动作预测的准确性。
🎯 应用场景
该研究的潜在应用领域包括机器人操作、自动驾驶、虚拟现实等，能够提升机器在复杂环境中的操作能力和决策效率。未来，随着技术的进一步发展，该方法有望在更广泛的领域中实现智能化操作，推动人机协作的进步。
📄 摘要（原文）
Effective manipulation requires a policy to capture not only about the current scene geometry, but also about how that geometry will evolve under interaction. Existing approaches either augment policies with geometric information from current observations or introduce future prediction as auxiliary supervision, leaving open how predictive geometry should be represented for action generation. Therefore, we propose a two-stage framework, which learns complementary predictive representations from multi-view video clips. During pretraining, a frozen 3D foundation model provides dense geometric features that are compressed into predictive geometric representations and optimized to preserve scene structure and its temporal evolution. Action supervision is then applied to geometric transitions to extract a complementary motor representation that emphasizes action-relevant transitions. During downstream post-training, predictive geometry is transferred through geometry queries, while the motor representation guides intermediate features along the action-generation pathway. Future observations are used only as privileged supervision during training and are not required at inference time. Across LIBERO, LIBERO-Plus, SimplerEnv, and real-world bimanual and single-arm tasks, our approach consistently improves downstream policies, including an absolute gain of 10.4 percentage points on the WidowX evaluation. We further demonstrate transfer across multiple VLA architectures and WAMs, with improvements in both future-world and action prediction. The code will be available at https://github.com/xuxiaoxxxx/CPR.