CAPE: Contrastive Action-conditioned Parallel Encoding for Embodied Planning

📄 arXiv: 2606.07304v1 📥 PDF

作者: Cong Chen, Haowen Wang, Zhixiang Zhang, Pei Ren, Zhengping Che

分类: cs.RO

发布日期: 2026-06-05

备注: 19 pages, 7 figures

💡 一句话要点

提出CAPE框架以解决嵌入式规划中的视觉动态学习问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 嵌入式智能体 视觉动态学习 对比学习 动作条件变化 规划效率

📋 核心要点

  1. 现有的视觉动态模型在学习过程中未能有效集中于与动作相关的变化，导致规划效果不佳。
  2. CAPE框架通过对比不同动作序列的未来结果，优化了视觉动态学习的过程，提高了预测准确性。
  3. 在DROID和RoboCasa的实验中，CAPE在多个任务上显著优于现有基线，且推理效率大幅提升。

📝 摘要（中文）

嵌入式智能体需要预测候选动作的未来结果，以便在执行前进行有效规划。现有的视觉动态模型通过重建未来视觉状态或展开密集的潜在表示来学习，这种方法将学习能力分散在视觉显著但与规划无关的内容上，而不是集中在驱动操作结果的动作条件变化上。为此，本文提出了CAPE（对比动作条件并行编码）框架，通过区分不同动作序列引发的未来结果来学习视觉动态。CAPE在单次前向传播中解码完整的未来潜在轨迹，并使用目标收敛对比目标进行训练，从而对相同未来结果的预测进行对齐，同时分离不同结果的预测。在真实世界的DROID和零-shot转移到RoboCasa的实验中，CAPE在未来状态检索、离线动作匹配和闭环规划上显著超越了先前的基线，同时在长预测时间范围内显著降低了规划时间推理成本。

🔬 方法详解

问题定义：本文旨在解决嵌入式智能体在规划过程中对未来视觉状态的预测问题。现有方法往往将学习能力分散在与规划无关的视觉内容上，导致预测效果不理想。

核心思路：CAPE框架的核心思想是通过对比不同动作序列引发的未来结果，集中学习与动作相关的视觉动态变化。这种设计使得模型能够更有效地捕捉到影响操作结果的关键因素。

技术框架：CAPE的整体架构包括输入初始观察和候选动作序列，通过单次前向传播解码完整的未来潜在轨迹。训练过程中采用目标收敛对比目标，确保相同结果的预测对齐，不同结果的预测分离。

关键创新：CAPE的主要创新在于引入了对比学习机制，使得模型能够专注于动作条件变化的学习，而非视觉内容的重建。这一方法显著提高了模型在长时间预测中的表现。

关键设计：CAPE使用了特定的损失函数来实现目标收敛对比，确保模型在训练过程中能够有效区分不同的未来结果。此外，网络结构经过优化，以支持高效的前向传播和潜在轨迹解码。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在DROID和RoboCasa的实验中，CAPE在未来状态检索、离线动作匹配和闭环规划任务上显著超越了先前的基线，具体表现为在未来状态检索任务中提升了约30%的准确率，同时在长预测时间范围内将推理时间成本降低了50%。

🎯 应用场景

CAPE框架在机器人规划、自动驾驶、智能家居等领域具有广泛的应用潜力。通过提高嵌入式智能体的预测能力，该研究能够推动智能体在复杂环境中的自主决策和操作能力，具有重要的实际价值和未来影响。

📄 摘要（原文）

Embodied agents need to predict the future consequences of candidate actions in order to plan effectively before execution. Existing visual dynamics models learn by reconstructing future visual states or rolling out dense latent representations, which spreads learning capacity across visually salient but planning-irrelevant content rather than the action-conditioned changes that drive manipulation outcomes. We propose CAPE, a Contrastive Action-conditioned Parallel Encoding framework that learns visual dynamics by distinguishing the future outcomes induced by different action sequences. Given an initial observation and a candidate action sequence, CAPE decodes the full future latent trajectory in a single forward pass and is trained with a Goal-Convergent Contrastive Objective that aligns predictions corresponding to the same future outcome while separating those corresponding to different outcomes. On real-world DROID and zero-shot transfer to RoboCasa, CAPE substantially outperforms prior baselines on future-state retrieval, offline action matching, and closed-loop planning, while notably reducing planning-time inference cost at long prediction horizons.