Underwater C3-JEPA: An Object-Centric Cross-View World Model for ROV Salvage

📄 arXiv: 2609.30214v1 📥 PDF

作者: Yuncong Yang, Jinlong Li, Yulong Xue, Feng Wu, Chunwen Zhang, Lei Qiao, Xuyang Wang

分类: cs.RO, cs.AI

发布日期: 2026-09-24

备注: Submitted to the IEEE for possible publication. 12 pages, 14 figures

💡 一句话要点

提出Underwater C3-JEPA以解决ROV水下打捞中的对象状态预测问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 水下机器人 对象中心模型 多视角预测 模型预测控制 任务相关信息传递

📋 核心要点

  1. 现有方法在水下环境中缺乏有效的对象状态预测，尤其是在没有接触传感器的情况下。
  2. 论文提出的C$^{3}$-JEPA模型通过多视角RGB观测和控制信号，预测对象状态的演变，解决了传统方法的局限性。
  3. 实验结果表明，C$^{3}$-JEPA在任务相关信息传递上显著优于无重建潜在基线，且保持了模型的轻量化特性。

📝 摘要（中文）

我们提出了Underwater C$^{3}$-JEPA（跨视角、控制条件、上下文扩展），这是一个面向近场重载水下ROV打捞的对象中心多视角预测世界模型。该模型无需接触传感器，通过同步的多视角RGB观测和车辆控制信号，预测任务对象状态在接触交互和水动力滞后下的演变。C$^{3}$-JEPA将多摄像头观测编码为任务对象和上下文标记，通过保留视图注意力融合跨摄像头证据，并在控制条件下直接预测未来状态。实验表明，所学表示在向下游探测器传递任务相关信息方面显著优于无重建潜在基线，同时保持预测器轻量化。最终的预测接口支持模型预测控制（MPC）候选评估和想象回滚行为代理训练。对真实水下视频的验证显示，相同架构能够恢复被保留摄像头的对象状态，并在持久性方面保持领先，因此该方法超越了模拟。

🔬 方法详解

问题定义：本论文旨在解决在水下重载ROV打捞任务中，如何有效预测对象状态的问题。现有方法通常依赖接触传感器，无法在无接触情况下进行准确预测，导致在复杂水下环境中的应用受限。

核心思路：C$^{3}$-JEPA模型通过将多视角RGB观测与控制信号结合，利用潜在空间中的信息预测对象状态的演变。该方法通过编码任务对象和上下文信息，增强了模型的预测能力。

技术框架：该模型的整体架构包括多个模块：首先是多摄像头观测的编码，接着是通过保留视图注意力融合跨摄像头证据，最后在控制条件下进行未来状态的直接预测。

关键创新：C$^{3}$-JEPA的主要创新在于其对象中心的设计和跨视角的融合策略，使得模型能够在没有接触传感器的情况下，准确预测对象状态的演变。这与传统方法的依赖接触传感器形成了鲜明对比。

关键设计：模型采用弱绑定技术，以低标注成本将目标与抓取器锚定，同时使用SIGReg技术来增强几何表示。损失函数和网络结构经过精心设计，以确保模型在保持轻量化的同时，能够有效传递任务相关信息。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，C$^{3}$-JEPA在任务相关信息传递方面比无重建潜在基线提高了显著的性能，且保持了模型的轻量化特性。这一创新方法在真实水下视频验证中成功恢复了被保留摄像头的对象状态，展现出良好的应用潜力。

🎯 应用场景

该研究的潜在应用领域包括水下机器人操作、海洋资源勘探和环境监测等。通过提高水下对象状态预测的准确性，ROV在复杂环境中的自主操作能力将显著增强，推动相关行业的发展与应用。

📄 摘要（原文）

We present Underwater C$^{3}$-JEPA (cross-view, control-conditioned, context-extended), an object-centric multi-view predictive world model for near-field heavy-load underwater ROV salvage. Without contact sensors, it predicts in latent space how the task-object state evolves through contact interaction and under the hydrodynamic lag of the vehicle, from synchronized multi-view RGB observations and vehicle control signals. C$^{3}$-JEPA encodes multi-camera observations into task-object and context tokens, fuses cross-camera evidence through held-out-view attention, and directly predicts future states conditioned on control. Weak binding anchors the target and gripper at low annotation cost, while SIGReg sharpens the geometric representation. Experiments show that the learned representation transfers substantially more task-relevant information to downstream probes than a reconstruction-free latent baseline, while keeping the predictor lightweight. The resulting predictive interface supports model-predictive-control (MPC) candidate evaluation and imagined-rollout behavior-agent training. Validation on real underwater video shows the same architecture recovering a withheld camera's object state and staying ahead of persistence, so the recipe transfers beyond simulation.