DepState-JEPA: Learning Depth-Grounded State Representation for Visual Perception and Manipulation
作者: Xiujian Liang, Liuyuan Na, Zehao Du, Jiacheng Xu, Weixi Song, Mingyang Sun, Xingjun Ma, Cewu Lu, Jianhua Sun
分类: cs.RO, cs.CV
发布日期: 2026-10-21
💡 一句话要点
提出DepState-JEPA以解决视觉感知与操控中的状态表示问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)
关键词: 深度学习 机器人操控 多模态融合 状态表示 视觉感知
📋 核心要点
- 现有方法在机器人操控中难以有效连接场景几何与动作引起的状态变化，导致预测表示不足。
- 本文提出的DepState-JEPA框架通过双流RGB-深度联合嵌入，利用深度信息增强空间理解与动作预测的关联性。
- 实验结果显示，经过RGB-D适应后，模型在特征补全和操控成功率上均显著提升，验证了方法的有效性。
📝 摘要（中文）
针对机器人操控中的预测表示问题，本文提出了DepState-JEPA框架，旨在将场景几何与由动作引起的状态变化相连接。该框架通过双流RGB-深度联合嵌入预测架构，利用深度信息作为补充观测流，构建共享的潜在状态DepState，从而实现空间理解与动作条件预测的结合。实验结果表明，经过RGB-D适应后，RGB编码器的迁移性能显著增强，且在特征补全、条件视觉预测和操控成功率上均有提升。
🔬 方法详解
问题定义：本文旨在解决机器人操控中如何有效连接场景几何与动作引起的状态变化的问题。现有方法在这一方面存在不足，导致预测表示的准确性和有效性受到限制。
核心思路：论文提出的DepState-JEPA框架通过双流RGB-深度联合嵌入，利用深度信息作为补充观测流，构建共享的潜在状态DepState，从而实现空间理解与动作条件预测的结合。这种设计使得模型能够更好地理解动作对环境的影响。
技术框架：整体架构包括两个主要模块：RGB和深度流，二者通过共享的潜在状态DepState进行信息聚合。模型在预测过程中使用光线条件读取来预测局部特征，并在动作条件转移后，利用预测状态和固定的初始私有特征来预测未来的RGB和深度特征。
关键创新：最重要的技术创新点在于引入了深度信息作为补充观测流，并通过共享潜在状态来连接空间理解与动作预测。这一方法与现有的单一模态方法有本质区别，能够更好地处理复杂的操控任务。
关键设计：模型设计中，采用了光线条件读取和机器人状态读取的递归输入，结合物体轨迹监督和校准的前向运动学，形成了有效的状态学习机制。损失函数和网络结构经过精心设计，以确保不同模态的信息能够有效融合。
🖼️ 关键图片
📊 实验亮点
实验结果显示，经过RGB-D适应后，RGB编码器的迁移性能显著增强，特征补全能力提升，条件视觉预测的准确性提高，操控成功率也有明显改善，验证了该方法的有效性和优越性。
🎯 应用场景
该研究在机器人视觉感知与操控领域具有广泛的应用潜力，能够提升机器人在复杂环境中的操作能力。未来，DepState-JEPA框架可应用于智能家居、工业自动化及服务机器人等多个领域，推动机器人技术的进一步发展。
📄 摘要（原文）
Predictive representations for robot manipulation should connect scene geometry with the state changes induced by actions. Our intuition is that understanding what an action will change starts with understanding where things are: complementary RGB and depth observations ground a common scene representation from which to infer those changes. Guided by this intuition, we introduce \textbf{DepState-JEPA}, a dual-stream RGB--Depth joint-embedding predictive architecture that connects spatial understanding with action-conditioned prediction through a shared latent state, \textbf{DepState}. Built on V-JEPA~2.1, the framework uses depth both as a complementary observation stream and to ground both modalities in metric 3D space, aggregating shared information into DepState while retaining modality-private features for decoding. Ray-conditioned readouts predict local features without target depth; after an action-conditioned transition, the same decoders predict future RGB and depth features using the predicted state and fixed initial private features. Robot-state readouts provide recursive proprioceptive inputs; object-trajectory supervision and calibrated forward kinematics shape state learning through motion targets and joint--TCP consistency. Comparisons show stronger RGB-encoder transfer after RGB-D adaptation, feature completion, conditioned visual forecasting, and manipulation success. Within-model ablations identify contributions from depth content, metric coordinates, and future-state matching, with additional control gains from FK regularization.