OccJEPA: Occlusion as Masking for Amodal Video Segmentation

📄 arXiv: 2610.29061v1 📥 PDF

作者: Genpei Zhang

分类: cs.CV, cs.LG

发布日期: 2026-10-21

备注: 20 pages (8-page main paper + supplementary material). Code: https://github.com/zgp110/occjepa

🔗 代码/项目: GITHUB

💡 一句话要点

提出OccJEPA以解决视频遮挡下的物体分割问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 视频分割 遮挡处理 物体检测 深度学习 自监督学习 模型压缩 高效算法

📋 核心要点

  1. 现有的视频分割方法在处理遮挡物体时效率低下，且输出结果不稳定，影响了实际应用效果。
  2. OccJEPA通过将遮挡视为掩膜，利用预训练的模型填补被遮挡区域，从而生成更准确的物体掩膜。
  3. 实验结果表明，OccJEPA在多个数据集上均优于现有方法，尤其在SAIL-VOS和TAO-Amodal上提升了4.00 AP50。

📝 摘要（中文）

本论文提出了一种新的视频分割方法OccJEPA，旨在解决视频中物体的完全掩膜生成问题，包括被其他物体遮挡的部分。现有方法依赖于精细调优的视频扩散模型，需多次去噪并使用额外的深度网络，且对每个样本的输出结果不一致。OccJEPA通过将遮挡视为掩膜，利用预训练的V-JEPA 2.1预测器填补可见掩膜未覆盖的区域，最终生成确定性的完全掩膜。该模型比现有的扩散模型快33.5倍，并在多个数据集上表现出更高的准确性。

🔬 方法详解

问题定义：本论文解决的是视频中物体的完全掩膜生成问题，尤其是被其他物体遮挡的部分。现有方法依赖于复杂的扩散模型，效率低且输出不一致。

核心思路：论文提出将遮挡视为掩膜的概念，通过利用预训练的V-JEPA 2.1预测器来填补可见掩膜未覆盖的区域，从而生成完整的物体掩膜。

技术框架：整体架构包括三个主要模块：可见掩膜生成模块、遮挡区域填补模块和掩膜解码模块。可见掩膜生成模块负责提取物体的可见部分，遮挡区域填补模块利用预训练的模型填补未覆盖部分，最后掩膜解码模块将特征转换为完整的掩膜。

关键创新：OccJEPA的最大创新在于将遮挡视为掩膜处理，使得模型在生成掩膜时更加高效且确定性，显著提高了速度和准确性。

关键设计：模型使用了预训练的V-JEPA 2.1作为核心预测器，设计了轻量级的解码头来处理特征解码，确保了模型在不同参数规模下（从87M到1.85B参数）均能保持良好的性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，OccJEPA在SAIL-VOS和TAO-Amodal数据集上均优于现有的扩散模型，尤其在TAO-Amodal的持出测试集上提升了4.00 AP50，且整体速度提升达33.5倍，展现了显著的性能优势。

🎯 应用场景

该研究在视频理解、自动驾驶、机器人导航等领域具有广泛的应用潜力。通过提供更准确的物体掩膜，OccJEPA能够提升物体检测、跟踪和场景理解的效果，推动相关技术的发展和应用。

📄 摘要（原文）

Amodal video segmentation asks for the complete mask of an object in every frame, including the parts hidden behind other objects. The best current methods generate these masks with fine-tuned video diffusion models, which need many denoising steps and an extra depth network, and give a different answer for every sample. Self-supervised video world models of the JEPA family are trained on a closely related task: predicting the representation of masked space-time regions from the visible ones. We therefore treat occlusion as masking. The tokens that the object's visible mask does not cover are dropped, the pre-trained V-JEPA 2.1 predictor fills them in, and a light head decodes the observed and predicted features into amodal masks. The resulting model, OccJEPA (Occlusion-as-masking JEPA), is deterministic and 33.5x faster than the diffusion-based state of the art, and more accurate on SAIL-VOS, on TAO-Amodal, including a held-out test split (+4.00 AP50) and visible masks tracked by SAM2, and on Kubric. Controlled experiments trace the gain to the predictor's pre-trained weights rather than to its capacity, for world models from 87M to 1.85B parameters. Code is available at https://github.com/zgp110/occjepa.