Object Concepts Emerge from Motion
作者: Boshi Li, Xiaohui Wang, Xiaoyang Wu, Zhichao Li, Ya Yang, Naiyan Wang
分类: cs.CV
发布日期: 2026-09-03
💡 一句话要点
提出基于运动边界的框架以学习物体中心表示
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 物体中心表示 运动边界 伪实例掩码 自我训练 视觉预训练 深度学习 自动驾驶
📋 核心要点
- 现有的视觉预训练方法未能有效保持个体实例的身份和一致性，导致物体中心表示不足。
- 本文提出了一种利用运动边界进行物体级分组的框架，通过伪实例掩码监督单图像编码器进行学习。
- 实验结果表明，该方法在单目深度估计、3D物体检测等任务上表现优异，尤其在几何和实例敏感任务上具有强大的迁移能力。
📝 摘要（中文）
物体中心的视觉表示对于物理世界的感知至关重要，但现有的视觉预训练方法往往捕捉语义类别而未能保持个体实例的身份和一致性。本文提出了一种生物启发的框架，从原始视频中学习单幅图像的物体中心表示。该方法利用运动边界作为物体级分组的来源，通过光流和聚类生成伪实例掩码，进而监督单图像编码器进行像素级对比度学习。该框架无需人工标注或相机校准。通过从7163小时的驾驶和网络视频中获取1.95亿个伪标记帧，并利用运动验证自我训练扩展到4.21亿帧，最终在多个任务上取得了与监督和自监督预训练基线相当或更优的表现。
🔬 方法详解
问题定义：本文旨在解决现有视觉预训练方法未能有效捕捉物体实例身份和一致性的问题，导致物体中心表示不足。
核心思路：通过利用运动边界作为物体级分组的依据，结合光流和聚类生成伪实例掩码，从而对单图像编码器进行监督学习。
技术框架：整体架构包括从原始视频中提取运动信息，生成伪标记帧，并通过运动验证自我训练扩展监督数据，最终训练单图像编码器。
关键创新：该方法的创新在于无需人工标注和相机校准，利用运动信息进行有效的物体中心表示学习，与传统方法相比具有更高的灵活性和扩展性。
关键设计：在技术细节上，采用像素级对比度损失函数，利用Swin-H编码器进行训练，并通过蒸馏技术将学习到的表示转移到多个Swin骨干网络中。
🖼️ 关键图片
📊 实验亮点
实验结果显示，本文提出的模型在单目深度估计、3D物体检测和3D占用预测等任务上，性能与监督和自监督预训练基线相比具有竞争力，尤其在几何和实例敏感任务上表现突出，验证了运动导向监督的有效性。
🎯 应用场景
该研究的潜在应用领域包括自动驾驶、机器人视觉和视频分析等。通过提供更准确的物体中心表示，该方法能够提升机器对物理世界的理解能力，进而推动智能系统在复杂环境中的应用和发展。
📄 摘要（原文）
Object-centric visual representations are important for physical-world perception, but existing visual pretraining methods often capture semantic categories without preserving the identity and coherence of individual instances. We present a biologically inspired framework that learns object-centric representations for single images from raw videos. Our approach uses motion boundaries as a source of object-level grouping: off-the-shelf optical flow and clustering produce pseudo-instance masks, which supervise a single-image encoder with pixel-level pairwise metric learning. The framework requires neither human annotations nor camera calibration. We first obtain 195 million pseudo-labeled frames from 7,163 hours of driving and web videos, then expand the supervision to 421 million frames with Motion-Verified Self-Training, which combines model proposals with motion evidence. We train encoders up to Swin-H and distill the learned representations into a family of Swin backbones. Across monocular depth estimation, 3D object detection, 3D occupancy prediction, and end-to-end planning, the resulting models achieve competitive or superior performance relative to supervised and self-supervised pretraining baselines, with particularly strong transfer on geometry- and instance-sensitive tasks. These results show that motion-derived supervision can teach static image encoders to represent visual instances, providing a complementary direction for scalable visual pretraining.