Discovering and using Spelke segments
作者: Rahul Venkatesh, Klemen Kotar, Lilian Naing Chen, Seungwoo Kim, Luca Thomas Wheeler, Jared Watrous, Ashley Xu, Gia Ancone, Wanhee Lee, Honglin Chen, Daniel Bear, Stefan Stojanov, Daniel Yamins
分类: cs.CV, cs.AI
发布日期: 2025-07-21
备注: Project page at: https://neuroailab.github.io/spelke_net
💡 一句话要点
提出SpelkeNet，通过预测物体运动关系发现Spelke对象，提升物理交互任务性能。
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics)
关键词: Spelke对象 视觉世界模型 运动预测 物理交互 机器人操作
📋 核心要点
- 现有计算机视觉分割方法依赖语义信息，缺乏对物理世界因果关系的建模，限制了其在物理交互任务中的应用。
- 论文提出SpelkeNet，通过学习预测物体在物理作用下的运动关系，从而发现符合人类直觉的Spelke对象。
- 实验表明，SpelkeNet在SpelkeBench数据集上优于现有分割方法，并在3DEditBench物理操作任务中取得更好的性能。
📝 摘要（中文）
计算机视觉中的分割通常依赖于语义信息和特定类别的约定。相比之下，发展心理学认为人类通过Spelke对象来感知世界，Spelke对象是指在物理作用下可靠地一起运动的物理事物集合。Spelke对象基于类别无关的因果运动关系，更有利于操作和规划等任务。本文首先构建了SpelkeBench数据集，用于评估Spelke对象概念，该数据集包含自然图像中各种定义明确的Spelke分割。其次，为了从图像中算法化地提取Spelke分割，我们构建了SpelkeNet，一种视觉世界模型，用于预测未来运动的分布。SpelkeNet支持估计Spelke对象发现的两个关键概念：（1）运动可供性图，识别可能在戳击下移动的区域；（2）预期位移图，捕捉场景其余部分将如何移动。这些概念用于“统计反事实探测”，即对高运动可供性区域应用各种“虚拟戳击”，并使用生成的预期位移图将Spelke分割定义为相关运动统计的统计聚合。实验表明，SpelkeNet在SpelkeBench上优于监督基线方法，如SegmentAnything (SAM)。最后，我们证明了Spelke概念在下游应用中非常有用，当用于各种现成的对象操作模型时，在物理对象操作的3DEditBench基准测试中表现出卓越的性能。
🔬 方法详解
问题定义：现有计算机视觉分割方法主要依赖于语义信息，例如识别图像中的“汽车”、“人”等。这种分割方式忽略了物体之间的物理联系和因果关系，难以支持需要理解物理世界的任务，例如机器人操作。现有方法的痛点在于缺乏对物体运动和相互作用的建模能力。
核心思路：论文的核心思路是模仿人类对物理世界的认知方式，即通过观察物体在物理作用下的运动来理解物体之间的关系。具体来说，论文借鉴了发展心理学中的Spelke对象概念，将Spelke对象定义为在物理作用下可靠地一起运动的物理事物集合。通过学习预测物体在受到外力作用后的运动，可以发现图像中潜在的Spelke对象。
技术框架：SpelkeNet的整体框架包含以下几个主要模块：1) 视觉编码器：将输入图像编码成特征表示。2) 运动预测模块：基于视觉特征，预测在给定“虚拟戳击”下的运动可供性图和预期位移图。运动可供性图表示图像中哪些区域容易被移动，预期位移图表示其他区域会如何跟随移动。3) Spelke对象发现模块：通过对多个“虚拟戳击”产生的预期位移图进行统计聚合，从而发现图像中的Spelke对象。
关键创新：论文最重要的技术创新点在于提出了“统计反事实探测”方法。该方法通过对图像中不同区域施加“虚拟戳击”，并观察其他区域的运动反应，从而推断物体之间的物理联系。这种方法不需要预先定义物体的类别，而是通过学习物体之间的运动关系来发现Spelke对象。与现有方法相比，SpelkeNet更注重对物理世界因果关系的建模。
关键设计：SpelkeNet的关键设计包括：1) 运动预测模块的网络结构，需要能够准确预测物体在受到外力作用后的运动轨迹。2) “虚拟戳击”的策略，需要能够覆盖图像中的不同区域，并产生多样化的运动反应。3) Spelke对象发现模块的统计聚合方法，需要能够有效地提取出具有相关运动统计的区域。
🖼️ 关键图片
📊 实验亮点
SpelkeNet在SpelkeBench数据集上优于SegmentAnything (SAM)等监督基线方法。在3DEditBench物理对象操作基准测试中，SpelkeNet与现成的对象操作模型结合使用时，表现出卓越的性能，证明了Spelke概念在下游任务中的实用性。具体性能数据和提升幅度在论文中有详细展示。
🎯 应用场景
该研究成果可应用于机器人操作、自动驾驶、增强现实等领域。例如，机器人可以利用Spelke对象信息来更好地理解场景，从而更有效地进行物体抓取、放置等操作。自动驾驶系统可以利用Spelke对象信息来预测行人的运动轨迹，从而提高安全性。增强现实应用可以利用Spelke对象信息来创建更逼真的虚拟环境。
📄 摘要（原文）
Segments in computer vision are often defined by semantic considerations and are highly dependent on category-specific conventions. In contrast, developmental psychology suggests that humans perceive the world in terms of Spelke objects--groupings of physical things that reliably move together when acted on by physical forces. Spelke objects thus operate on category-agnostic causal motion relationships which potentially better support tasks like manipulation and planning. In this paper, we first benchmark the Spelke object concept, introducing the SpelkeBench dataset that contains a wide variety of well-defined Spelke segments in natural images. Next, to extract Spelke segments from images algorithmically, we build SpelkeNet, a class of visual world models trained to predict distributions over future motions. SpelkeNet supports estimation of two key concepts for Spelke object discovery: (1) the motion affordance map, identifying regions likely to move under a poke, and (2) the expected-displacement map, capturing how the rest of the scene will move. These concepts are used for "statistical counterfactual probing", where diverse "virtual pokes" are applied on regions of high motion-affordance, and the resultant expected displacement maps are used define Spelke segments as statistical aggregates of correlated motion statistics. We find that SpelkeNet outperforms supervised baselines like SegmentAnything (SAM) on SpelkeBench. Finally, we show that the Spelke concept is practically useful for downstream applications, yielding superior performance on the 3DEditBench benchmark for physical object manipulation when used in a variety of off-the-shelf object manipulation models.