GenMatter: Perceiving Physical Objects with Generative Matter Models
作者: Eric Li, Arijit Dasgupta, Yoni Friedman, Mathieu Huot, Vikash Mansinghka, Thomas O'Connell, William T. Freeman, Joshua B. Tenenbaum
分类: cs.CV, cs.AI
发布日期: 2026-04-24
备注: 25 pages, 12 figures, CVPR 2026
💡 一句话要点
GenMatter：提出基于生成物质模型的物理对象感知方法，统一解决多种场景下的运动分割问题。
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 运动分割 物理对象感知 生成模型 吉布斯采样 计算机视觉
📋 核心要点
- 现有计算机视觉系统缺乏统一的方法来处理不同场景下的运动分割问题，尤其是在处理稀疏运动点、纹理表面和自然场景时。
- GenMatter模型通过将低层运动线索和高层外观特征分层分组为粒子，再将粒子聚类成可移动的物理实体，模拟人类的视觉感知。
- 实验表明，GenMatter在随机点运动图、Gestalt数据集和自然RGB视频上均表现出色，能够准确地进行对象分割和场景理解。
📝 摘要（中文）
本文受到人类视觉感知的启发，提出了一种生成模型GenMatter，用于基于运动的场景理解。该模型将低层运动线索和高层外观特征分层分组为粒子（代表局部物质的小高斯分布），然后将粒子聚类成连贯且独立可移动的物理实体。作者开发了一种基于并行块吉布斯采样的硬件加速推理算法，以恢复稳定的粒子运动和分组。该模型适用于不同类型的输入（随机点、风格化纹理或自然RGB视频），使其能够在生物视觉成功但现有计算机视觉方法失败的场景中工作。在2D随机点运动图、伪装旋转对象的Gestalt数据集和自然RGB视频上验证了该框架的有效性，证明了其在运动分割和对象级场景理解方面的能力。
🔬 方法详解
问题定义：现有计算机视觉方法在处理不同类型的运动分割问题时缺乏通用性。例如，一些方法可能擅长处理随机点运动图，但无法很好地处理自然视频中的对象分割。现有的方法难以统一处理稀疏运动点、纹理表面和自然场景，无法像人类视觉系统一样鲁棒地感知物理对象。
核心思路：GenMatter的核心思路是模拟人类视觉感知，将场景中的运动信息和外观信息结合起来，构建一个生成模型来表示物理对象。该模型将对象分解为小的“物质”粒子，并通过粒子之间的关系来推断对象的结构和运动。通过这种方式，模型可以处理不同类型的输入，并对对象的运动和结构进行鲁棒的估计。
技术框架：GenMatter的整体框架包括以下几个主要模块：1) 特征提取：从输入数据（例如，视频帧）中提取低层运动线索（例如，光流）和高层外观特征（例如，颜色、纹理）。2) 粒子生成：将提取的特征转换为一组粒子，每个粒子代表场景中的一小块“物质”。3) 粒子分组：将粒子分组为连贯的物理实体。4) 运动估计：估计每个物理实体的运动。5) 推理：使用并行块吉布斯采样算法来推断粒子的运动和分组。
关键创新：GenMatter的关键创新在于其生成物质模型的概念，以及使用该模型来统一处理不同类型的运动分割问题。与传统的基于深度学习的方法不同，GenMatter不需要大量的训练数据，并且可以更好地泛化到新的场景。此外，GenMatter的并行块吉布斯采样算法可以有效地进行推理，使其能够处理复杂的场景。
关键设计：GenMatter的关键设计包括：1) 使用高斯分布来表示粒子，这使得模型可以有效地处理不确定性。2) 使用能量函数来定义粒子之间的关系，这使得模型可以学习对象的结构。3) 使用并行块吉布斯采样算法来进行推理，这使得模型可以有效地处理大规模的数据。
🖼️ 关键图片
📊 实验亮点
GenMatter在三个领域进行了验证：在2D随机点运动图上，该方法能够捕捉人类的对象感知，包括对模糊条件下的不确定性进行分级；在Gestalt数据集上，该方法能够从运动中恢复正确的3D结构，从而实现准确的2D对象分割；在自然RGB视频上，该模型能够跟踪构成变形对象的运动3D物质，从而实现鲁棒的对象级场景理解。实验结果表明，GenMatter在这些任务上都取得了优于现有方法的性能。
🎯 应用场景
GenMatter具有广泛的应用前景，例如：机器人导航、自动驾驶、视频监控、医学图像分析等。该模型可以帮助机器人更好地理解周围环境，从而实现更智能的导航和交互。在自动驾驶领域，GenMatter可以用于检测和跟踪车辆、行人等目标。在视频监控领域，GenMatter可以用于检测异常行为。在医学图像分析领域，GenMatter可以用于分割和分析器官。
📄 摘要（原文）
Human visual perception offers valuable insights for understanding computational principles of motion-based scene interpretation. Humans robustly detect and segment moving entities that constitute independently moveable chunks of matter, whether observing sparse moving dots, textured surfaces, or naturalistic scenes. In contrast, existing computer vision systems lack a unified approach that works across these diverse settings. Inspired by principles of human perception, we propose a generative model that hierarchically groups low-level motion cues and high-level appearance features into particles (small Gaussians representing local matter), and groups particles into clusters capturing coherently and independently moveable physical entities. We develop a hardware-accelerated inference algorithm based on parallelized block Gibbs sampling to recover stable particle motion and groupings. Our model operates on different kinds of inputs (random dots, stylized textures, or naturalistic RGB video), enabling it to work across settings where biological vision succeeds but existing computer vision approaches do not. We validate this unified framework across three domains: on 2D random dot kinematograms, our approach captures human object perception including graded uncertainty across ambiguous conditions; on a Gestalt-inspired dataset of camouflaged rotating objects, our approach recovers correct 3D structure from motion and thereby accurate 2D object segmentation; and on naturalistic RGB videos, our model tracks the moving 3D matter that makes up deforming objects, enabling robust object-level scene understanding. This work thus establishes a general framework for motion-based perception grounded in principles of human vision.