LMMs Meet Object-Centric Vision: Understanding, Segmentation, Editing and Generation
作者: Yuqian Yuan, Wenqiao Zhang, Juekai Lin, Yu Zhong, Mingjian Gao, Binhe Yu, Yunqi Cao, Wentong Li, Yueting Zhuang, Beng Chin Ooi
分类: cs.CV
发布日期: 2026-04-13
备注: 38 pages, 6 figures
💡 一句话要点
综述LMMs与Object-Centric Vision融合，实现理解、分割、编辑和生成
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型多模态模型 Object-centric Vision 视觉理解 指代分割 视觉编辑 视觉生成 对象级理解 综述
📋 核心要点
- 现有LMMs在对象级定位、细粒度空间推理和可控视觉操作方面存在不足，难以精确识别实例和保持对象身份。
- Object-centric vision通过显式表示和操作视觉实体，为LMMs提供对象级理解、分割、编辑和生成能力。
- 本文综述了LMMs与Object-centric vision融合的最新进展，并总结了关键建模范式、学习策略和评估协议。
📝 摘要（中文）
大型多模态模型(LMMs)在通用视觉-语言理解方面取得了显著进展，但在需要精确的对象级定位、细粒度空间推理和可控视觉操作的任务中仍然存在局限性。现有的系统通常难以识别正确的实例，在交互过程中保持对象身份，并高精度地定位或修改指定区域。Object-centric vision通过促进对视觉实体的显式表示和操作，为解决这些挑战提供了一个原则性框架，从而将多模态系统从全局场景理解扩展到对象级理解、分割、编辑和生成。本文全面回顾了LMMs和Object-centric vision融合的最新进展，将文献组织为四个主要主题：Object-centric视觉理解、Object-centric指代分割、Object-centric视觉编辑和Object-centric视觉生成。进一步总结了支持这些能力的关键建模范式、学习策略和评估协议。最后，讨论了开放的挑战和未来的方向，包括鲁棒的实例持久性、细粒度的空间控制、一致的多步交互、统一的跨任务建模以及在分布偏移下可靠的基准测试。希望本文能为可扩展、精确和值得信赖的Object-centric多模态系统的发展提供一个结构化的视角。
🔬 方法详解
问题定义：论文旨在解决大型多模态模型（LMMs）在处理需要精确对象级定位、细粒度空间推理和可控视觉操作任务时的局限性。现有方法难以准确识别特定对象实例，在多轮交互中保持对象身份一致性，以及精确地定位或修改图像中的指定区域。这些问题阻碍了LMMs在更复杂和交互式的视觉任务中的应用。
核心思路：论文的核心思路是结合Object-centric vision的优势，利用其对视觉实体进行显式表示和操作的能力，来增强LMMs的对象级理解和操作能力。Object-centric vision能够将场景分解为独立的、可操作的对象，从而为LMMs提供更精细的控制和更强的推理能力。
技术框架：论文将LMMs与Object-centric vision的结合分为四个主要主题：Object-centric视觉理解、Object-centric指代分割、Object-centric视觉编辑和Object-centric视觉生成。每个主题都涉及特定的建模范式、学习策略和评估协议。整体框架旨在将LMMs的全局场景理解能力扩展到对象级别，从而实现更精确和可控的视觉任务。
关键创新：论文的关键创新在于系统性地梳理和整合了LMMs和Object-centric vision两个领域的最新进展，并提出了一个结构化的视角来理解它们之间的关系。通过将文献组织成四个主题，论文揭示了Object-centric vision如何增强LMMs在对象级任务中的性能，并指出了未来研究的方向。与现有方法相比，该综述更侧重于对象级别的理解和操作，而非全局场景的理解。
关键设计：论文本身是一个综述，因此没有具体的参数设置、损失函数或网络结构等技术细节。但是，论文讨论了各个主题中常用的建模范式，例如基于Transformer的架构、对比学习、生成对抗网络等。此外，论文还强调了评估协议的重要性，并讨论了如何设计更可靠的基准测试来评估Object-centric多模态系统的性能。
🖼️ 关键图片
📊 实验亮点
本文是一篇综述性文章，没有具体的实验结果。其亮点在于对LMMs和Object-centric vision融合的最新进展进行了全面的回顾和总结，并提出了未来研究的方向。通过分析现有方法的优缺点，为研究人员提供了有价值的参考。
🎯 应用场景
该研究成果可应用于机器人导航、智能家居、图像编辑、虚拟现实等领域。通过提升LMMs对场景中特定对象的理解和操作能力，可以实现更智能、更自然的交互体验。例如，机器人可以根据指令精确地操作特定物体，用户可以更方便地编辑图像中的对象，虚拟现实环境可以提供更逼真的对象交互。
📄 摘要（原文）
Large Multimodal Models (LMMs) have achieved remarkable progress in general-purpose vision--language understanding, yet they remain limited in tasks requiring precise object-level grounding, fine-grained spatial reasoning, and controllable visual manipulation. In particular, existing systems often struggle to identify the correct instance, preserve object identity across interactions, and localize or modify designated regions with high precision. Object-centric vision provides a principled framework for addressing these challenges by promoting explicit representations and operations over visual entities, thereby extending multimodal systems from global scene understanding to object-level understanding, segmentation, editing, and generation. This paper presents a comprehensive review of recent advances at the convergence of LMMs and object-centric vision. We organize the literature into four major themes: object-centric visual understanding, object-centric referring segmentation, object-centric visual editing, and object-centric visual generation. We further summarize the key modeling paradigms, learning strategies, and evaluation protocols that support these capabilities. Finally, we discuss open challenges and future directions, including robust instance permanence, fine-grained spatial control, consistent multi-step interaction, unified cross-task modeling, and reliable benchmarking under distribution shift. We hope this paper provides a structured perspective on the development of scalable, precise, and trustworthy object-centric multimodal systems.