General Object Foundation Model for Images and Videos at Scale

📄 arXiv: 2312.09158v1 📥 PDF

作者: Junfeng Wu, Yi Jiang, Qihao Liu, Zehuan Yuan, Xiang Bai, Song Bai

分类: cs.CV

发布日期: 2023-12-14

备注: Project homepage: https://glee-vision.github.io

💡 一句话要点

提出GLEE：面向图像和视频的通用物体基础模型，实现开放世界场景下的物体感知。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 物体感知 基础模型 多模态学习 零样本迁移 开放世界 视觉提示 通用物体表征

📋 核心要点

  1. 现有物体感知方法难以统一处理检测、分割、跟踪等多种任务，且泛化能力有限，难以适应开放世界场景。
  2. GLEE采用统一框架，通过图像、文本编码器和视觉提示器处理多模态输入，学习通用物体表征，实现零样本迁移。
  3. GLEE在超过五百万张图像上训练，无需任务特定调整即可高效处理下游任务，并能集成到大型语言模型中。

📝 摘要（中文）

本文提出GLEE，一个物体级别的基础模型，用于定位和识别图像及视频中的物体。通过统一的框架，GLEE能够完成开放世界场景下任意物体的检测、分割、跟踪、grounding和识别，适用于各种物体感知任务。GLEE采用统一的学习策略，从具有不同监督级别的数据源中获取知识，形成通用的物体表征，从而在零样本迁移到新数据和任务时表现出色。具体来说，我们采用图像编码器、文本编码器和视觉提示器来处理多模态输入，从而能够同时解决各种以物体为中心的下游任务，同时保持最先进的性能。通过在来自不同基准的超过五百万张图像上进行广泛的训练，GLEE表现出卓越的通用性和改进的泛化性能，能够高效地处理下游任务，而无需针对特定任务进行调整。通过整合大量自动标记的数据，我们进一步增强了其零样本泛化能力。此外，GLEE可以集成到大型语言模型中，作为基础模型为多模态任务提供通用的物体级别信息。我们希望该方法的通用性标志着高效视觉基础模型在AGI系统开发中迈出了重要一步。

🔬 方法详解

问题定义：现有物体感知方法通常针对特定任务设计，缺乏通用性和泛化能力，难以适应开放世界场景下多样化的物体感知需求。此外，现有方法在处理多模态输入（例如图像和文本）时存在局限性，无法充分利用不同模态的信息。

核心思路：GLEE的核心思路是构建一个通用的物体级别基础模型，通过统一的框架和学习策略，学习到适用于各种物体感知任务的通用物体表征。该模型能够处理多模态输入，并具备强大的零样本迁移能力，从而能够高效地解决开放世界场景下的物体感知问题。

技术框架：GLEE的技术框架主要包括以下几个模块：1) 图像编码器：用于提取图像的视觉特征。2) 文本编码器：用于提取文本的语义特征。3) 视觉提示器：用于将文本信息融入到视觉特征中，从而实现多模态信息的融合。4) 物体感知模块：基于融合后的特征，完成物体检测、分割、跟踪、grounding和识别等任务。整个框架采用端到端的训练方式，通过统一的学习策略，学习到通用的物体表征。

关键创新：GLEE的关键创新在于其统一的框架和学习策略。该框架能够同时处理多种物体感知任务，并具备强大的零样本迁移能力。此外，GLEE还采用了视觉提示器，实现了多模态信息的有效融合。与现有方法相比，GLEE更加通用、灵活和高效。

关键设计：GLEE的关键设计包括：1) 图像编码器采用Transformer结构，能够有效地捕捉图像的全局信息。2) 文本编码器采用预训练的语言模型，能够提取丰富的语义信息。3) 视觉提示器采用可学习的参数，能够自适应地将文本信息融入到视觉特征中。4) 损失函数采用多任务学习的方式，同时优化多个物体感知任务的性能。

📊 实验亮点

GLEE在多个物体感知任务上取得了最先进的性能，例如物体检测、分割、跟踪和grounding。通过在超过五百万张图像上进行训练，GLEE表现出卓越的泛化能力，能够零样本迁移到新的数据和任务。此外，GLEE还能够集成到大型语言模型中，为多模态任务提供通用的物体级别信息。

🎯 应用场景

GLEE可应用于智能安防、自动驾驶、机器人导航、图像搜索、视频分析等领域。它能够为这些应用提供通用的物体感知能力，提高系统的智能化水平和适应性。未来，GLEE有望成为AGI系统的关键组成部分，为实现更高级的人工智能提供基础。

📄 摘要（原文）

We present GLEE in this work, an object-level foundation model for locating and identifying objects in images and videos. Through a unified framework, GLEE accomplishes detection, segmentation, tracking, grounding, and identification of arbitrary objects in the open world scenario for various object perception tasks. Adopting a cohesive learning strategy, GLEE acquires knowledge from diverse data sources with varying supervision levels to formulate general object representations, excelling in zero-shot transfer to new data and tasks. Specifically, we employ an image encoder, text encoder, and visual prompter to handle multi-modal inputs, enabling to simultaneously solve various object-centric downstream tasks while maintaining state-of-the-art performance. Demonstrated through extensive training on over five million images from diverse benchmarks, GLEE exhibits remarkable versatility and improved generalization performance, efficiently tackling downstream tasks without the need for task-specific adaptation. By integrating large volumes of automatically labeled data, we further enhance its zero-shot generalization capabilities. Additionally, GLEE is capable of being integrated into Large Language Models, serving as a foundational model to provide universal object-level information for multi-modal tasks. We hope that the versatility and universality of our method will mark a significant step in the development of efficient visual foundation models for AGI systems. The model and code will be released at https://glee-vision.github.io .