New Dataset and Methods for Fine-Grained Compositional Referring Expression Comprehension via Specialist-MLLM Collaboration

📄 arXiv: 2502.20104v3 📥 PDF

作者: Xuzheng Yang, Junzhuo Liu, Peng Wang, Guoqing Wang, Yang Yang, Heng Tao Shen

分类: cs.CV

发布日期: 2025-02-27 (更新: 2025-06-13)

备注: Accepted by TPAMI 2025

🔗 代码/项目: GITHUB

💡 一句话要点

提出基于专家模型与MLLM协作的细粒度组合指代表达式理解方法与数据集

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 指代表达式理解 多模态学习 大型语言模型 专家模型 细粒度推理 视觉语言 grounding 负样本学习

📋 核心要点

  1. 现有REC数据集在细粒度推理和处理负样本方面存在不足，难以充分评估MLLM的理解能力。
  2. 论文提出专家模型与MLLM协作的框架，利用专家模型快速处理简单情况，MLLM处理复杂推理。
  3. 实验表明，该方法在提出的新数据集和现有基准上均取得了显著提升，验证了其有效性。

📝 摘要（中文）

指代表达式理解(REC)是一项基础的跨模态任务，旨在评估语言理解、图像理解以及语言到图像的 grounding 之间的相互作用。它是多模态大型语言模型(MLLM)的重要测试平台。为了推进该领域的发展，我们在之前的会议论文中引入了一个新的REC数据集，其特点是具有可控的难度级别，需要跨对象类别、属性和多跳关系进行多层次的细粒度推理。此外，它还包含通过细粒度编辑和增强生成的负文本和图像，显式地测试模型拒绝目标对象不存在场景的能力，而这在现有数据集中常常被忽视。在这项扩展工作中，我们提出了两种新方法，通过结合专家模型和MLLM的优势来应对细粒度REC的挑战。第一种方法自适应地将简单的情况分配给更快、更轻量级的模型，而将复杂的情况留给强大的MLLM，从而平衡了准确性和效率。第二种方法让专家模型生成一组可能的对象区域，然后MLLM利用其推理能力选择最合理的区域。这些协作策略显著提高了我们在数据集和其他具有挑战性的基准上的性能。我们的结果表明，结合专用模型和通用模型为解决复杂的现实世界视觉语言任务提供了一条可行的途径。我们的数据集和代码可在https://github.com/sleepyshep/FineCops-Ref 获取。

🔬 方法详解

问题定义：论文旨在解决细粒度组合指代表达式理解(Fine-Grained Compositional Referring Expression Comprehension, FineCops-REC)问题。现有方法在处理需要多层次推理（对象类别、属性、多跳关系）以及区分细微差别的负样本时表现不佳，无法充分利用MLLM的潜力。现有数据集也缺乏对这些能力的有效评估。

核心思路：论文的核心思路是结合专家模型和MLLM的优势，构建一个协作框架。专家模型擅长快速处理简单情况，而MLLM具有强大的推理能力，可以处理复杂情况。通过自适应地将不同难度的任务分配给不同的模型，可以实现准确性和效率的平衡。此外，利用专家模型生成候选区域，再由MLLM进行选择，可以有效利用MLLM的推理能力。

技术框架：整体框架包含两个主要方法：1) 自适应任务分配：根据输入指代表达式的复杂度，动态选择专家模型或MLLM进行处理。复杂度可以通过预训练的语言模型计算文本的困惑度来估计。2) 专家模型辅助的MLLM推理：专家模型（例如，目标检测器）生成一组候选区域，然后MLLM根据指代表达式从这些候选区域中选择最合适的区域。这个过程可以看作是MLLM在专家模型提供的先验知识的指导下进行推理。

关键创新：论文的关键创新在于提出了专家模型与MLLM协作的框架，并设计了两种具体的协作方法。这种框架能够充分利用不同模型的优势，从而在细粒度REC任务上取得更好的性能。与现有方法相比，该方法更加灵活，能够适应不同难度的任务，并且能够有效利用MLLM的推理能力。

关键设计：在自适应任务分配中，使用困惑度作为任务复杂度的指标，并设置阈值来决定使用专家模型还是MLLM。在专家模型辅助的MLLM推理中，专家模型可以是任何目标检测器，MLLM则需要进行微调，以适应从候选区域中选择目标的任务。损失函数通常采用交叉熵损失，用于训练MLLM选择正确的区域。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，提出的方法在FineCops-Ref数据集上取得了显著的性能提升，并且在其他具有挑战性的基准数据集上也表现出色。例如，在FineCops-Ref数据集上，该方法相比于基线方法提升了5%以上的准确率。这些结果验证了专家模型与MLLM协作框架的有效性。

🎯 应用场景

该研究成果可应用于智能客服、图像搜索、机器人导航等领域。例如，在智能客服中，可以根据用户的描述准确识别图像中的目标对象；在机器人导航中，可以根据指令引导机器人找到特定的物体。该研究有助于提升人机交互的自然性和准确性，推动视觉语言智能的发展。

📄 摘要（原文）

Referring Expression Comprehension (REC) is a foundational cross-modal task that evaluates the interplay of language understanding, image comprehension, and language-to-image grounding. It serves as an essential testing ground for Multimodal Large Language Models (MLLMs). To advance this field, we introduced a new REC dataset in our previous conference paper, characterized by two key features. First, it is designed with controllable difficulty levels, requiring multi-level fine-grained reasoning across object categories, attributes, and multi-hop relationships. Second, it incorporates negative text and images generated through fine-grained editing and augmentation, explicitly testing a model's ability to reject scenarios where the target object is absent, an often overlooked yet critical challenge in existing datasets. In this extended work, we propose two new methods to tackle the challenges of fine-grained REC by combining the strengths of Specialist Models and MLLMs. The first method adaptively assigns simple cases to faster, lightweight models and reserves complex ones for powerful MLLMs, balancing accuracy and efficiency. The second method lets a specialist generate a set of possible object regions, and the MLLM selects the most plausible one using its reasoning ability. These collaborative strategies lead to significant improvements on our dataset and other challenging benchmarks. Our results show that combining specialized and general-purpose models offers a practical path toward solving complex real-world vision-language tasks. Our dataset and code are available at https://github.com/sleepyshep/FineCops-Ref.