Stuck on Shuffle: On Attribute-Object Binding in Vision-Language Models

📄 arXiv: 2610.22602v1 📥 PDF

作者: Netanel Y. Tamir, Michael Green, Issar Tzachor, Or Shimshi, Dvir Samuel, Or Patashnik, Rami Ben-Ari

分类: cs.CV

发布日期: 2026-10-15

💡 一句话要点

提出SABER基准以解决多模态模型中的属性-对象绑定问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态检索 属性-对象绑定 SABER基准 合成文本 MLLM嵌入器 图像理解 模型微调

📋 核心要点

  1. 现有多模态模型在属性-对象绑定方面存在显著不足，尤其是在复杂场景下的表现不佳。
  2. 本文提出SABER基准，通过合成文本进行属性绑定监督，提升模型在多模态检索中的表现。
  3. 实验结果显示，模型在SABER基准上取得了SOTA成绩，同时在否定和实例检索基准上也有所提升。

📝 摘要（中文）

检索是多模态系统中的基本任务，目标是根据图像或文本查询在集合中找到最相关的图像或文本。可靠的检索要求嵌入不仅要捕捉概念的存在，还要编码属性与对象的绑定关系。现有基准对这一能力的评估有限，通常只覆盖简单的模态配对或小规模属性集。为此，本文提出了SABER基准，评估四种图像和文本模态配对下的属性-对象绑定能力。通过在SABER上评估模型，发现CLIP风格的双编码器和最新的MLLM嵌入器在绑定方面存在显著失败。为改善绑定效果，本文采用合成属性绑定文本对MLLM嵌入器进行微调，尽管缺乏图像监督，但在跨模态和图像-图像检索中取得了显著提升，最终在SABER上实现了SOTA结果。

🔬 方法详解

问题定义：本文聚焦于多模态模型中的属性-对象绑定问题，现有方法在复杂场景下的绑定能力不足，导致检索效果不理想。

核心思路：通过引入SABER基准，系统评估模型在不同模态配对下的属性-对象绑定能力，并利用合成文本进行有效的绑定监督。

技术框架：整体架构包括数据生成、模型训练和评估三个主要阶段。首先生成合成的属性绑定文本，然后对MLLM嵌入器进行微调，最后在SABER基准上进行评估。

关键创新：最重要的创新在于使用合成文本进行属性绑定监督，克服了图像收集的高成本，同时提升了模型的跨模态检索能力。

关键设计：在模型训练中，采用特定的损失函数来优化属性与对象的绑定关系，并设计了适应多种属性类型的网络结构，以增强模型的泛化能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在SABER基准上，模型实现了SOTA结果，相较于基线模型，性能提升显著，特别是在复杂场景下的属性-对象绑定能力上，展示了更强的鲁棒性和准确性。

🎯 应用场景

该研究的潜在应用领域包括图像检索、文本生成和多模态交互系统。通过提升属性-对象绑定能力，模型能够更准确地理解和生成多模态内容，具有广泛的实际价值和未来影响。

📄 摘要（原文）

Retrieval is a fundamental task in multimodal systems: given an image or text query, the goal is to find the most relevant images or texts in a collection, often using a shared embedding space. Reliable retrieval requires these embeddings to capture not only which concepts are present, but also how they are composed. One key compositional challenge is attribute--object binding: encoding which attributes belong to which objects. Existing benchmarks provide a limited view of this capability, typically covering a subset of modality pairings, simple two-object swaps, or small attribute sets. Consequently, it remains unclear how robustly current models preserve attribute--object bindings across different modality pairings and more complex settings. We therefore introduce SABER, a controlled benchmark for evaluating attribute--object binding across all four image and text modality pairings, spanning diverse attribute types and scenes with up to ten objects. Evaluating models on SABER reveals substantial binding failures in both CLIP-style dual encoders and recent MLLM-based embedders. These findings motivate us to ask how binding can be improved efficiently. While multimodal supervision may be effective, collecting suitable images is difficult and costly. Text, on the other hand, is well suited to binding supervision: it is cheap to generate, supports a broader range of attributes and enables precisely controlled hard negatives. We thus finetune an MLLM-based embedder exclusively on synthetic attribute-binding text. Despite the absence of image supervision, the gains transfer to cross-modal and image--image retrieval while preserving general multimodal embedding performance. Our model achieves SOTA results on SABER while also improving on negation and instance-retrieval benchmarks, demonstrating broader benefits of our binding-focused supervision.