RACE: Learning Multimodal Search through Referential Abstraction and Compositional Evidence

📄 arXiv: 2610.28382v1 📥 PDF

作者: Eric Tao, Minhao Sun, Liyan Liu, Zhijing Wu, Xiaohan Yu, Lang Mei, Li Huang, Chao Feng, Jinchao Ma, Sichen Kang, Siyu Mo, Chong Chen

分类: cs.CV

发布日期: 2026-10-20

💡 一句话要点

提出RACE框架以解决多模态搜索中的视觉依赖问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态搜索 视觉依赖 参照抽象 组合证据 任务合成 智能系统 信息检索

📋 核心要点

  1. 现有方法在多模态搜索中依赖文本线索，导致视觉搜索和证据整合的监督不足。
  2. RACE框架通过参照抽象和组合证据构建图像与目标之间的依赖关系，增强视觉搜索的有效性。
  3. 在仅使用12K教师生成的轨迹微调后，模型在十个多模态基准上的准确率提升了约4.7%。

📝 摘要（中文）

训练多模态搜索代理需要任务使得视觉基础搜索对于确定答案至关重要。文本身份线索和未使用的目标证据在合成问题中提供了捷径，削弱了对视觉搜索和证据整合的监督。我们提出RACE，一个图像条件的任务合成框架，构建从图像到目标的依赖关系，以及从特定目标证据到答案的依赖关系。参照抽象（RA）用特定视觉参考或模糊关系参考替代揭示身份的文本。组合证据（CE）将关于多个实体的检索事实链接成联合问题，其答案需要每个指定贡献。通过在仅使用12K教师生成轨迹的基础上微调Qwen3.5-27B，十个多模态基准的平均准确率从53.5提升至56.0，相对提升约4.7%。我们的代码、数据和模型将公开可用。

🔬 方法详解

问题定义：本论文旨在解决多模态搜索中对视觉信息的依赖不足问题，现有方法常常依赖文本线索，导致视觉搜索和证据整合的监督效果减弱。

核心思路：RACE框架通过引入参照抽象（RA）和组合证据（CE）来增强视觉搜索的有效性，RA用视觉参考替代文本线索，而CE则将多个实体的证据整合为联合问题。

技术框架：RACE的整体架构包括图像条件的任务合成模块，参照抽象模块和组合证据模块，形成从图像到目标的依赖关系，以及从目标证据到答案的整合流程。

关键创新：RACE的关键创新在于通过视觉参考替代文本线索，增强了对视觉信息的利用，同时通过组合证据实现了多实体信息的有效整合，这与传统方法的文本依赖形成鲜明对比。

关键设计：在模型设计中，采用了特定的损失函数来优化视觉信息的利用效率，并通过精细调整网络结构以适应多模态数据的特性。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

在实验中，通过对Qwen3.5-27B进行微调，模型在十个多模态基准上的平均准确率从53.5提升至56.0，提升幅度约为4.7%。这一结果表明RACE框架在增强视觉搜索能力和证据整合方面的有效性。

🎯 应用场景

该研究的潜在应用领域包括智能搜索引擎、机器人视觉系统和多模态人机交互等。通过提升多模态搜索的准确性，RACE框架能够在实际应用中提供更为精准的信息检索和决策支持，未来可能对智能系统的普及和发展产生深远影响。

📄 摘要（原文）

Training multimodal search agents requires tasks that make visually grounded search necessary for determining the answer. Textual identity clues and unused target evidence allow shortcuts in synthetic questions, weakening supervision for visual search and evidence integration. We propose RACE, an image-conditioned task synthesis framework that constructs dependencies from images to targets and from target-specific evidence to answers. Referential Abstraction (RA) replaces identity-revealing text with specific visual references or ambiguous relational references resolved by searching among depicted candidates. Compositional Evidence (CE) links retrieved facts about multiple entities in one image or entities from different images into joint questions whose answers require every designated contribution. Both operations also apply to images found during search, allowing new visual observations to determine subsequent search targets or supply answer evidence. Fine-tuning Qwen3.5-27B on only 12K teacher-generated trajectories from RACE raises average accuracy across ten multimodal benchmarks from 53.5 to 56.0, a relative improvement of approximately 4.7% over the matched base agent. Our code, data, and model will be publicly available.