AMBER: Multi-View Adaptive Budget Allocation for Listwise Vision-Language Reranking

📄 arXiv: 2610.02831v1 📥 PDF

作者: Wenteng Chen, Jiachen Zhu, Rong Shan, Tianyi Xu, Yuxiang Chen, Congmin Zheng, Teng Wang, Junjie Wu, Weiwen Liu, Changwang Zhang, Weinan Zhang, Jun Wang, Jianghao Lin

分类: cs.AI

发布日期: 2026-10-02

🔗 代码/项目: GITHUB

💡 一句话要点

提出AMBER以解决多模态检索中的高推理成本问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉语言模型 多模态检索 重排序 资源分配 Elo更新 信息增益 在线学习

📋 核心要点

  1. 现有的多调用策略在处理无信息候选对和简单查询时，导致VLM调用的浪费，影响了效率。
  2. AMBER通过动态构建高得分模糊性的候选视图和调度查询，优化资源分配以提高信息增益。
  3. 在多个数据集上，AMBER在相似的VLM调用预算下表现优异，显示出显著的性能提升。

📝 摘要（中文）

视觉语言模型（VLMs）在多模态检索中作为强大的列表重排序工具，但高推理成本限制了它们对小规模候选视图的评估。现有的多调用策略依赖于固定的调度，导致在无信息候选对和简单查询上浪费昂贵的VLM调用。为了解决这一问题，本文提出了自适应多视图预算Elo重排序（AMBER），一个在线的预算多视图重排序框架，动态优化全局资源分配。AMBER将碎片化的列表VLM输出视为局部比赛，利用连续的Elo更新来维护轻量级的全局排名状态。实验结果表明，AMBER在相似的VLM调用预算下，在CIRR、CIRCO和PhotoBench数据集上实现了最强的整体性能，同时在低预算设置中也保持有效。

🔬 方法详解

问题定义：本文旨在解决多模态检索中视觉语言模型（VLMs）高推理成本的问题。现有方法在处理候选视图时，往往依赖固定调度，导致资源浪费，无法有效利用VLM的能力。

核心思路：AMBER提出了一种在线的预算多视图重排序框架，通过动态优化全局资源分配，利用Elo更新机制来维护全局排名状态，从而提高查询的有效性和信息增益。

技术框架：AMBER的整体架构包括两个主要模块：一是动态构建候选视图，二是调度查询以最大化预期信息增益。通过将VLM输出视为局部比赛，AMBER能够有效整合信息。

关键创新：AMBER的核心创新在于将Elo更新与随机梯度上升相结合，提出了一种新的查询级别分配策略，具有信息论的次模性质，与现有方法相比，能够更有效地分配计算资源。

关键设计：在设计中，AMBER使用了轻量级的全局排名状态维护机制，并通过Elo更新实现了对候选视图的动态调整，确保在不同预算设置下的有效性。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

在CIRR、CIRCO和PhotoBench数据集上的实验表明，AMBER在相似的VLM调用预算下，整体性能优于其他多调用VLM重排序方法，且在低预算设置中依然表现出色，显示出显著的性能提升。

🎯 应用场景

AMBER的研究成果在多模态检索、信息检索和机器学习等领域具有广泛的应用潜力。通过优化资源分配，AMBER能够在实际应用中提高检索效率，降低计算成本，适用于需要快速响应的实时系统和大规模数据处理场景。

📄 摘要（原文）

Vision-language models (VLMs) are powerful listwise rerankers for multimodal retrieval, but high inference costs restrict them to evaluating small local candidate views. Existing multi-call strategies rely on fixed schedules, wasting expensive VLM calls on uninformative candidate pairs and easy queries. To address this, we propose Adaptive Multi-view Budgeted Elo Reranking (AMBER), an online, budgeted multi-view reranking framework that dynamically optimizes global resource allocation. AMBER treats fragmented listwise VLM outputs as local tournaments, using continuous Elo updates to maintain a lightweight global ranking state. Building on this, it allocates computation at two levels: dynamically constructing candidate views with high score ambiguity, and scheduling queries to maximize expected information gain. We show that each Elo update corresponds to a stochastic gradient ascent step on the Bradley-Terry log-likelihood, and provide a submodular information-theoretic motivation for the query-level allocation strategy. Experiments on CIRR, CIRCO, and PhotoBench demonstrate that AMBER achieves the strongest overall performance among the compared multi-call VLM reranking methods under comparable VLM-call budgets, while remaining effective in lower-budget settings. Our code is publicly available at https://github.com/wnlfc/AMBER.