Rethinking Model Efficiency: Multi-Agent Inference with Large Models

📄 arXiv: 2604.04929 📥 PDF

作者: Sixun Dong, Juhua Hu, Steven Li, Wei Wen, Qi Qian

分类: cs.CV

发布日期: 2026-04-07

💡 一句话要点

提出多智能体推理框架，利用大模型和小模型优势提升视觉语言模型效率。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉语言模型 模型效率 多智能体推理 大型语言模型 token传递

📋 核心要点

  1. 现有视觉语言模型依赖大型语言模型解码，自回归生成token导致推理速度受限于输出长度。
  2. 提出多智能体推理框架，利用大模型生成能力和小模型推理token，减少大模型输出长度。
  3. 实验表明，该框架能使大模型在减少输出token的同时，达到与自身推理相近的性能。

📝 摘要（中文）

大多数视觉语言模型（VLM）采用大型语言模型（LLM）作为解码器，通过自回归方式顺序生成响应token。因此，输出token的数量可能成为端到端延迟的瓶颈。然而，不同的模型可能需要截然不同的输出token数量才能达到相当的性能。本文对VLM不同组件的延迟进行了全面分析，实验表明，输出token较少的大型模型可能比输出序列较长的小型模型更有效。在各种真实基准上的实证研究证实了这一观察结果，即大型模型可以通过显著减少输出token来实现与小型模型更好或相当的性能。为了利用大型模型的效率，我们提出了一种多智能体推理框架，该框架保留了具有短响应的大型模型，并在必要时从小模型传递关键的推理token。在基准任务上的比较表明，通过重用来自小型模型的推理token，可以帮助接近大型模型自身推理的性能，证实了我们提议的有效性。

🔬 方法详解

问题定义：现有视觉语言模型（VLMs）通常使用大型语言模型（LLMs）作为解码器，通过自回归的方式逐个生成token。这种方式的主要痛点在于，生成token的数量直接影响了端到端的延迟，成为性能瓶颈。即使是性能相近的模型，所需的token数量也可能差异巨大。

核心思路：论文的核心思路是利用不同模型的优势互补。具体来说，保留大型模型强大的生成能力，但限制其输出token的数量。同时，从小模型中提取关键的推理token，并将其传递给大型模型，从而在保证性能的同时，显著减少延迟。

技术框架：论文提出的多智能体推理框架包含两个主要部分：一个大型模型（作为主要agent）和一个小型模型（作为辅助agent）。整体流程如下：1) 输入图像和文本提示；2) 小型模型生成完整的推理token序列；3) 从小型模型的token序列中提取关键的推理token；4) 大型模型接收图像、文本提示以及提取的推理token，生成最终的输出。

关键创新：该方法的核心创新在于将大型模型和小模型的优势结合起来，通过token传递的方式，实现了效率和性能的平衡。与传统的VLM相比，该方法不需要大型模型生成完整的token序列，从而显著减少了计算量。

关键设计：关键设计包括：1) 如何选择合适的大型模型和小型模型；2) 如何从小型模型的token序列中提取关键的推理token（例如，可以使用注意力机制或信息熵等方法）；3) 如何将提取的推理token有效地融入到大型模型的输入中（例如，可以使用拼接或注意力加权等方法）。论文中可能涉及具体的参数设置和网络结构，但摘要中未详细说明。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

论文通过实验证明，大型模型在减少输出token数量的情况下，通过重用小型模型的推理token，可以达到与自身推理相近的性能。这表明该方法在保证性能的同时，显著提升了模型的效率。具体的性能数据和对比基线在摘要中未给出。

🎯 应用场景

该研究成果可应用于各种需要快速响应的视觉语言任务，例如智能客服、图像描述、视觉问答等。通过降低模型延迟，可以提升用户体验，并降低部署成本。未来，该方法可以进一步扩展到其他多模态任务和模型架构中。

📄 摘要（原文）

Most vision-language models (VLMs) apply a large language model (LLM) as the decoder, where the response tokens are generated sequentially through autoregression. Therefore, the number of output tokens can be the bottleneck of the end-to-end latency. However, different models may require vastly different numbers of output tokens to achieve comparable performance. In this work, we conduct a comprehensive analysis of the latency across different components of VLMs on simulated data. The experiment shows that a large model with fewer output tokens can be more efficient than a small model with a long output sequence. The empirical study on diverse real-world benchmarks confirms the observation that a large model can achieve better or comparable performance as a small model with significantly fewer output tokens. To leverage the efficiency of large models, we propose a multi-agent inference framework that keeps large models with short responses but transfers the key reasoning tokens from the small model when necessary. The comparison on benchmark tasks demonstrates that by reusing the reasoning tokens from small models, it can help approach the performance of a large model with its own reasoning, which confirms the effectiveness of our proposal.