Efficient Omni-modal Large Language Model Inference via Per-Query Modality Selection

📄 arXiv: 2610.31768v1 📥 PDF

作者: Shuqi Liu, Yuzhou Cao, Luke Ong

分类: cs.LG

发布日期: 2026-10-22

💡 一句话要点

提出基于查询的模态选择以优化Omni-LLM推理效率

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态学习 查询级模态选择 推理效率 成本优化 大型语言模型

📋 核心要点

  1. 现有的Omni-LLM方法在处理多模态数据时，固定模态配置导致推理效率低下，无法适应不同查询的需求。
  2. 本文提出了一种查询级模态选择方法，通过自适应选择模态来优化推理过程，保持模型结构不变。
  3. 实验结果显示，该方法在多个推理成本指标上均优于传统的全模态输入设置，显著提升了准确性与成本的平衡。

📝 摘要（中文）

Omni模态大型语言模型（Omni-LLMs）能够联合处理文本、音频和视频等多种模态，增强多模态理解和推理能力，但推理成本往往较高。本文观察到不同查询对额外模态的需求差异，提出查询级模态选择方法，在保持Omni-LLM不变的情况下，针对每个查询自适应选择模态。我们将此问题形式化为准确性-成本优化问题，并开发了一种成本敏感的模态选择学习方法。实验结果表明，该方法在多个推理成本指标下均显著改善了准确性与成本的权衡，甚至在某些情况下超越了标准设置。对于Qwen2.5-Omni模型，该方法在仅使用约41%的输入标记、39%的延迟和61%的经济成本的情况下，准确性与全模态设置相当或更优。

🔬 方法详解

问题定义：本文旨在解决Omni-LLM在推理过程中由于固定模态配置导致的效率低下问题。现有方法未能考虑不同查询对模态的需求差异，造成资源浪费。

核心思路：提出查询级模态选择，通过分析每个查询的特定需求，动态选择合适的模态输入，从而优化推理效率和准确性。此设计使得模型在保持性能的同时，减少不必要的计算开销。

技术框架：整体架构包括查询分析模块、模态选择模块和推理执行模块。查询分析模块负责识别查询特征，模态选择模块根据特征决定使用哪些模态，推理执行模块则基于选择的模态进行推理。

关键创新：最重要的创新在于提出了查询级模态选择机制，打破了传统全模态输入的限制，使得模型能够根据具体查询动态调整输入模态，从而实现更高的推理效率。

关键设计：在模态选择过程中，采用了成本敏感的学习方法，结合准确性和推理成本进行优化。具体设计包括损失函数的调整，以平衡准确性与成本之间的关系。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，查询级模态选择方法在Qwen2.5-Omni模型中，准确性与全模态设置相当，同时仅需约41%的输入标记、39%的延迟和61%的经济成本，显著提升了准确性与成本的权衡。

🎯 应用场景

该研究的潜在应用领域包括智能助手、自动化内容生成和多模态数据分析等。通过优化推理效率，能够在资源受限的环境中实现更高效的多模态处理，提升用户体验和系统响应速度。未来，该方法可扩展至更多类型的多模态任务，推动相关领域的发展。

📄 摘要（原文）

Omni-modal large language models (Omni-LLMs) can jointly process a broad range of modalities, such as text, audio, and video, enabling stronger multimodal understanding and reasoning capabilities, but often at substantial inference cost. We observe that the benefit of additional modalities varies across queries, indicating that a fixed modality configuration can be inefficient. Motivated by this, we study query-wise modality selection, which keeps the underlying Omni-LLM fixed while adaptively selecting which modalities to provide for each query. We formulate the problem as an accuracy-cost optimization problem and develop a cost-sensitive learning approach for modality selection. We evaluate our approach on WorldSense using Qwen2.5-Omni and Qwen3-Omni under three inference-cost measures: input tokens, latency, and monetary cost. Across both models, query-wise modality selection consistently improves the accuracy-cost trade-off and can even outperform the standard setting in which all available modalities are provided to the Omni-LLM. For Qwen2.5-Omni, our cost-sensitive approach matches or exceeds this full-modality accuracy while requiring only approximately 41% of the input tokens, 39% of the latency, and 61% of the monetary cost.