Resolution as a First-Class Decision: Task-Conditioned Routing for Efficient Multimodal Large Language Models

📄 arXiv: 2609.34942v1 📥 PDF

作者: Zhiqiang Xia, Yang Li, Xinyuan Zhang, Yuchen Liu, Haoyu Lu, Jiaming Xu, Runyu Shi, Ying Huang

分类: cs.CV

发布日期: 2026-09-28

备注: 21 pages including references and appendix

💡 一句话要点

提出任务条件的分辨率路由以提高多模态大语言模型的推理效率

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态大语言模型 视觉压缩 任务条件决策 跨模态路由 推理效率

📋 核心要点

  1. 现有方法主要关注下游令牌压缩，未能有效解决输入分辨率作为静态超参数带来的效率低下问题。
  2. 本文提出任务条件的分辨率路由（TCRR），将视觉压缩视为任务条件决策，动态调整压缩水平。
  3. 实验结果显示，TCRR在Qwen3-VL-8B上显著减少视觉FLOPs和延迟，同时保持了模型的竞争性能。

📝 摘要（中文）

多模态大语言模型（MLLMs）的推理效率受到高分辨率输入导致的庞大视觉令牌序列的严重制约，计算成本呈平方级增长。现有方法主要集中在下游令牌压缩，忽视了输入分辨率作为静态、任务无关超参数的根本低效性。本文提出任务条件的分辨率路由（TCRR），将视觉压缩形式化为任务条件决策，并采用轻量级跨模态路由器，通过特征调制和交叉注意力根据文本语义调节主干视觉表示，以预测每个查询的最小有效压缩水平。我们整理了一个包含500k样本的12个任务类别的数据集，通过教师-神谕管道标记，以近似帕累托最优压缩尺度。广泛的实验表明，TCRR在不同架构下实现了卓越的效率边界，具体在Qwen3-VL-8B上减少视觉FLOPs 40.9%和延迟53.7%，同时保持竞争性能。

🔬 方法详解

问题定义：本文旨在解决多模态大语言模型在高分辨率输入下推理效率低下的问题。现有方法将输入分辨率视为静态超参数，导致计算成本急剧增加。

核心思路：论文提出的TCRR方法通过将视觉压缩视为任务条件决策，利用轻量级跨模态路由器动态调整视觉输入的压缩水平，从而提高推理效率。

技术框架：整体架构包括数据集构建、任务条件的视觉压缩决策模块和跨模态路由器。通过特征调制和交叉注意力机制，模型能够根据文本语义动态调整视觉表示。

关键创新：TCRR的核心创新在于将视觉压缩与任务需求相结合，动态路由视觉输入，从而实现资源的最优配置。这一方法与传统静态压缩方法本质上不同。

关键设计：在设计中，采用了轻量级的跨模态路由器，结合特征调制和交叉注意力机制，确保了模型在不同任务下的高效性和灵活性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，TCRR在Qwen3-VL-8B模型上实现了视觉FLOPs减少40.9%和延迟减少53.7%的显著提升，同时保持了与基线模型相当的性能，展示了其在多模态任务中的优越性。

🎯 应用场景

该研究的潜在应用领域包括图像理解、视频分析和多模态交互系统等。通过提高多模态大语言模型的推理效率，TCRR能够在实际应用中显著降低计算资源消耗，提升用户体验，具有广泛的实际价值和未来影响。

📄 摘要（原文）

The inference efficiency of Multimodal Large Language Models (MLLMs) is severely constrained by massive visual token sequences induced by high-resolution inputs, with computational cost scaling quadratically. Existing approaches primarily focus on downstream token compression, while overlooking a fundamental upstream inefficiency: input resolution is treated as a static, task-agnostic hyperparameter. We propose Task-Conditioned Resolution Routing (TCRR), which formulates visual compression as a task-conditioned decision and employs a lightweight cross-modal router that conditions backbone visual representations on textual semantics via feature-wise modulation and cross-attention to predict the minimal sufficient compression level per query. To support this, we curate a dataset of 500k samples across 12 task categories, labeled via a teacher-oracle pipeline to approximate Pareto-optimal compression scales. Extensive experiments across diverse architectures show that TCRR achieves a superior efficiency frontier, specifically reducing visual FLOPs by 40.9% and latency by 53.7% on Qwen3-VL-8B while preserving competitive performance. Further analysis of scaling behavior confirms that dynamically routing visual compression enables optimal resource allocation without modifying the MLLM backbone.