Mixture of Layers: Dynamic Layer Routing for Visual Reasoning

📄 arXiv: 2610.09440v1 📥 PDF

作者: Jeonghwan Kim, Sofia Stoica, Jiwan Chung, Ansel Blume, Hyeonjeong Ha, Zhenhailong Wang, Xin Luna Dong, Heng Ji

分类: cs.CV, cs.AI

发布日期: 2026-10-07

备注: NeurIPS 2026

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出动态层路由方法以增强视觉推理能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉推理 动态层路由 多模态学习 细粒度分析 视觉编码器 深度学习 模型优化

📋 核心要点

  1. 现有的多模态大型语言模型通常依赖于固定的视觉编码器表示，导致对细粒度视觉信息的访问受限。
  2. 本文提出的混合层（MoL）方法通过动态聚合视觉编码器中间层的表示，实现了查询自适应的视觉特征访问。
  3. 在七个细粒度视觉推理任务中，MoL在准确率上相较于基线模型有显著提升，尤其在细粒度视觉定位任务上表现突出。

📝 摘要（中文）

预训练的视觉编码器包含不同空间粒度、语义抽象和局部细节敏感度的层级视觉表示。然而，大多数多模态大型语言模型（MLLMs）仅依赖最终或倒数第二个视觉编码器的表示，限制了对细粒度线索的访问。本文提出了混合层（MoL）方法，通过指令条件的层路由，在视觉补丁级别动态聚合与查询相关的潜在表示。MoL根据文本查询预测视觉编码器层的路由概率，并在选定的隐藏状态上执行top-k稀疏聚合，从而实现查询自适应的层特征访问。实验结果表明，MoL在多个细粒度视觉推理任务中显著提升了性能，尤其在细粒度视觉定位和理解任务上取得了显著的准确率提升。

🔬 方法详解

问题定义：本文旨在解决现有多模态大型语言模型在视觉推理中对细粒度信息访问不足的问题。现有方法通常依赖于最后一层或固定的聚合规则，无法有效利用中间层的丰富信息。

核心思路：提出混合层（MoL）方法，通过指令条件的动态层路由，在视觉补丁级别聚合与查询相关的潜在表示，从而实现更灵活的视觉特征访问。

技术框架：MoL的整体架构包括三个主要模块：1) 查询处理模块，解析输入文本查询；2) 路由概率预测模块，基于查询生成各层的路由概率；3) 聚合模块，根据路由概率对选定的隐藏状态进行top-k稀疏聚合。

关键创新：MoL的核心创新在于动态层路由机制，使得模型能够根据具体查询自适应地选择和聚合不同层的视觉特征，这与传统方法的固定聚合方式形成鲜明对比。

关键设计：在设计中，MoL采用了top-k稀疏聚合策略，确保只选择最相关的层进行聚合。此外，模型在训练过程中使用了条件损失函数，以优化路由概率的预测精度。通过对视觉编码器各层的感受野进行分析，进一步验证了层级采样的有效性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在七个细粒度视觉推理任务中，MoL方法在整体准确率上提升了18.9%，在HRBench4K上提升了4.5%，在CharXiv上提升了16.3%。这些结果表明，MoL在细粒度视觉定位和理解任务中具有显著的优势，且无需增加输入分辨率或使用更多的视觉编码器。

🎯 应用场景

该研究的潜在应用场景包括智能视觉助手、自动驾驶系统、医疗影像分析等领域。通过增强视觉推理能力，MoL可以帮助系统更好地理解复杂场景中的细节信息，从而提升决策质量和用户体验。未来，随着多模态模型的进一步发展，MoL的设计理念可能会被广泛应用于更多视觉理解任务中。

📄 摘要（原文）

Pre-trained vision encoders contain layer-wise visual representations that differ in spatial granularity, semantic abstraction, and sensitivity to local details. However, most Multimodal Large Language Models (MLLMs) rely on only the final or penultimate vision encoder representations or fixed aggregation rules, making visual abstraction largely query-agnostic and limiting access to fine-grained cues such as small objects, spatial details, text, and subtle visual attributes. In this work, we propose Mixture of Layers (MoL), an instruction-conditioned layer routing approach at the visual patch level that dynamically aggregates query-relevant latent representations from intermediate vision encoder layers. Given a text query, MoL predicts routing probabilities over vision encoder layers and performs a top-k sparse aggregation over selected hidden states at either the image level, patch level, or through a hybrid routing mechanism. In doing so, MoL enables query-adaptive access to layer-specific visual features for fine-grained visual reasoning. Our experiments across 7 fine-grained visual reasoning tasks demonstrate substantial performance improvements, especially across fine-grained visual grounding and understanding tasks such as +18.9% improvement on V* in overall accuracy, +4.5% on HRBench4K, and +16.3% on CharXiv compared to the baseline MLLMs, without resorting to multi-resolution inputs, simple interleaving of multiple vision encoders, or increasing the number of patch tokens. We study vision encoders' receptive field scales across different layers and their sampling behaviors to provide an in-depth analysis of why layer-wise sampling is helpful, demonstrating that conditional visual representations are a key step towards better visual perception and reasoning in MLLMs. Our project page is available at https://wjdghks950.github.io/mol.github.io/.