VisionWeave: Weaving Elastic Visual Representations as a Native Capability of MLLMs
作者: Yuan Feng, Qize Yang, Ruizhe Chen, Sibo Song, Haolin He, Muzhi Zhu, Zihan Liu, Yunfei Chu, Xize Cheng, Yuxuan Wang, Jin Xu, Xike Xie
分类: cs.CV, cs.AI, cs.CL
发布日期: 2026-10-06
💡 一句话要点
提出VisionWeave以解决多模态大语言模型的视觉表示效率问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多模态大语言模型 视觉表示 弹性表示编织 自适应粒度 高效视觉理解
📋 核心要点
- 现有多模态大语言模型在视觉信息编码时存在高成本和细节损失的问题。
- VisionWeave通过弹性视觉表示编织，结合门控空间池化器和粒度路由器，实现了内容自适应的视觉表示分配。
- 实验表明，VisionWeave在多个基准测试中平均节省43.0%的令牌，同时保持98.9%的原生性能，显著优于固定令牌修剪方法。
📝 摘要（中文）
多模态大语言模型已成为视觉理解的主流，但在将输入编码为密集的固定大小补丁令牌时，成本显著。视觉信息分布不均，一些区域需要细致的细节，而其他区域则可以使用紧凑的表示。下采样牺牲了细节，而现有的令牌修剪和自适应方法在内容自适应粒度、任务泛化和与现代多模态大语言模型的集成方面仍然有限。为克服这些限制，本文提出了VisionWeave，通过大规模训练在前沿多模态大语言模型中建立了弹性视觉表示编织的能力。该方法结合了门控空间池化器和粒度路由器，能够自适应地调整令牌节省，显著提高了效率和性能。
🔬 方法详解
问题定义：本文旨在解决现有多模态大语言模型在视觉信息编码过程中存在的高成本和细节损失问题。现有方法在处理视觉信息时，往往无法有效平衡细节与紧凑表示之间的关系。
核心思路：论文提出的VisionWeave方法通过弹性视觉表示编织，能够根据视觉内容自适应地分配表示粒度，从而提高模型的效率和性能。该设计旨在实现端到端的学习，优化视觉表示的分配策略。
技术框架：VisionWeave的整体架构包括两个主要模块：门控空间池化器和粒度路由器。门控空间池化器负责构建粗粒度和细粒度的视觉表示，而粒度路由器则学习如何根据内容自适应地分配这些表示。
关键创新：VisionWeave的核心创新在于其弹性视觉表示编织能力，能够在不同任务和内容下灵活调整视觉表示的粒度。这一能力与现有的固定粒度方法形成了鲜明对比，显著提升了模型的适应性和性能。
关键设计：在技术细节上，VisionWeave使用了共享的MRoPE坐标系统来整合不同粒度的表示，并通过自蒸馏技术进行训练，确保模型在不同规模下的有效性。
🖼️ 关键图片
📊 实验亮点
在实验中，基于Qwen3.8-27B模型，VisionWeave平均节省了43.0%的令牌，同时保持了98.9%的原生性能，远超固定50%节省目标下的88%性能保留。此外，该方法在SGLang服务引擎上实现了2.3倍的吞吐量提升，平均TTFT减少54.4%，TPOT减少60.6%。
🎯 应用场景
VisionWeave的研究成果在多个领域具有广泛的应用潜力，包括计算机视觉、自然语言处理和人机交互等。其自适应的视觉表示能力能够提升多模态模型在复杂任务中的表现，推动智能系统的进一步发展。
📄 摘要（原文）
Multimodal large language models have become the dominant paradigm for visual understanding, but incur substantial costs by encoding inputs into dense, fixed-size patch tokens. However, visual information is unevenly distributed: some regions require fine-grained detail, while others admit compact representations. Downsampling sacrifices this detail, while existing token pruning and adaptive approaches remain limited in content-adaptive granularity, task generalization, and integration with modern MLLMs and serving infrastructure. Overcoming these limitations calls for foundation models that learn, end to end, where-and at what granularity-to allocate visual representations, a native capability we term elastic visual representation weaving. We introduce VisionWeave, establishing this capability in frontier-level MLLMs through large-scale training. It combines two components: a gated spatial pooler constructs coarse-grained representations alongside native fine-grained representations within a shared MRoPE coordinate, while a granularity router learns their content-adaptive allocation. Through self-distillation alone, we validate this capability on Qwen3.5-4B and scale to Qwen3.8-27B with over 30K A100 GPU-hours. Based on Qwen3.8-27B, VisionWeave adaptively adjusts token savings to visual content, saving 43.0% tokens on average while retaining 98.9% native performance across eight benchmarks, versus only 88% performance preserved for token pruning baselines with a fixed 50% savings target. Extensive evaluations confirm robust efficiency-quality trade-offs across diverse tasks, resolutions and video frames. When deployed on SGLang serving engine, our method achieves a 2.3x throughput gain while reducing mean TTFT by 54.4% and mean TPOT by 60.6%. Together, we believe these results position elastic visual weaving as a promising capability for next-generation multimodal models.