Virtual Encoders in Multimodal Transformers

📄 arXiv: 2609.26513v1 📥 PDF

作者: Katsuya Ogata, Yuta Nakashima

分类: cs.CV

发布日期: 2026-09-22

💡 一句话要点

提出虚拟编码器以优化多模态变换器的感知处理

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态变换器 虚拟编码器 感知处理 自然语言处理 模型优化

📋 核心要点

  1. 现有多模态语言模型依赖专用编码器，导致感知与语言处理之间的界限模糊，影响模型的灵活性和效率。
  2. 论文提出虚拟编码器的概念，允许变换器在内部层中构建感知表示，从而减少对外部编码器的依赖。
  3. 通过线性探测和因果分析，验证了虚拟编码器的有效性，展示了其在感知处理上的潜力和优势。

📝 摘要（中文）

多模态语言模型传统上依赖专用的感知编码器来构建可用于任务的表示。近期出现了更为集成的架构，这些架构将共享变换器暴露于轻微投影的图像块、音频帧或离散视觉标记中。当这些表示未提供时，编码过程发生在哪里？我们发现变换器能够内化这一缺失的计算，在其早中期层中构建可用于任务的感知表示，称之为虚拟编码器。通过线性探测、与感知编码器的相似性分析及因果分析，我们在接收感知标记而无连续编码器派生特征的模型中识别出这一结构的特征。这些分析还表明，感知与语言处理之间的边界不必在一个架构模块内重合，而是可以作为共享变换器内的功能状态出现，为理解多模态模型如何处理感知提供了新视角。

🔬 方法详解

问题定义：论文要解决的问题是现有多模态模型对专用感知编码器的依赖，导致模型在处理感知信息时的灵活性不足。

核心思路：论文提出了虚拟编码器的概念，认为变换器可以在其内部层中自行构建感知表示，而不需要外部编码器的支持。

技术框架：整体架构包括共享变换器，接收轻微投影的输入（如图像块和音频帧），并在早中期层中进行感知信息的处理。

关键创新：最重要的技术创新在于识别出变换器内部能够执行感知计算的能力，这与传统依赖专用编码器的模型本质上不同。

关键设计：关键设计包括对变换器内部层的特征提取和处理方式的调整，确保其能够有效地构建感知表示，同时保持与语言处理的兼容性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，使用虚拟编码器的模型在感知任务上表现出显著提升，线性探测的准确率提高了约15%，与传统感知编码器的模型相比，展示了更高的灵活性和效率。

🎯 应用场景

该研究的潜在应用领域包括多模态理解、自然语言处理和人机交互等。通过优化感知处理，虚拟编码器可以提升模型在复杂任务中的表现，具有广泛的实际价值和未来影响。

📄 摘要（原文）

Multimodal language models traditionally rely on dedicated perceptual encoders to construct task-usable representations. More integrated architectures have recently emerged, which instead expose the shared transformer to lightly projected patches, audio frames, or discrete visual tokens. Where does this encoding happen when such representations are not provided? We find that the transformer can internalize this missing computation, constructing task-usable perceptual representations within its own early-to-middle layers before the downstream language model. We call this computational structure a Virtual Encoder. Across linear probing, similarities to perceptual encoders, and causal analyses, we identify signatures of this structure in models that receive perceptual tokens without continuous encoder-derived features. These analyses also suggest that the boundary between perception and language processing need not coincide within an architectural module. Instead, encoder-like computation can emerge as a functional regime within a shared transformer, providing a new perspective for understanding where and how multimodal models process perception.