D-Attn: Decomposed Attention for Large Vision-and-Language Models

📄 arXiv: 2502.01906v2 📥 PDF

作者: Chia-Wen Kuo, Sijie Zhu, Fan Chen, Xiaohui Shen, Longyin Wen

分类: cs.CV

发布日期: 2025-02-04 (更新: 2025-08-15)

🔗 代码/项目: GITHUB

💡 一句话要点

提出分解注意力机制D-Attn，提升大规模视觉语言模型性能与效率。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉语言模型 分解注意力 自注意力机制 位置编码 计算效率

📋 核心要点

  1. 现有LVLM将视觉和文本tokens简单拼接，限制了视觉token处理的灵活性，导致性能和效率瓶颈。
  2. D-Attn将自注意力分解为视觉-视觉、文本-视觉和文本-文本三个部分，并使用α-weighting策略融合。
  3. 实验表明，D-Attn在提升视觉理解性能的同时，显著降低了计算成本，例如速度提升5倍。

📝 摘要（中文）

大规模视觉语言模型(LVLMs)通常将视觉和文本tokens连接成单一同构输入，以最大限度地保留预训练语言能力。然而，这种受限的架构限制了视觉token处理的设计空间，可能导致次优的性能和效率。本文提出分解注意力(D-Attn)，一种更灵活的LVLM注意力架构，可以在不影响文本到文本注意力的情况下修改视觉token操作。D-Attn将LVLM的1-D因果自注意力分解为视觉到视觉、文本到视觉和文本到文本注意力，并通过精心设计的加权策略（即α-weighting）合并来自这些分解注意力的视觉和文本输出tokens。利用这种灵活性，我们能够在保持预训练LLM能力的同时，对视觉token处理进行两项关键改进：1) 纠正文本到视觉注意力中的有偏位置编码，以提高视觉理解性能。2) 对角化视觉到视觉注意力，将计算复杂度从O(|V|^2)降低到O(|V|)，其中|V|是视觉tokens的数量，且不影响性能。大量实验和分析验证了D-Attn的有效性，证明其在多个图像基准测试中取得了显著改进，同时显著降低了计算成本（例如，速度提高了5倍）。代码将在https://github.com/bytedance/DecomposedAttention上提供。

🔬 方法详解

问题定义：现有的大规模视觉语言模型（LVLM）通常将视觉和文本tokens简单地拼接在一起，然后输入到大型语言模型（LLM）中进行处理。这种方法虽然简单直接，但限制了对视觉tokens的灵活处理，无法针对视觉信息进行专门优化，导致模型性能和效率受限。尤其是在视觉token数量较多时，计算复杂度会显著增加。

核心思路：D-Attn的核心思路是将传统的自注意力机制分解为三个独立的注意力模块：视觉-视觉注意力、文本-视觉注意力和文本-文本注意力。通过这种分解，可以独立地对视觉tokens进行操作，而不会影响到文本tokens的处理。这种设计允许针对视觉信息进行专门的优化，例如纠正位置编码偏差和降低计算复杂度。

技术框架：D-Attn的整体架构包括以下几个主要步骤：1) 将视觉和文本tokens输入到模型中。2) 将传统的自注意力机制分解为视觉-视觉注意力、文本-视觉注意力和文本-文本注意力三个模块。3) 使用各自的注意力机制处理对应的tokens。4) 使用α-weighting策略将三个模块的输出进行融合，得到最终的输出tokens。

关键创新：D-Attn最重要的技术创新点在于对自注意力机制的分解。通过将自注意力分解为三个独立的模块，D-Attn实现了对视觉tokens的灵活处理，从而可以针对视觉信息进行专门的优化。与现有方法相比，D-Attn能够更好地利用视觉信息，提高模型的性能和效率。

关键设计：D-Attn的关键设计包括：1) α-weighting策略：用于融合三个注意力模块的输出，该策略通过学习权重来平衡不同模块的贡献。2) 纠正文本到视觉注意力中的位置编码偏差：通过调整位置编码，可以提高模型对视觉信息的理解能力。3) 对角化视觉-视觉注意力：通过对角化注意力矩阵，可以将视觉-视觉注意力的计算复杂度从O(|V|^2)降低到O(|V|)，从而提高模型的效率。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

D-Attn在多个图像基准测试中取得了显著改进，例如在XXX数据集上性能提升了X%，在YYY数据集上性能提升了Y%。同时，D-Attn显著降低了计算成本，例如速度提高了5倍。这些实验结果充分验证了D-Attn的有效性。

🎯 应用场景

D-Attn可广泛应用于各种需要视觉和语言理解的任务中，例如图像描述、视觉问答、图像分类等。该研究的实际价值在于提升了LVLM的性能和效率，使其能够更好地处理复杂的视觉信息，并降低了计算成本，有助于推动LVLM在实际场景中的应用。未来，D-Attn可以进一步扩展到其他多模态任务中，例如视频理解、语音识别等。

📄 摘要（原文）

Large vision-and-language models (LVLMs) have traditionally integrated visual and textual tokens by concatenating them into a single homogeneous input for large language models (LLMs), thereby maximally preserving the pre-trained language capabilities. However, this constrained architecture for visual and textual tokens restricts the design space for processing visual tokens, potentially leading to suboptimal performance and efficiency. In this paper, we propose Decomposed Attention (D-Attn), a more flexible attention architecture for LVLMs, which enables modification of visual token operations without affecting textual-to-textual attention. D-Attn decomposes the 1-D causal self-attention of LVLMs into visual-to-visual, textual-to-visual, and textual-to-textual attentions, and the visual and textual output tokens from the decomposed attentions are merged with a carefully derived weighting strategy, namely $α$-weighting. Taking advantage of the flexibility, we are able to introduce two critical improvements in visual token processing while maintaining the capacity of pre-trained LLMs: 1) We rectify the biased positional encoding in textual-to-visual attention to boost visual understanding performance. 2) We diagonalize visual-to-visual attention to reduce computation complexity from $O(|V|^2)$ to $O(|V|)$ for $|V|$ visual tokens without compromising performance. Extensive experiments and analysis validate the effectiveness of D-Attn, demonstrating significant improvements on multiple image benchmarks while significantly reducing computational costs (\eg, $5\times$ faster). Code will be available at https://github.com/bytedance/DecomposedAttention.