VisualRWKV: Exploring Recurrent Neural Networks for Visual Language Models

📄 arXiv: 2406.13362v3 📥 PDF

作者: Haowen Hou, Peigen Zeng, Fei Ma, Fei Richard Yu

分类: cs.CV, cs.CL, cs.LG

发布日期: 2024-06-19 (更新: 2024-12-19)

备注: Accepted at COLING 2025 main conference

🔗 代码/项目: GITHUB

💡 一句话要点

提出VisualRWKV，将线性RNN应用于视觉语言模型，实现高效多模态学习。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉语言模型 线性RNN RWKV 多模态学习 图像扫描 数据依赖循环 三明治提示

📋 核心要点

  1. 现有视觉语言模型（VLM）主要依赖Transformer架构，计算成本高昂，缺乏对高效线性RNN的探索。
  2. VisualRWKV通过引入数据依赖的循环机制和三明治提示，并结合2D图像扫描，提升了线性RNN在VLM中的建模能力。
  3. 实验表明，VisualRWKV在性能上可与Transformer模型媲美，同时显著提升了推理速度并降低了GPU内存消耗。

📝 摘要（中文）

本文介绍了VisualRWKV，首次将线性循环神经网络（RNN）模型应用于多模态学习任务，利用预训练的RWKV语言模型。为了增强建模能力，论文提出了数据相关的循环机制和三明治提示（sandwich prompts），并采用2D图像扫描机制来丰富视觉序列的处理。大量实验表明，VisualRWKV在各种基准测试中取得了与基于Transformer的模型（如LLaVA-1.5）相媲美的性能。与LLaVA-1.5相比，VisualRWKV具有3.98倍的速度优势，并且在达到24K tokens的推理长度时可以节省54%的GPU内存。为了方便进一步的研究和分析，作者已将检查点和相关代码公开发布在GitHub存储库中。

🔬 方法详解

问题定义：现有视觉语言模型主要依赖Transformer架构，虽然性能强大，但计算复杂度高，推理速度慢，对硬件资源要求高。线性RNN虽然具有高效的推理能力，但在VLM领域的应用较少，缺乏针对视觉信息的有效建模方法。

核心思路：VisualRWKV的核心思路是将线性RNN模型RWKV引入VLM领域，并针对视觉信息的特点进行优化。通过数据依赖的循环机制和三明治提示，增强模型对视觉和语言信息的理解和融合能力。2D图像扫描机制则旨在更有效地处理视觉序列，捕捉图像中的空间关系。

技术框架：VisualRWKV的整体架构基于预训练的RWKV语言模型，并在此基础上添加了视觉编码器和相应的多模态融合模块。首先，使用视觉编码器提取图像特征，然后将图像特征和文本提示输入到RWKV模型中进行处理。为了增强建模能力，论文提出了数据相关的循环机制和三明治提示。最后，模型输出预测结果。

关键创新：VisualRWKV的关键创新在于将线性RNN模型RWKV成功应用于VLM领域，并提出了数据依赖的循环机制和三明治提示来增强模型的建模能力。与传统的Transformer模型相比，VisualRWKV具有更高的推理速度和更低的GPU内存消耗。2D图像扫描机制也是一个针对视觉信息处理的创新点。

关键设计：数据依赖的循环机制允许模型根据输入数据动态调整循环权重，从而更好地捕捉数据中的依赖关系。三明治提示则通过在输入序列前后添加特定的提示信息，引导模型更好地理解输入内容。2D图像扫描机制将图像分割成多个小块，并按照特定的顺序进行扫描，从而捕捉图像中的空间关系。具体的参数设置和损失函数等技术细节在论文中进行了详细描述（具体数值未知）。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

VisualRWKV在多个视觉语言基准测试中取得了与LLaVA-1.5等Transformer模型相媲美的性能。更重要的是，与LLaVA-1.5相比，VisualRWKV具有3.98倍的推理速度优势，并且在达到24K tokens的推理长度时可以节省54%的GPU内存。这些结果表明，VisualRWKV在效率方面具有显著优势。

🎯 应用场景

VisualRWKV具有广泛的应用前景，例如在智能问答、图像描述、视觉对话等领域。其高效的推理速度和低内存消耗使其非常适合部署在资源受限的设备上，例如移动设备和嵌入式系统。未来，VisualRWKV可以进一步扩展到其他多模态学习任务中，例如视频理解和语音识别。

📄 摘要（原文）

Visual Language Models (VLMs) have rapidly progressed with the recent success of large language models. However, there have been few attempts to incorporate efficient linear Recurrent Neural Networks (RNNs) architectures into VLMs. In this study, we introduce VisualRWKV, the first application of a linear RNN model to multimodal learning tasks, leveraging the pre-trained RWKV language model. We propose a data-dependent recurrence and sandwich prompts to enhance our modeling capabilities, along with a 2D image scanning mechanism to enrich the processing of visual sequences. Extensive experiments demonstrate that VisualRWKV achieves competitive performance compared to Transformer-based models like LLaVA-1.5 on various benchmarks. Compared to LLaVA-1.5, VisualRWKV has a speed advantage of 3.98 times and can save 54% of GPU memory when reaching an inference length of 24K tokens. To facilitate further research and analysis, we have made the checkpoints and the associated code publicly accessible at the following GitHub repository: see https://github.com/howard-hou/VisualRWKV.