BlueLM-V-3B: Algorithm and System Co-Design for Multimodal Large Language Models on Mobile Devices
作者: Xudong Lu, Yinghao Chen, Cheng Chen, Hui Tan, Boheng Chen, Yina Xie, Rui Hu, Guanxin Tan, Renshou Wu, Yan Hu, Yi Zeng, Lei Wu, Liuyang Bian, Zhaoxiong Wang, Long Liu, Yanzhou Yang, Han Xiao, Aojun Zhou, Yafei Wen, Xiaoxin Chen, Shuai Ren, Hongsheng Li
分类: cs.CV, cs.CL
发布日期: 2024-11-16
备注: 21 pages
💡 一句话要点
BlueLM-V-3B：面向移动设备的多模态大语言模型算法与系统协同设计
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多模态大语言模型 移动设备部署 算法系统协同设计 动态分辨率 硬件感知优化
📋 核心要点
- 现有MLLM在移动端部署受限于内存和算力，难以实现实时流畅处理，需要大量优化。
- BlueLM-V-3B通过算法与系统协同设计，优化动态分辨率方案，实现硬件感知部署。
- BlueLM-V-3B在联发科天玑9300上达到24.4 token/s，并在OpenCompass上取得领先性能。
📝 摘要（中文）
多模态大语言模型（MLLM）的出现和日益普及，具有增强日常生活的巨大潜力，从改善沟通到促进学习和解决问题。手机作为重要的日常伴侣，是 MLLM 最有效和最易于访问的部署平台，能够无缝集成到日常任务中。然而，由于内存大小和计算能力的限制，在手机上部署 MLLM 提出了挑战，这使得在没有大量优化的情况下难以实现平滑和实时的处理。在本文中，我们提出了 BlueLM-V-3B，一种专门为在移动平台上高效部署 MLLM 而量身定制的算法和系统协同设计方法。具体来说，我们重新设计了主流 MLLM 采用的动态分辨率方案，并实现了硬件感知部署的系统优化，以优化手机上的模型推理。BlueLM-V-3B 具有以下主要亮点：（1）小尺寸：BlueLM-V-3B 具有一个包含 27 亿参数的语言模型和一个包含 4 亿参数的视觉编码器。（2）速度快：在联发科天玑 9300 处理器上，采用 4 比特 LLM 权重量化，BlueLM-V-3B 实现了 24.4 token/s 的生成速度。（3）性能强：在 OpenCompass 基准测试中，BlueLM-V-3B 在参数 ≤ 40 亿的模型中获得了 66.1 的最高平均分，并超过了一系列参数规模更大的模型（例如，MiniCPM-V-2.6、InternVL2-8B）。
🔬 方法详解
问题定义：论文旨在解决多模态大语言模型（MLLM）在移动设备上部署时面临的挑战，即如何在有限的内存和计算资源下，实现高效、实时的模型推理。现有方法通常需要大量的优化才能在移动端运行，但仍然难以达到理想的性能。
核心思路：论文的核心思路是通过算法和系统协同设计，针对移动设备的硬件特性进行优化。具体而言，重新设计了动态分辨率方案，并实现了硬件感知的系统优化，从而在保证模型性能的同时，降低了计算和存储需求。
技术框架：BlueLM-V-3B 包含一个 27 亿参数的语言模型和一个 4 亿参数的视觉编码器。整体框架未知，但关键在于动态分辨率方案的重新设计和硬件感知的系统优化。动态分辨率方案可能涉及根据输入图像的复杂度动态调整分辨率，以平衡计算量和模型性能。硬件感知的系统优化可能包括针对特定移动处理器的指令集优化、内存管理优化等。
关键创新：论文的关键创新在于算法和系统协同设计，以及针对移动设备特点的优化策略。与现有方法相比，BlueLM-V-3B 更加注重在模型设计和系统实现层面进行协同优化，从而在有限的资源下实现更好的性能。
关键设计：论文中提到了 4 比特 LLM 权重量化，这是一种降低模型存储和计算需求的常用技术。动态分辨率方案的具体实现细节未知，但可能涉及根据图像内容自适应地调整分辨率。硬件感知的系统优化细节也未知，但可能包括针对特定移动处理器的优化。
🖼️ 关键图片
📊 实验亮点
BlueLM-V-3B 在联发科天玑 9300 处理器上实现了 24.4 token/s 的生成速度，并且在 OpenCompass 基准测试中，在参数 ≤ 4B 的模型中获得了 66.1 的最高平均分，超过了 MiniCPM-V-2.6、InternVL2-8B 等更大参数规模的模型。这些结果表明 BlueLM-V-3B 在移动设备上具有出色的性能和效率。
🎯 应用场景
BlueLM-V-3B 有望广泛应用于移动设备上的各种多模态应用，例如智能助手、图像识别、视觉问答、教育娱乐等。该研究成果能够提升移动设备在处理复杂视觉任务时的能力，为用户提供更智能、更便捷的体验。未来，该技术还可以应用于其他资源受限的平台，例如嵌入式设备、物联网设备等。
📄 摘要（原文）
The emergence and growing popularity of multimodal large language models (MLLMs) have significant potential to enhance various aspects of daily life, from improving communication to facilitating learning and problem-solving. Mobile phones, as essential daily companions, represent the most effective and accessible deployment platform for MLLMs, enabling seamless integration into everyday tasks. However, deploying MLLMs on mobile phones presents challenges due to limitations in memory size and computational capability, making it difficult to achieve smooth and real-time processing without extensive optimization. In this paper, we present BlueLM-V-3B, an algorithm and system co-design approach specifically tailored for the efficient deployment of MLLMs on mobile platforms. To be specific, we redesign the dynamic resolution scheme adopted by mainstream MLLMs and implement system optimization for hardware-aware deployment to optimize model inference on mobile phones. BlueLM-V-3B boasts the following key highlights: (1) Small Size: BlueLM-V-3B features a language model with 2.7B parameters and a vision encoder with 400M parameters. (2) Fast Speed: BlueLM-V-3B achieves a generation speed of 24.4 token/s on the MediaTek Dimensity 9300 processor with 4-bit LLM weight quantization. (3) Strong Performance: BlueLM-V-3B has attained the highest average score of 66.1 on the OpenCompass benchmark among models with $\leq$ 4B parameters and surpassed a series of models with much larger parameter sizes (e.g., MiniCPM-V-2.6, InternVL2-8B).