Vintern-1B: An Efficient Multimodal Large Language Model for Vietnamese

📄 arXiv: 2408.12480v2 📥 PDF

作者: Khang T. Doan, Bao G. Huynh, Dung T. Hoang, Thuc D. Pham, Nhat H. Pham, Quan T. M. Nguyen, Bang Q. Vo, Suong N. Hoang

分类: cs.LG, cs.CL

发布日期: 2024-08-22 (更新: 2024-08-23)

🔗 代码/项目: HUGGINGFACE

💡 一句话要点

Vintern-1B：面向越南语的高效多模态大语言模型

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态大语言模型 越南语 视觉问答 光学字符识别 文档提取

📋 核心要点

  1. 现有越南语多模态大模型规模较大，难以部署在资源受限的设备上，限制了其应用范围。
  2. Vintern-1B通过融合Qwen2和InternViT，并在大规模数据集上微调，实现了高效的越南语多模态理解能力。
  3. 实验表明，Vintern-1B在越南语VQA基准测试中表现出色，同时模型大小适中，易于部署。

📝 摘要（中文）

本文介绍了Vintern-1B，一个可靠的、具有10亿参数的越南语多模态大语言模型(MLLM)。通过将Qwen2-0.5B-Instruct语言模型与InternViT-300M-448px视觉模型相结合，Vintern-1B针对一系列应用进行了优化，包括光学字符识别(OCR)、文档提取以及越南语环境下的通用问答。该模型在一个包含超过300万个图像-问题-答案对的大型数据集上进行了微调，在多个越南语基准测试（如OpenViVQA和ViTextVQA）中实现了稳健的性能和可靠的结果。Vintern-1B足够小，可以轻松适应各种设备端应用。此外，我们还开源了几个使用Gemini 1.5 Flash创建的越南语视觉问答(VQA)数据集，用于文本和图表。

🔬 方法详解

问题定义：论文旨在解决越南语多模态大语言模型在资源受限设备上的部署问题。现有的大型多模态模型参数量巨大，难以在边缘设备或移动设备上运行，限制了其在越南语场景下的应用。

核心思路：论文的核心思路是构建一个参数量较小但性能强大的多模态模型。通过选择合适的预训练语言模型和视觉模型，并进行有效的融合和微调，在保证性能的同时降低模型大小。

技术框架：Vintern-1B的整体架构包括一个语言模型（Qwen2-0.5B-Instruct）和一个视觉模型（InternViT-300M-448px）。视觉模型负责提取图像特征，语言模型负责处理文本信息并生成答案。通过一个可学习的投影层将视觉特征映射到语言模型的嵌入空间，实现多模态信息的融合。模型训练采用图像-问题-答案对形式的数据。

关键创新：Vintern-1B的关键创新在于其高效的模型设计和针对越南语的优化。通过选择参数量较小的预训练模型，并进行针对性的微调，在保证性能的同时降低了模型大小，使其更易于部署。此外，论文还开源了越南语VQA数据集，促进了越南语多模态研究的发展。

关键设计：模型使用Qwen2-0.5B-Instruct作为语言模型，InternViT-300M-448px作为视觉模型。使用线性层作为视觉特征到语言特征的投影层。损失函数采用标准的语言模型损失函数，即交叉熵损失。训练数据包括超过300万个图像-问题-答案对。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

Vintern-1B在OpenViVQA和ViTextVQA等越南语VQA基准测试中取得了优异的性能，证明了其在越南语多模态理解方面的能力。同时，该模型仅有10亿参数，易于部署在资源受限的设备上。论文还开源了多个越南语VQA数据集，为后续研究提供了宝贵资源。

🎯 应用场景

Vintern-1B在越南语OCR、文档提取和通用问答等领域具有广泛的应用前景。它可以用于开发智能文档处理系统、智能客服机器人和移动端的视觉问答应用。该研究有助于推动越南语人工智能技术的发展，并为其他低资源语言的多模态研究提供借鉴。

📄 摘要（原文）

In this report, we introduce Vintern-1B, a reliable 1-billion-parameters multimodal large language model (MLLM) for Vietnamese language tasks. By integrating the Qwen2-0.5B-Instruct language model with the InternViT-300M-448px visual model, Vintern-1B is optimized for a range of applications, including optical character recognition (OCR), document extraction, and general question-answering in Vietnamese context. The model is fine-tuned on an extensive dataset of over 3 million image-question-answer pairs, achieving robust performance and reliable results across multiple Vietnamese language benchmarks like OpenViVQA and ViTextVQA. Vintern-1B is small enough to fit into various on-device applications easily. Additionally, we have open-sourced several Vietnamese vision question answering (VQA) datasets for text and diagrams, created with Gemini 1.5 Flash. Our models are available at: https://huggingface.co/5CD-AI/Vintern-1B-v2.