Breaking Language Barriers in Visual Language Models via Multilingual Textual Regularization
作者: Iñigo Pikabea, Iñaki Lacunza, Oriol Pareras, Carlos Escolano, Aitor Gonzalez-Agirre, Javier Hernando, Marta Villegas
分类: cs.CV, cs.AI
发布日期: 2025-03-28 (更新: 2025-05-20)
备注: v2: Expanded model merging experiments. Fix duplicated subsection on limitations
💡 一句话要点
提出多语言文本正则化方法，解决视觉语言模型中的图像诱导保真度损失问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 视觉语言模型 多语言学习 图像诱导保真度损失 多模态融合 文本正则化
📋 核心要点
- 现有视觉语言模型倾向于生成英文回复，忽略输入语言，存在图像诱导保真度损失（IFL）问题。
- 论文提出一种连续的多语言集成策略，通过注入纯文本多语言数据，提升模型的多语言能力。
- 实验表明，该方法显著提高了跨语言的语言保真度，同时保持了视觉性能，优于模型合并方法。
📝 摘要（中文）
视觉语言模型（VLMs）的快速发展极大地提升了多模态理解能力，但通常受限于生成英文回复，而忽略了输入语言。这种现象被称为图像诱导保真度损失（IFL），源于多模态多语言训练数据的不足。为了解决这个问题，我们提出了一种连续的多语言集成策略，在视觉指令微调期间注入纯文本的多语言数据，以保留语言模型原有的多语言能力。广泛的评估表明，我们的方法显著提高了跨语言的语言保真度，且不会降低视觉性能。我们还探索了模型合并，虽然可以提高语言保真度，但会牺牲视觉性能。相比之下，我们的核心方法实现了稳健的多语言对齐，且没有性能权衡，为减轻IFL以实现全球VLM应用提供了一条可扩展且有效途径。
🔬 方法详解
问题定义：视觉语言模型在处理多语言输入时，往往会产生图像诱导保真度损失（IFL），即无论输入是什么语言，模型都倾向于用英语生成回复。现有方法缺乏有效利用多语言数据来提升模型多语言能力，导致模型在非英语环境下的表现不佳。
核心思路：论文的核心思路是在视觉指令微调过程中，持续地注入纯文本的多语言数据，从而正则化语言模型，使其在学习视觉信息的同时，保持甚至增强其原有的多语言能力。这种方法避免了直接在多模态数据上进行大量训练，从而降低了对多语言多模态数据的依赖。
技术框架：该方法主要包含两个阶段：首先，使用视觉指令数据对视觉语言模型进行微调，使其具备基本的视觉理解能力。然后，在微调过程中，穿插使用纯文本的多语言数据进行训练，以增强或保持模型的多语言能力。整个过程可以看作是在视觉指令微调的基础上，加入了一个多语言文本正则化项。
关键创新：该方法的关键创新在于其连续的多语言集成策略，它将多语言文本数据融入到视觉指令微调过程中，避免了对大规模多语言多模态数据的依赖。与模型合并等方法相比，该方法能够在提升语言保真度的同时，保持甚至提升视觉性能，避免了性能权衡。
关键设计：在具体实现上，论文并没有详细说明具体的参数设置和损失函数，但可以推断，多语言文本数据的注入比例是一个重要的超参数，需要根据具体任务和数据集进行调整。此外，损失函数可能包含一个语言模型损失项，用于衡量模型生成文本的流畅度和准确性。
🖼️ 关键图片
📊 实验亮点
实验结果表明，该方法在显著提高语言保真度的同时，没有降低视觉性能。与模型合并方法相比，该方法在语言保真度方面取得了相当的提升，同时避免了视觉性能的下降。这表明该方法是一种有效且可扩展的缓解图像诱导保真度损失的方案。
🎯 应用场景
该研究成果可广泛应用于多语言视觉问答、跨语言图像描述、多语言视觉对话等领域。通过提升视觉语言模型的多语言能力，可以更好地服务于全球用户，促进不同语言文化之间的交流与理解。未来，该方法有望应用于更复杂的跨模态多语言任务，例如多语言视频理解和多语言机器人交互。
📄 摘要（原文）
Rapid advancements in Visual Language Models (VLMs) have transformed multimodal understanding but are often constrained by generating English responses regardless of the input language. This phenomenon has been termed as Image-induced Fidelity Loss (IFL) and stems from limited multimodal multilingual training data. To address this, we propose a continuous multilingual integration strategy that injects text-only multilingual data during visual instruction tuning, preserving the language model's original multilingual capabilities. Extensive evaluations demonstrate that our approach significantly improves linguistic fidelity across languages without degradation in visual performance. We also explore model merging, which improves language fidelity but comes at the cost of visual performance. In contrast, our core method achieves robust multilingual alignment without trade-offs, offering a scalable and effective path to mitigating IFL for global VLM adoption.