Multilingual VLM Training: Adapting an English-Trained VLM to French

📄 arXiv: 2512.10336v1 📥 PDF

作者: Jules Lahmi, Alexis Roger

分类: cs.CL, cs.AI

发布日期: 2025-12-11

💡 一句话要点

探索多语言VLM训练：将英语VLM适配到法语

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多语言VLM 视觉-语言模型 迁移学习 低秩适应 数据集翻译 法语 跨语言学习

📋 核心要点

  1. 现有VLM主要集中在英语，限制了非英语用户的可访问性，多语言VLM的开发面临挑战。
  2. 论文探索了三种将英语VLM适配到法语的方法：翻译流程、LoRA微调和两阶段微调。
  3. 实验结果表明，数据集翻译质量是多语言VLM性能的关键瓶颈，影响训练和评估效果。

📝 摘要（中文）

近年来，人工智能取得了显著进展，尤其是在理解视觉和文本数据的视觉-语言模型（VLM）的开发方面。然而，这些进步主要局限于英语，降低了非英语使用者的可访问性。将这些能力扩展到更广泛的语言至关重要。本文探讨了将英语训练的VLM适配到不同语言的挑战。为此，我们将探索和比较不同方法的性能和计算成本。我们考虑了基于翻译的流程、LoRA微调以及将视觉适配与语言适配分离的两阶段微调策略。为了评估这些方法，我们结合了翻译成目标语言的标准多模态基准和母语专家的手动评估。结果表明，数据集翻译仍然是多语言VLM性能的主要瓶颈，数据质量限制了训练和评估的有效性。这些发现表明，未来的工作应侧重于母语数据集的收集和改进的翻译策略。

🔬 方法详解

问题定义：论文旨在解决将已在英语数据上训练好的视觉-语言模型（VLM）迁移到其他语言（如法语）的问题。现有方法在处理多语言VLM时，面临数据稀缺、翻译质量不高以及计算成本高等挑战。直接使用机器翻译的数据进行训练，往往会引入噪声，影响模型性能。

核心思路：论文的核心思路是通过比较不同的迁移学习策略，探索将英语VLM有效适配到法语的最佳方法。通过对比基于翻译的流程、低秩适应（LoRA）微调以及两阶段微调策略，分析各种方法的优缺点，并找出影响多语言VLM性能的关键因素。

技术框架：论文主要考察了三种技术框架： 1. 翻译流程：将现有的英文数据集翻译成目标语言（法语），然后使用翻译后的数据对VLM进行微调。 2. LoRA微调：使用低秩适应方法，只微调VLM中的少量参数，以降低计算成本并防止过拟合。 3. 两阶段微调：首先对VLM的视觉部分进行适配，然后再对语言部分进行适配，从而更好地分离视觉和语言学习过程。

关键创新：论文的关键创新在于对不同迁移学习策略的比较分析，并揭示了数据集翻译质量对多语言VLM性能的显著影响。通过实验，论文强调了数据质量的重要性，并指出未来的研究方向应侧重于高质量的母语数据集构建和翻译策略的改进。

关键设计：论文中涉及的关键设计包括： 1. 数据集翻译：使用机器翻译工具将英文数据集翻译成法语，并评估翻译质量对模型性能的影响。 2. LoRA配置：选择合适的LoRA秩（rank）和微调参数，以平衡计算成本和模型性能。 3. 两阶段微调策略：设计合理的视觉和语言适配顺序，并选择合适的损失函数和优化器。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，数据集翻译质量是影响多语言VLM性能的关键因素。尽管LoRA微调和两阶段微调在一定程度上提高了模型性能，但数据质量的限制仍然是主要瓶颈。人工评估也验证了翻译质量对最终效果的影响。未来的研究应侧重于高质量的母语数据集构建和翻译策略的改进。

🎯 应用场景

该研究成果可应用于多语言智能客服、跨语言图像搜索、多语言内容审核等领域。通过将VLM扩展到更多语言，可以提高AI技术的普及性和可访问性，促进全球范围内的信息交流和知识共享。未来的研究可以进一步探索零样本跨语言迁移学习，减少对翻译数据的依赖。

📄 摘要（原文）

Artificial intelligence has made great progress in recent years, particularly in the development of Vision--Language Models (VLMs) that understand both visual and textual data. However, these advancements remain largely limited to English, reducing their accessibility for non--English speakers. It is essential to extend these capabilities to a broader range of languages. This paper explores the challenges of adapting an English-trained VLM to different languages. To this end, we will explore and compare different methods for their performance and computational cost. We consider a translation-based pipeline, LoRA finetuning, and a two-stage finetuning strategy that separates vision adaptation from language adaptation. To evaluate these methods, we use a combination of standard multimodal benchmarks translated into the target language and manual assessments by native experts. The results reveal that dataset translation remains a major bottleneck in multilingual VLM performance, with data quality limiting the effectiveness of training and evaluation. These findings suggest that future efforts should focus on native-language dataset collection and improved translation strategies.