Improving Visual Sensitivity of LLMs on Multimodal Machine Translation with Metric-based Loss Weighting

📄 arXiv: 2609.31169v1 📥 PDF

作者: Paweł Mąka, Piotr Andruszkiewicz, Yusuf Can Semerci, Jan Scholtes, Gerasimos Spanakis

分类: cs.CL, cs.AI

发布日期: 2026-09-25

💡 一句话要点

提出基于度量的损失加权方法以提升多模态机器翻译的视觉敏感性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态机器翻译 视觉敏感性 损失加权 交叉互信息 模型微调 图像引导翻译 深度学习

📋 核心要点

  1. 现有的多模态机器翻译模型在处理图像信息时，常常忽视其对翻译的影响，导致翻译效果不佳。
  2. 本文提出基于度量的损失加权方法，通过增加与图像相关的标记的损失函数，提升模型的视觉敏感性。
  3. 实验结果表明，该方法在CoMMuTE数据集上相比标准微调提高了超过7个百分点的准确率，同时保持了良好的翻译性能。

📝 摘要（中文）

多模态机器翻译旨在通过整合非文本模态的额外信号来改善翻译效果，解决歧义问题。尽管模型通过多模态融合能够接受与源文本相关的图像，但往往忽视这些信息。因此，提高模型的视觉敏感性仍然是一个活跃的研究领域。本文提出了一种训练方法——基于度量的损失加权，通过增加受图像影响的标记的损失函数来改善翻译的视觉定位。我们使用点对点交叉互信息（PCXMI）度量来识别这些标记，并引入了一种基于一致性的PCXMI度量，实验表明两者结合能取得最佳效果。我们通过对三种语言方向的图像引导机器翻译任务对三种预训练的多模态大语言模型进行微调，验证了该方法的有效性。基于度量的损失加权在CoMMuTE对比数据集上优于其他测试方法，准确率提高超过7个百分点，同时保持强大的翻译性能。

🔬 方法详解

问题定义：本文旨在解决多模态机器翻译中模型对图像信息的忽视问题，现有方法未能有效利用图像信息，导致翻译质量下降。

核心思路：提出基于度量的损失加权方法，通过识别受图像影响的标记，增加其损失权重，从而提高模型的视觉敏感性和翻译准确性。

技术框架：整体流程包括数据预处理、模型训练和评估三个主要阶段。首先，使用PCXMI度量识别受图像影响的标记，然后在训练过程中调整这些标记的损失权重。

关键创新：引入了基于一致性的PCXMI度量，与传统方法相比，能够更准确地识别与图像相关的标记，从而有效提升翻译质量。

关键设计：在损失函数中，针对识别出的标记增加权重，确保模型在训练过程中更加关注这些标记的翻译，同时保持整体翻译性能的稳定性。具体参数设置和网络结构细节在实验部分进行了详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，基于度量的损失加权方法在CoMMuTE对比数据集上相比标准微调提高了超过7个百分点的准确率，且在保持强大翻译性能的同时，显著提升了模型对视觉信息的利用效率。

🎯 应用场景

该研究的潜在应用领域包括智能翻译系统、跨语言信息检索和多模态内容生成等。通过提升模型的视觉敏感性，可以在实际翻译任务中实现更高的准确性和更好的用户体验，未来可能推动多模态人工智能的进一步发展。

📄 摘要（原文）

Multimodal Machine Translation aims to incorporate additional signal from non-textual modalities to improve translations by resolving ambiguities. While models, through multimodal fusion, are able to accept images related to the source text, they can ignore this information. Therefore, increasing their visual sensitivity remains an active research area. In this work, we introduce a training method, Metric-based Loss Weighting, that improves visual grounding of translations by increasing the loss function for tokens that benefit from the accompanying image. We identify these tokens using the Point-wise Cross-mutual Information (PCXMI) metric, which compares the model's output probabilities with and without visual context. We introduce a Congruency-based PCXMI metric and experimentally show that both metrics working in combination yield the best results. We evaluate our method by fine-tuning three pretrained Multimodal Large Language Models on the task of Image-guided Machine Translation for three language directions. Metric-based Loss Weighting outperforms other tested methods on the CoMMuTE contrastive dataset, improving accuracy by up to more than 7 percentage points compared to standard fine-tuning, while maintaining strong general translation performance.