Bridging the Gap between Synthetic and Authentic Images for Multimodal Machine Translation

📄 arXiv: 2310.13361v1 📥 PDF

作者: Wenyu Guo, Qingkai Fang, Dong Yu, Yang Feng

分类: cs.CV, cs.AI, cs.CL

发布日期: 2023-10-20

备注: Accepted to EMNLP 2023 main conference

💡 一句话要点

提出一种方法以解决合成图像与真实图像之间的差距问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态机器翻译 合成图像 真实图像 Transformer模型 分布差异 图像生成 对比损失

📋 核心要点

  1. 现有方法在多模态机器翻译中面临合成图像与真实图像分布不一致的问题，导致推理性能下降。
  2. 本文提出通过同时输入合成图像和真实图像，利用Transformer模型拉近两者的表示，从而减小分布差异。
  3. 实验结果显示，该方法在Multi30K En-De和En-Fr数据集上达到了最先进的性能，且推理时不依赖真实图像。

📝 摘要（中文）

多模态机器翻译（MMT）同时接收源句子和相关图像作为输入进行翻译。由于大多数情况下缺乏配对图像，近期研究建议利用强大的文本到图像生成模型提供图像输入。然而，这些合成图像与真实图像的分布往往不同，导致在推理过程中性能下降。为了解决这一问题，本文分别将合成图像和真实图像输入MMT模型，并通过拉近Transformer编码器的输入图像表示与Transformer解码器的输出分布之间的距离，来最小化合成图像与真实图像之间的差距。实验结果表明，该方法在Multi30K En-De和En-Fr数据集上实现了最先进的性能，同时在推理过程中不依赖真实图像。

🔬 方法详解

问题定义：本文旨在解决多模态机器翻译中合成图像与真实图像之间的分布差异问题。现有方法在推理阶段依赖真实图像，导致性能下降。

核心思路：通过同时输入合成图像和真实图像，利用Transformer模型的编码器和解码器来拉近两者的表示，从而减小合成图像引入的分布差异。

技术框架：整体架构包括两个主要模块：Transformer编码器用于处理输入图像和句子，Transformer解码器用于生成翻译结果。通过优化两者的输出分布，减小合成图像与真实图像的差距。

关键创新：最重要的创新点在于同时利用合成图像和真实图像进行训练，而非单一依赖真实图像，从而有效减小了分布偏移。

关键设计：在损失函数设计上，采用了对比损失来拉近合成图像与真实图像的表示，确保模型在推理时能够更好地适应合成图像的特性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，所提方法在Multi30K En-De和En-Fr数据集上达到了最先进的性能，相较于基线方法，性能提升显著，展示了在不依赖真实图像的情况下仍能实现高效翻译的能力。

🎯 应用场景

该研究的潜在应用领域包括机器翻译、图像生成和多模态学习等。通过减小合成图像与真实图像之间的差距，能够提高多模态翻译系统的鲁棒性和准确性，推动相关技术在实际应用中的发展。

📄 摘要（原文）

Multimodal machine translation (MMT) simultaneously takes the source sentence and a relevant image as input for translation. Since there is no paired image available for the input sentence in most cases, recent studies suggest utilizing powerful text-to-image generation models to provide image inputs. Nevertheless, synthetic images generated by these models often follow different distributions compared to authentic images. Consequently, using authentic images for training and synthetic images for inference can introduce a distribution shift, resulting in performance degradation during inference. To tackle this challenge, in this paper, we feed synthetic and authentic images to the MMT model, respectively. Then we minimize the gap between the synthetic and authentic images by drawing close the input image representations of the Transformer Encoder and the output distributions of the Transformer Decoder. Therefore, we mitigate the distribution disparity introduced by the synthetic images during inference, thereby freeing the authentic images from the inference process.Experimental results show that our approach achieves state-of-the-art performance on the Multi30K En-De and En-Fr datasets, while remaining independent of authentic images during inference.