Direct Image-to-Modern Vietnamese Translation of Han-Nom Manuscripts via Multimodal RLHF Preference Alignment

📄 arXiv: 2607.11434v1 📥 PDF

作者: Thi Kim Trang Vo, Nghia Hieu Nguyen, Ha Minh Tan

分类: cs.CL, cs.CV

发布日期: 2026-07-13

备注: Accepted Paper at 2026 International Conference on Multimedia Analysis and Pattern Recognition (MAPR)

💡 一句话要点

提出多模态RLHF偏好对齐框架以解决汉字文献翻译问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 汉字翻译 多模态学习 偏好对齐 强化学习 历史文献

📋 核心要点

  1. 汉字文献翻译面临历史页面退化、稀有字符和监督数据不足等挑战，现有方法难以有效处理这些问题。
  2. 本文提出的多模态RLHF偏好对齐框架，通过结合图像和文本信息，提升了翻译的质量和准确性。
  3. 实验结果显示，DPO在BLEU-4、ROUGE-L等指标上表现最佳，所有偏好对齐策略均显著提高了翻译质量。

📝 摘要（中文）

将汉字文献翻译为现代越南语面临诸多挑战，包括历史页面的退化、稀有的表意字符以及有限的平行监督。本文提出了一种多模态RLHF偏好对齐框架，该框架将越南语生成条件于文献图像和对齐的汉字源文本之上。模型结合了四个流：CLIP ViT-L/14@336用于视觉特征，bert-base-chinese用于汉字表示，vinai/phobert-base用于越南语表示，以及T5-small编码器状态。通过模态特定的投影和融合块，将结果的2048维连接压缩为共享的512维表示。实验结果表明，DPO在多个评估指标上表现最佳，所有偏好对齐策略均提升了BLEU-4和语义相似度分数，表明多模态偏好优化在低资源历史翻译中补充了监督学习。

🔬 方法详解

问题定义：本文旨在解决汉字文献翻译为现代越南语的困难，现有方法在处理退化页面和稀有字符时效果不佳，且缺乏足够的平行监督数据。

核心思路：提出的多模态RLHF偏好对齐框架通过将越南语生成与文献图像及对齐的汉字文本结合，利用多种模态的信息来提升翻译质量。

技术框架：该框架包含四个主要模块：CLIP ViT-L/14@336用于提取视觉特征，bert-base-chinese用于汉字表示，vinai/phobert-base用于越南语表示，以及T5-small作为编码器。通过模态特定的投影和融合块，将2048维的特征压缩为512维的共享表示。

关键创新：最重要的创新在于引入了多模态RLHF偏好对齐策略，使得模型能够在低资源环境下有效提升翻译的词汇和语义质量，这与传统的单一模态监督学习方法有本质区别。

关键设计：模型采用了多种损失函数和评估指标，包括BLEU-4、ROUGE-L、BERTScore等，确保了翻译结果的多维度评估和优化。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果显示，DPO在BLEU-4、ROUGE-L、BERTScore等多个指标上表现最佳，超越了PPO和KTO，且所有偏好对齐策略均显著提高了BLEU-4和语义相似度分数，表明该框架在低资源历史翻译中的有效性。

🎯 应用场景

该研究的潜在应用领域包括历史文献翻译、文化遗产保护以及多语言处理等。通过提升汉字文献的翻译质量，能够更好地促进文化交流和知识传播，具有重要的实际价值和社会影响。

📄 摘要（原文）

Translating Han-Nom manuscripts into modern Vietnamese is challenging because historical pages are often degraded, the script contains rare logographic characters, and parallel supervision is limited. We propose a multimodal RLHF preference-alignment framework that conditions Vietnamese generation on manuscript images and aligned Han-Nom source text. The model combines four streams: CLIP ViT-L/14@336 for visual features, bert-base-chinese for Han-Nom representations, vinai/phobert-base for Vietnamese representations, and T5-small encoder states. Modality-specific projections and a fusion block compress the resulting 2,048-dimensional concatenation into a shared 512-dimensional representation. Starting from the same supervised fine-tuned policy, we compare PPO, DPO, and KTO under matched work-level macro-averaged evaluation. DPO achieves the best BLEU-4, ROUGE-L, BERTScore, semantic similarity, CER, WER, and token accuracy, whereas PPO obtains the highest precision, recall, and F1. KTO remains competitive through its desirable-undesirable utility objective. All preference-aligned policies improve the BLEU-4 and semantic-similarity scores available for the SFT baseline. These results indicate that multimodal preference optimization complements supervised learning by improving lexical and semantic quality in low-resource historical translation.