Retrieve What Helps, Only When It Helps: Agentic Reinforcement Learning for Selective Retrieval-Augmented Machine Translation
作者: Shijun Li, Yang Liu, Najmeh Sadoughi, Dongmei Wang, Xinjie Li, Zhu Liu, Rohith Mysore Vijaya Kumar, Yuzong Liu
分类: cs.CL, cs.AI, cs.IR
发布日期: 2026-10-14
💡 一句话要点
提出选择性检索增强翻译以优化翻译质量
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 检索增强翻译 强化学习 机器翻译 知识检索 翻译质量优化
📋 核心要点
- 现有的检索增强机器翻译方法在所有输入上应用统一的检索策略，未能有效利用LLM的参数知识。
- 提出选择性检索增强翻译（SRAT），通过强化学习框架学习何时检索、检索什么以及如何整合决策。
- 实验表明，SRAT在多种翻译任务中优于传统基线，且质量对齐的检索器训练显著提升了翻译质量。
📝 摘要（中文）
检索外部知识可以通过提供补充信息（如成语解释和术语）来改善大型语言模型（LLM）的翻译。然而，现有的检索增强机器翻译系统通常对所有输入应用预定义的检索策略。我们认为翻译在部分证据的环境中进行：LLM的参数知识对许多输入是足够的，而外部证据则对某些输入有益，通常是支持而非直接提供所需翻译。为此，我们提出了选择性检索增强翻译（SRAT），一种基于代理强化学习的框架，学习何时直接翻译或检索，检索什么，以及如何整合这些决策以优化最终翻译质量。通过联合Plackett-Luce优化和翻译质量对比训练，我们进一步开发了检索器训练方法。实验结果表明，SRAT在成语、知识密集型和文档级翻译中均优于从不检索和总是检索的基线，并且质量对齐的检索器训练在相似性检索不足时提供了进一步的提升。
🔬 方法详解
问题定义：本论文旨在解决现有检索增强机器翻译系统在所有输入上统一应用检索策略的问题，导致在许多情况下未能有效利用LLM的参数知识。
核心思路：通过引入选择性检索增强翻译（SRAT），该方法利用强化学习框架，学习在何时直接翻译或进行检索，以及检索的内容，从而优化翻译质量。
技术框架：SRAT的整体架构包括三个主要模块：翻译决策模块、检索决策模块和质量优化模块。翻译决策模块负责判断何时直接翻译，检索决策模块决定检索的内容，质量优化模块则整合这些决策以提升最终翻译质量。
关键创新：SRAT的主要创新在于将检索视为可学习的翻译动作，而非固定的预处理步骤，从而使得检索过程能够根据具体输入动态调整。
关键设计：在训练过程中，采用联合Plackett-Luce优化和翻译质量对比训练作为损失函数，以确保检索器的训练与下游翻译质量对齐，此外，网络结构设计上注重模块间的协同工作。
🖼️ 关键图片
📊 实验亮点
实验结果显示，SRAT在成语、知识密集型和文档级翻译任务中均优于从不检索和总是检索的基线，尤其是在质量对齐的检索器训练下，翻译质量提升幅度显著，具体性能数据未提供。
🎯 应用场景
该研究的潜在应用领域包括机器翻译、智能客服和信息检索等场景，能够显著提升翻译系统在处理复杂文本时的准确性和效率。未来，该方法可能推动更多基于学习的检索策略在自然语言处理中的应用，提升整体智能化水平。
📄 摘要（原文）
Retrieving external knowledge can improve large language model (LLM) translation by providing supplementary information such as idiom interpretations and terminology. However, existing retrieval-augmented machine translation systems typically apply predefined retrieval strategies uniformly across all inputs. We argue that translation operates in a partial-evidence regime: LLM's parametric knowledge suffices for many inputs, while external evidence benefits a subset and usually supports rather than directly provides the desired translation. This creates two challenges: deciding when to retrieve and what evidence to acquire. We introduce Selective Retrieval-Augmented Translation (SRAT), an agentic reinforcement learning framework that learns when to translate directly or retrieve, what to retrieve, and how to integrate these decisions by optimizing final translation quality. To align evidence retrieval with downstream translation quality rather than simple semantic similarity, we further develop joint Plackett--Luce optimization and translation-quality contrastive training for retriever-training. Experiments on idiom, knowledge-intensive, and document-level translation with offline or online retrieval show that SRAT consistently outperforms never- and always-retrieve baselines, and quality-aligned retriever training provides further gains when similarity-based retrieval is insufficient. The results demonstrate the benefit of treating retrieval as a learnable translation action rather than fixed preprocessing.