SignRAG: Unified Retrieval-Augmented Gloss-Free Sign Language Translation

📄 arXiv: 2610.11371v1 📥 PDF

作者: Zhi Rao, Yucheng Zhou, Qianran Sun, Yiqing Huang, Longcan Yuan, Jiayi Hou, Chengwen Yao, Lin Cheng, Donghui Sun, Xiaoxin Chen, Jun Wan

分类: cs.CL, cs.CV, cs.MM

发布日期: 2026-10-08

🔗 代码/项目: GITHUB

💡 一句话要点

提出SignRAG以解决无注释手语翻译的局限性问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 手语翻译 无注释学习 检索增强 强化学习 多模态学习

📋 核心要点

  1. 现有的无注释手语翻译方法主要依赖传统的编码-解码模型，难以充分利用解码器LLMs的优势。
  2. SignRAG框架通过分层预训练和检索增强，优化手语表示与LLM的对齐，提升翻译效果。
  3. 在多个SLT基准测试中，SignRAG实现了新的最优性能，尤其在CSL-Daily数据集上超越了所有注释监督方法。

📝 摘要（中文）

当代的解码器大型语言模型（LLMs）在多个领域展现了强大的能力。然而，现有的无注释手语翻译（SLT）预训练范式主要围绕传统的编码-解码预训练语言模型设计，这限制了其在解码器LLMs中的直接应用。为了解决这一限制，本文提出了SignRAG，一个统一的框架，结合了分层预训练、目标领域检索增强和检索感知的强化微调。分层预训练首先学习语言学基础的手语表示，然后将手语编码器与LLM联合对齐，缓解跨模态优化不平衡。SignRAG通过提供实例特定的翻译线索，补充了基于参数的微调。为确保检索上下文的适当使用，进一步引入了检索效用引导的强化微调（RUG-RFT），结合翻译质量和检索效用奖励，鼓励有益的检索使用，同时抑制有害的依赖。多项SLT基准实验表明，SignRAG在性能上达到了新的最优状态。

🔬 方法详解

问题定义：本文旨在解决现有无注释手语翻译方法在解码器LLMs中的应用局限性，现有方法多依赖于编码-解码结构，无法充分发挥解码器的潜力。

核心思路：SignRAG通过分层预训练学习手语的语言学基础表示，并将其与LLM进行联合对齐，旨在缓解跨模态的优化不平衡问题，同时引入检索增强以提供实例特定的翻译线索。

技术框架：SignRAG的整体架构包括分层预训练、目标领域检索增强和检索效用引导的强化微调三个主要模块。分层预训练首先学习手语表示，然后与LLM对齐，最后通过检索增强进行微调。

关键创新：SignRAG的主要创新在于其无注释的手语翻译方法首次在所有指标上超越了注释监督的方法，特别是在CSL-Daily数据集上，展示了其在无注释学习中的有效性。

关键设计：在设计中，采用了检索效用引导的强化微调（RUG-RFT），结合翻译质量和检索效用的奖励机制，以确保检索上下文的有效使用，避免不良依赖。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

在多个手语翻译基准测试中，SignRAG实现了新的最优性能，尤其在CSL-Daily数据集上，其表现超越了所有现有的注释监督方法，展示了显著的性能提升，具体提升幅度未知。

🎯 应用场景

该研究的潜在应用领域包括教育、无障碍沟通和人机交互等。通过提升手语翻译的准确性和流畅性，SignRAG能够帮助聋哑人士更好地与社会沟通，并为相关技术的进一步发展奠定基础。

📄 摘要（原文）

Contemporary decoder-only large language models (LLMs) have demonstrated strong capabilities across a wide range of domains. However, existing pretraining paradigms for gloss-free sign language translation (SLT) are largely designed around conventional encoder-decoder pretrained language models, which limits their direct applicability to decoder-only LLMs. To address this limitation, we propose SignRAG, a unified framework combining hierarchical pretraining, target-domain retrieval augmentation, and retrieval-aware reinforcement fine-tuning. Hierarchical pretraining first learns linguistically grounded sign representations and then jointly aligns the sign encoder with an LLM, mitigating cross-modal optimization imbalance. For downstream adaptation, SignRAG complements parameter-based fine-tuning with a target-domain retrieval gallery that provides instance-specific translation cues. To ensure that retrieved contexts are used appropriately, we further introduce Retrieval Utility-Guided Reinforcement Fine-Tuning (RUG-RFT), which combines translation-quality and retrieval-utility rewards to encourage beneficial retrieval use while suppressing harmful reliance. Experiments on multiple SLT benchmarks establish new state-of-the-art performance. In particular, to the best of our knowledge, SignRAG is the first gloss-free approach to outperform gloss-supervised methods across all reported metrics on CSL-Daily. Our code has been released at \href{https://github.com/shahelaojieraozhi/SignRAG}{GitHub}, together with models of different sizes to support future academic research.