Index-Translate: A Multilingual Translation Model Family -- Text, Speech, Controlled Dubbing, and Long-Document Translation

📄 arXiv: 2609.40181v1 📥 PDF

作者: Tianjiao Li, Mengran Yu, Chenyu Shi, Lusheng Zhang, Qisi Chen, Yanshan Zhou, Ji Qi, Jingying Liu, Yuang Feng, Ziang Cui, Tianxing Yan

分类: cs.CL

发布日期: 2026-09-30

备注: 27 pages. Project: https://index-translate.bilibili.com ; Code and models: https://github.com/bilibili/Index-Translate

💡 一句话要点

提出Index-Translate以解决多语言翻译任务的多样性问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多语言翻译 语音翻译 长文档翻译 受控配音 指令跟随

📋 核心要点

  1. 现有翻译模型在处理多样化翻译任务时存在局限性，难以满足不同场景的需求。
  2. Index-Translate通过构建一个共享的多语言基础，并针对特定任务进行专门训练，提供了多种翻译能力。
  3. 实验结果表明，Index-Translate在一般翻译和复杂指令翻译中表现优异，超越了同规模模型，接近100B规模模型的性能。

📝 摘要（中文）

我们介绍了Index-Translate，一个多语言翻译模型家族，结合了共享的多语言基础与针对一般翻译、指令跟随、语音翻译、受控配音和长文档翻译的专门训练。该模型包括三种规模：2B、9B和35B-A3B，支持150种语言的翻译，并具备多语言指令跟随能力。在一般翻译和复杂翻译指令的评估中，Index-Translate的表现超越了同规模的翻译模型，并且与100B规模的翻译模型及前沿模型的表现相当。Index-Echo提供端到端的语音到文本和语音到语音翻译，超越了现有的端到端模型，且表现与前沿全能模型相当。Index-Homura将该家族扩展到音节控制的配音，Index-NativeLong引入了原生长文档翻译，具有专门的任务定义和基准。这些能力支持多样的翻译任务，包括多语言内容生产。

🔬 方法详解

问题定义：本论文旨在解决现有多语言翻译模型在处理多样化翻译任务时的不足，尤其是在指令跟随、语音翻译和长文档翻译等复杂场景中的表现不足。

核心思路：论文提出的Index-Translate模型家族结合了共享的多语言基础和针对特定任务的专门训练，旨在提升翻译的灵活性和准确性。

技术框架：该模型家族包括三种规模（2B、9B和35B-A3B），支持150种语言的翻译，整体架构由多语言基础模型和多个专门任务模型组成，涵盖一般翻译、语音翻译、受控配音和长文档翻译等模块。

关键创新：最重要的创新在于将多语言基础与多种专门任务结合，形成一个统一的模型家族，显著提升了多种翻译任务的处理能力。

关键设计：模型的参数设置和损失函数经过精心设计，以确保在不同任务中均能达到最佳性能，网络结构采用了最新的Transformer架构，增强了模型的表达能力。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

在实验中，Index-Translate在一般翻译和复杂指令翻译的评估中表现优于同规模的翻译模型，且在某些任务上与100B规模的模型表现相当。此外，Index-Echo在语音翻译任务中超越了现有的端到端模型，显示出其强大的性能优势。

🎯 应用场景

Index-Translate的研究成果在多语言内容生产、国际交流、教育和娱乐等领域具有广泛的应用潜力。其灵活的翻译能力能够满足不同用户的需求，提升跨语言沟通的效率和准确性，未来可能推动全球化进程的加速。

📄 摘要（原文）

We introduce Index-Translate, a multilingual translation model family that combines a shared multilingual foundation with specialized training for general translation, instruction following, speech translation, controlled dubbing, and long-document translation. It includes three model sizes, 2B, 9B, and 35B-A3B, and supports translation in 150 languages, with multilingual instruction following. Evaluations on general translation and complex translation instructions show that Index-Translate outperforms translation models of comparable size and achieves performance comparable to 100B-scale translation models and frontier models. Index-Echo provides end-to-end speech-to-text and speech-to-speech translation, outperforming existing end-to-end models and achieving performance comparable to frontier omni models. Index-Homura extends the family to syllable-controlled dubbing. Index-NativeLong introduces native long-document translation with a dedicated task formulation and benchmark. These capabilities support diverse translation tasks, including multilingual content production.