Translation Circuit Discovery and Targeted Optimization for Low-Resource Multilingual Translation

📄 arXiv: 2610.21456v1 📥 PDF

作者: Atai Waris Khan, Abdullah Mazhar, Raghu Kumar, Md Shad Akhtar

分类: cs.CL

发布日期: 2026-10-15

💡 一句话要点

提出TITAN框架以优化低资源多语言翻译

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多语言翻译 低资源语言 模型优化 因果干预 稀疏特征分解 翻译电路 TITAN框架

📋 核心要点

  1. 现有的多语言翻译模型在低资源语言对的翻译效果上仍存在不足，尤其是对内部机制的理解较为薄弱。
  2. 本文提出的TITAN框架通过聚焦于稀疏且因果重要的翻译电路，优化关键组件，从而实现高效的模型适应。
  3. 实验结果显示，TITAN在印地语到乌尔都语和信德语的翻译中分别提升了33.75%和45.86%的BLEU分数，且翻译质量得到了专家的认可。

📝 摘要（中文）

近年来，多语言大语言模型在翻译性能上取得了显著进展，但其在低资源多语言翻译中的内部机制仍不够清晰。本文研究了多语言解码器中翻译电路的特性，提出了TITAN框架，通过因果干预、稀疏特征分解和目标偏好优化来识别和优化变换器中的关键翻译组件。与传统的全参数微调方法不同，TITAN仅优化稀疏且因果重要的电路，使得模型在更新不到5%参数的情况下实现可扩展和高效的适应。实验结果表明，TITAN在印地语到乌尔都语和印地语到信德语的翻译中分别提升了33.75%和45.86%的BLEU分数，且人类专家评估进一步确认了翻译的充分性和流畅性显著提高。分析结果显示，多语言翻译是通过稀疏的结构化电路在共享语义子空间中实现的，而非依赖于以英语为中心的中介表示。

🔬 方法详解

问题定义：本文旨在解决低资源多语言翻译中对内部机制理解不足的问题，现有方法往往依赖于全参数微调，导致效率低下。

核心思路：TITAN框架通过因果干预和稀疏特征分解，识别并优化关键翻译电路，避免了对所有参数的调整，从而实现高效的模型适应。

技术框架：TITAN的整体架构包括三个主要模块：因果干预用于识别重要电路，稀疏特征分解用于提取关键特征，目标偏好优化用于调整模型输出。

关键创新：TITAN的核心创新在于其聚焦于稀疏且因果重要的电路优化，与传统方法相比，显著减少了需要调整的参数数量，提高了效率。

关键设计：在参数设置上，TITAN仅更新不到5%的模型参数，采用特定的损失函数来优化翻译质量，并利用结构化电路来实现多语言翻译。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

TITAN框架在印地语到乌尔都语和信德语的翻译中分别实现了33.75%和45.86%的BLEU分数提升，超越了现有的多语言基线模型。人类专家评估进一步确认了翻译的充分性和流畅性显著提高，展示了该方法的有效性。

🎯 应用场景

该研究的潜在应用领域包括低资源语言的翻译系统、跨语言信息检索以及多语言对话系统等。通过优化翻译电路，TITAN框架能够在资源有限的情况下提升翻译质量，具有重要的实际价值和广泛的应用前景。

📄 摘要（原文）

Recent multilingual large language models achieve strong translation performance, yet the internal mechanisms responsible for low-resource multilingual translation remain insufficiently understood. In this paper, we study translation circuits in multilingual decoder-only LLMs for Hindi-to-Urdu and Hindi-to-Sindhi (Devanagari). We propose TITAN, a mechanistic framework that combines causal intervention, sparse feature decomposition, and targeted preference optimization to identify and optimize crucial translation components in the transformer. Unlike conventional full-parameter fine-tuning, TITAN restricts optimization to sparse, causally important circuits, enabling scalable and parameter-efficient adaptation while updating fewer than 5% of model parameters. Experimental results show that TITAN achieves BLEU improvements of 33.75% on Hindi-to-Urdu and 45.86% on Hindi-to-Sindhi over the strongest multilingual baselines. Human expert evaluation further confirms substantial gains in adequacy and fluency across both language pairs. Additional analyses reveal that multilingual translation is implemented through sparse, structured circuits operating over a shared semantic subspace rather than through an English-centric pivot representation. Overall, our findings demonstrate that mechanistic circuit discovery can directly improve low-resource multilingual translation while providing interpretable insights into multilingual transformer behavior.