Efficient Training for Cross-lingual Speech Language Models

📄 arXiv: 2604.11096v1 📥 PDF

作者: Yan Zhou, Qingkai Fang, Yun Hong, Yang Feng

分类: cs.CL, cs.AI, cs.SD

发布日期: 2026-04-13

备注: Accepted to Findings of ACL 2026

🔗 代码/项目: GITHUB

💡 一句话要点

提出跨语言语音语言模型CSLM，通过高效训练实现跨模态和跨语言对齐。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 跨语言语音模型 语音语言模型 跨模态对齐 持续预训练 指令微调 离散语音token 语音生成

📋 核心要点

  1. 现有大型语言模型主要集中在文本模态，语音LLM面临数据有限和难以扩展到更多语言的挑战。
  2. CSLM通过持续预训练实现跨模态和跨语言对齐，并使用语音-文本交错的指令微调增强模态对齐。
  3. 实验表明，CSLM在跨模态任务、单语和跨语言对话任务中表现出强大的跨模态对齐能力和通用任务能力。

📝 摘要（中文）

本文介绍了一种跨语言语音语言模型（CSLM），这是一种基于离散语音token的高效跨语言语音LLM训练方法。我们提出了一种新颖的对齐策略，通过持续预训练实现跨模态和跨语言对齐。通过执行语音-文本交错的链式模态生成过程的指令微调，我们在更细的粒度上增强了模态对齐，从而提高了生成质量并降低了延迟。CSLM无需大量语音数据即可同时对齐不同的模态和语言，因此具有良好的语言可扩展性。在跨模态任务、单语对话任务和跨语言对话任务上的评估表明，CSLM具有强大的跨模态对齐能力和通用任务能力。

🔬 方法详解

问题定义：现有的大型语言模型（LLM）主要集中在文本模态，而语音LLM的构建面临着数据量不足和难以扩展到多种语言的挑战。特别是在跨语言场景下，如何有效地对齐不同语言的语音和文本模态是一个关键问题。

核心思路：本文的核心思路是通过一种高效的训练方法，使得语音LLM能够在有限的数据下，同时实现跨模态（语音和文本）和跨语言的对齐。通过这种方式，模型可以更好地理解和生成不同语言的语音内容。

技术框架：CSLM的整体框架包括以下几个主要阶段：1) 基于离散语音token的表示学习；2) 通过持续预训练进行跨模态和跨语言对齐；3) 通过语音-文本交错的链式模态生成过程进行指令微调。其中，持续预训练阶段旨在使模型学习到不同语言语音和文本之间的对应关系，而指令微调阶段则进一步优化模型的生成能力。

关键创新：CSLM的关键创新在于其提出的跨模态和跨语言对齐策略，该策略通过持续预训练和指令微调，在不需要大量语音数据的情况下，实现了不同模态和语言的对齐。这种方法显著提高了模型的语言可扩展性，使其能够处理多种语言的语音任务。

关键设计：CSLM的关键设计包括：1) 使用离散语音token作为语音的表示，这有助于降低计算复杂度；2) 设计了一种新颖的对齐策略，通过持续预训练实现跨模态和跨语言对齐；3) 采用语音-文本交错的链式模态生成过程进行指令微调，以增强模态对齐，提高生成质量并降低延迟。具体的损失函数和网络结构细节在论文中未详细说明，属于未知信息。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

论文通过在跨模态任务、单语对话任务和跨语言对话任务上的评估，验证了CSLM的有效性。实验结果表明，CSLM具有强大的跨模态对齐能力和通用任务能力。具体的性能数据和提升幅度在摘要中未给出，属于未知信息，需要在论文正文中查找。

🎯 应用场景

CSLM具有广泛的应用前景，包括跨语言语音助手、多语言语音翻译、跨文化交流等。该模型能够理解和生成多种语言的语音，从而促进不同语言人群之间的交流和合作。此外，CSLM还可以应用于语音内容创作、语音数据增强等领域，具有重要的实际价值和未来影响。

📄 摘要（原文）

Currently, large language models (LLMs) predominantly focus on the text modality. To enable more natural human-AI interaction, speech LLMs are emerging, but building effective end-to-end speech LLMs remains challenging due to limited data and the difficulty in expanding to more languages. In this paper, we introduce Cross-lingual Speech Language Model (CSLM), an efficient training method for cross-lingual speech LLMs based on discrete speech tokens. We propose a novel alignment strategy that achieves cross-modal and cross-lingual alignment through continual pre-training. By conducting instruction fine-tuning following a speech-text interleaved chain-of-modality generation process, we enhance modal alignment at a finer granularity, thereby improving generation quality and reducing latency. CSLM aligns different modalities and languages simultaneously without the need for massive speech data, thus exhibiting good language scalability. Evaluations on cross-modal tasks, mono-lingual conversational tasks, and cross-lingual conversational tasks demonstrate CSLM's strong cross-modal alignment capabilities and general task abilities. (Code is available at: https://github.com/ictnlp/CSLM)