StreamUni: Achieving Streaming Speech Translation with a Unified Large Speech-Language Model

📄 arXiv: 2507.07803v2 📥 PDF

作者: Shoutao Guo, Xiang Li, Mengge Liu, Wei Chen, Yang Feng

分类: cs.CL, cs.SD, eess.AS

发布日期: 2025-07-10 (更新: 2025-07-13)

备注: The code is at https://github.com/ictnlp/StreamUni; The model is at https://huggingface.co/ICTNLP/StreamUni-Phi4

💡 一句话要点

StreamUni：利用统一大型语音语言模型实现流式语音翻译

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 流式语音翻译 大型语音语言模型 链式思考 语音分割 策略决策 多阶段生成 低延迟 统一模型

📋 核心要点

  1. 现有流式语音翻译方法依赖句子级分割，上下文信息受限，影响翻译质量和策略决策。
  2. StreamUni利用大型语音语言模型和语音链式思考，实现语音分割、策略决策和翻译生成一体化。
  3. 提出的流式CoT训练方法，利用有限数据提升低延迟策略决策和生成能力，实验结果SOTA。

📝 摘要（中文）

流式语音翻译（StreamST）需要在持续接收源语音输入的同时，确定合适的策略来生成翻译，即确定何时生成翻译，需要在低延迟和高质量翻译之间取得平衡。现有的StreamST方法通常在句子级别的语音片段上操作，即同步语音翻译（SimulST）。在实践中，它们需要与分割模型协作才能完成StreamST，但截断的语音片段限制了SimulST模型基于有限的上下文信息做出策略决策和生成翻译。此外，由于语音输入和跨语言生成的复杂性，SimulST模型难以学习有效的策略。为了解决这些挑战，我们提出了StreamUni，它通过统一的大型语音语言模型（LSLM）实现StreamST。具体来说，StreamUni结合了语音链式思考（CoT），引导LSLM生成多阶段输出。利用这些多阶段输出，StreamUni同时完成语音分割、策略决策和翻译生成，无需大量的特定策略训练即可完成StreamST。此外，我们提出了一种流式CoT训练方法，该方法使用有限的CoT数据来增强低延迟策略决策和生成能力。实验表明，我们的方法在StreamST任务上实现了最先进的性能。

🔬 方法详解

问题定义：论文旨在解决流式语音翻译（StreamST）中，现有方法依赖句子级语音分割导致的上下文信息不足，以及策略学习困难的问题。现有方法通常需要额外的分割模型，并且SimulST模型在有限的上下文信息下难以做出准确的策略决策，影响翻译质量和延迟。

核心思路：论文的核心思路是利用一个统一的大型语音语言模型（LSLM），通过语音链式思考（CoT）的方式，将语音分割、策略决策和翻译生成整合到一个模型中。这样可以避免对分割模型的依赖，并利用LSLM强大的语言建模能力，提升翻译质量和策略决策的准确性。

技术框架：StreamUni的整体框架包括：1) 输入语音特征；2) LSLM进行多阶段生成，包括语音分割、策略决策和翻译生成；3) 利用流式CoT训练方法优化模型。LSLM是核心模块，负责处理语音输入并生成多阶段输出。语音CoT引导LSLM逐步完成分割、决策和翻译任务。

关键创新：最重要的技术创新点在于将语音分割、策略决策和翻译生成统一到一个LSLM中，并通过语音CoT引导LSLM进行多阶段输出。这与现有方法依赖单独的分割模型和SimulST模型有本质区别，避免了信息割裂和模型间的误差传递。

关键设计：StreamUni的关键设计包括：1) 语音CoT的设计，用于引导LSLM生成多阶段输出；2) 流式CoT训练方法，用于优化低延迟策略决策和生成能力。具体的参数设置、损失函数和网络结构等细节在论文中进行了详细描述，但摘要中未明确提及具体数值。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，StreamUni在流式语音翻译任务上取得了最先进的性能（SOTA）。具体的数据和对比基线在摘要中没有给出，但强调了该方法在StreamST任务上的优越性。流式CoT训练方法也有效提升了低延迟策略决策和生成能力。

🎯 应用场景

StreamUni具有广泛的应用前景，例如实时会议翻译、在线教育、跨语言客户服务等。该研究可以显著提升流式语音翻译的质量和效率，促进跨语言交流，具有重要的实际应用价值和社会意义。未来可以进一步探索在资源稀缺语言上的应用，以及与其他模态信息的融合。

📄 摘要（原文）

Streaming speech translation (StreamST) requires determining appropriate timing, known as policy, to generate translations while continuously receiving source speech inputs, balancing low latency with high translation quality. However, existing StreamST methods typically operate on sentence-level speech segments, referred to as simultaneous speech translation (SimulST). In practice, they require collaboration with segmentation models to accomplish StreamST, where the truncated speech segments constrain SimulST models to make policy decisions and generate translations based on limited contextual information. Moreover, SimulST models struggle to learn effective policies due to the complexity of speech inputs and cross-lingual generation. To address these challenges, we propose StreamUni, which achieves StreamST through a unified Large Speech-Language Model (LSLM). Specifically, StreamUni incorporates speech Chain-of-Thought (CoT) in guiding the LSLM to generate multi-stage outputs. Leveraging these multi-stage outputs, StreamUni simultaneously accomplishes speech segmentation, policy decision, and translation generation, completing StreamST without requiring massive policy-specific training. Additionally, we propose a streaming CoT training method that enhances low-latency policy decisions and generation capabilities using limited CoT data. Experiments demonstrate that our approach achieves state-of-the-art performance on StreamST tasks.