Listening or Reading? Evaluating Speech Awareness in Chain-of-Thought Speech-to-Text Translation

📄 arXiv: 2510.03115v1 📥 PDF

作者: Jacobo Romero-Díaz, Gerard I. Gállego, Oriol Pareras, Federico Costa, Javier Hernando, Cristina España-Bonet

分类: cs.CL, cs.SD

发布日期: 2025-10-03

💡 一句话要点

评估思维链语音到文本翻译中的语音感知能力，发现其主要依赖文本转录。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 语音到文本翻译 思维链 语音感知 归因分析 鲁棒性评估

📋 核心要点

  1. 现有S2TT系统受限于错误传播，且无法有效利用语音中的韵律等声学信息。
  2. 论文分析CoT方法在S2TT中的语音感知能力，发现其主要依赖文本转录，未能有效利用语音。
  3. 通过引入直接S2TT数据或噪声转录注入等训练干预，可以提升模型的鲁棒性和语音信息的利用率。

📝 摘要（中文）

基于自动语音识别（ASR）和文本到文本翻译（T2TT）模块构建的语音到文本翻译（S2TT）系统面临两个主要限制：错误传播和无法利用韵律或其他声学线索。最近引入的思维链（CoT）提示旨在通过联合访问语音和转录来克服这些问题。通过归因方法、使用损坏的转录本进行的鲁棒性评估以及韵律感知分析CoT，我们发现它在很大程度上反映了级联行为，主要依赖于转录本，而几乎没有利用语音。简单的训练干预，例如添加直接S2TT数据或噪声转录注入，可以增强鲁棒性并增加语音归因。这些发现挑战了CoT的假定优势，并强调了对明确将声学信息集成到翻译中的架构的需求。

🔬 方法详解

问题定义：论文旨在解决语音到文本翻译（S2TT）系统中，模型对语音信息的利用不足的问题。现有的S2TT系统通常由自动语音识别（ASR）和文本到文本翻译（T2TT）模块级联而成，这种结构容易导致错误传播，并且无法充分利用语音中的韵律、语调等声学信息。即使引入了思维链（CoT）方法，期望其能同时利用语音和文本信息，但实际效果并不理想。

核心思路：论文的核心思路是通过分析CoT模型在S2TT任务中的行为，揭示其对语音和文本信息的依赖程度。通过归因分析、鲁棒性测试和韵律感知评估，确定CoT模型是否真正利用了语音信息，并探究如何增强模型对语音信息的利用。

技术框架：论文采用的评估框架包括以下几个关键步骤：首先，使用归因方法分析CoT模型对语音和文本信息的关注程度；其次，通过引入噪声转录本，评估模型的鲁棒性；最后，通过分析模型对韵律信息的敏感度，评估其语音感知能力。此外，论文还尝试了两种训练干预方法：添加直接S2TT数据和噪声转录注入，以提升模型对语音信息的利用。

关键创新：论文的关键创新在于对CoT模型在S2TT任务中的语音感知能力进行了深入的分析和评估，揭示了CoT模型主要依赖文本转录的现象。此外，论文还提出了两种简单的训练干预方法，可以有效提升模型对语音信息的利用，为未来的S2TT模型设计提供了新的思路。

关键设计：论文中使用的归因方法包括Integrated Gradients等，用于分析模型对不同输入特征的敏感度。鲁棒性测试通过引入不同程度的噪声到转录本中，评估模型在面对错误转录时的表现。韵律感知评估通过分析模型对不同韵律特征的响应，判断其是否能够有效利用语音中的韵律信息。训练干预方面，添加直接S2TT数据可以增加模型对语音和文本之间关系的理解，噪声转录注入可以提升模型的鲁棒性。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果表明，CoT模型在S2TT任务中主要依赖文本转录，对语音信息的利用率较低。通过添加直接S2TT数据或噪声转录注入，模型的语音归因显著增加，鲁棒性得到提升。例如，在噪声转录本的条件下，经过训练干预的模型性能优于原始CoT模型。

🎯 应用场景

该研究成果可应用于语音翻译、语音助手、智能客服等领域。通过提升模型对语音信息的利用，可以提高翻译质量和用户体验。未来的研究可以探索更有效的声学信息融合方法，例如设计专门的声学编码器或使用注意力机制来增强模型对语音信息的关注。

📄 摘要（原文）

Speech-to-Text Translation (S2TT) systems built from Automatic Speech Recognition (ASR) and Text-to-Text Translation (T2TT) modules face two major limitations: error propagation and the inability to exploit prosodic or other acoustic cues. Chain-of-Thought (CoT) prompting has recently been introduced, with the expectation that jointly accessing speech and transcription will overcome these issues. Analyzing CoT through attribution methods, robustness evaluations with corrupted transcripts, and prosody-awareness, we find that it largely mirrors cascaded behavior, relying mainly on transcripts while barely leveraging speech. Simple training interventions, such as adding Direct S2TT data or noisy transcript injection, enhance robustness and increase speech attribution. These findings challenge the assumed advantages of CoT and highlight the need for architectures that explicitly integrate acoustic information into translation.