Handling Numeric Expressions in Automatic Speech Recognition

📄 arXiv: 2408.00004v2 📥 PDF

作者: Christian Huber, Alexander Waibel

分类: eess.AS, cs.AI, cs.CL

发布日期: 2024-07-18 (更新: 2025-06-23)

💡 一句话要点

提出一种结合数据生成策略的端到端方法，用于自动语音识别中数值表达式的正确格式化。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 自动语音识别 数值表达式 数据增强 大型语言模型 文本到语音 端到端模型 自适应训练

📋 核心要点

  1. 自动语音识别中，数值表达式的格式化高度依赖上下文，传统方法难以准确区分。
  2. 论文提出利用大型语言模型和文本到语音模型生成数据，用于端到端模型的自适应训练。
  3. 实验结果表明，自适应的端到端模型在性能上与基于LLM的方法具有竞争力，且延迟更低。

📝 摘要（中文）

本文探讨了自动语音识别（ASR）转录中正确格式化数值表达式的问题。由于预期的转录格式取决于上下文，例如1945（年份）与19:45（时间戳），这带来了挑战。我们比较了级联方法和端到端方法，以识别和格式化数值表达式，如年份、时间戳、货币金额和数量。对于端到端方法，我们采用了一种数据生成策略，使用大型语言模型（LLM）结合文本到语音（TTS）模型来生成自适应数据。在我们的测试数据集上的结果表明，虽然基于LLM的方法在识别格式化的数值表达式方面表现良好，但经过自适应的端到端模型提供了具有竞争力的性能，并且具有更低的延迟和推理成本的优势。

🔬 方法详解

问题定义：论文旨在解决自动语音识别（ASR）转录文本中数值表达式格式不正确的问题。现有的方法，如级联方法，通常需要多个模块，处理流程复杂，容易出错。而直接使用未经优化的端到端模型，在处理数值表达式时，准确率往往不高，难以满足实际应用需求。

核心思路：论文的核心思路是利用数据增强的方式，改进端到端模型的性能。具体来说，通过大型语言模型（LLM）生成包含各种数值表达式的文本数据，然后使用文本到语音（TTS）模型将这些文本数据转换为语音数据，从而构建一个用于自适应训练的数据集。这样，端到端模型就可以学习到数值表达式的正确格式化方式。

技术框架：整体框架包含以下几个主要步骤：1) 使用LLM生成包含各种数值表达式的文本数据；2) 使用TTS模型将文本数据转换为语音数据；3) 使用生成的语音数据对端到端ASR模型进行自适应训练；4) 在测试数据集上评估模型的性能。该框架的核心在于数据生成和自适应训练两个阶段。

关键创新：最重要的技术创新点在于利用LLM和TTS模型自动生成训练数据，从而避免了人工标注的成本和限制。与传统的基于规则或有限数据集的方法相比，这种方法可以生成更丰富、更多样化的数据，从而提高模型的泛化能力。此外，通过自适应训练，可以使端到端模型更好地适应特定领域的数值表达式格式。

关键设计：论文中没有详细说明具体的参数设置、损失函数或网络结构。但是，可以推断，在自适应训练阶段，可能会使用一些常见的损失函数，如交叉熵损失或连接时序分类（CTC）损失。此外，网络结构的选择也可能对模型的性能产生影响，例如，可以使用基于Transformer的ASR模型。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果表明，通过LLM和TTS模型生成数据进行自适应训练的端到端模型，在数值表达式的识别和格式化方面，能够达到与基于LLM的复杂方法相媲美的性能。更重要的是，该端到端模型具有更低的延迟和推理成本，使其更适合实际应用。

🎯 应用场景

该研究成果可应用于各种需要准确语音转录的场景，例如金融领域的交易记录、医疗领域的病历记录、客服领域的对话记录等。通过提高数值表达式的识别准确率，可以显著提升语音转录的质量和可用性，减少人工校对的需求，提高工作效率。未来，该方法还可以扩展到其他类型的语音识别任务中，例如命令识别、语音搜索等。

📄 摘要（原文）

This paper addresses the problem of correctly formatting numeric expressions in automatic speech recognition (ASR) transcripts. This is challenging since the expected transcript format depends on the context, e.g., 1945 (year) vs. 19:45 (timestamp). We compare cascaded and end-to-end approaches to recognize and format numeric expressions such as years, timestamps, currency amounts, and quantities. For the end-to-end approach, we employed a data generation strategy using a large language model (LLM) together with a text to speech (TTS) model to generate adaptation data. The results on our test data set show that while approaches based on LLMs perform well in recognizing formatted numeric expressions, adapted end-to-end models offer competitive performance with the advantage of lower latency and inference cost.