PMF-CEC: Phoneme-augmented Multimodal Fusion for Context-aware ASR Error Correction with Error-specific Selective Decoding
作者: Jiajun He, Tomoki Toda
分类: eess.AS, cs.AI, cs.CL, cs.SD
发布日期: 2025-05-31
备注: Accepted by IEEE TASLP 2025
💡 一句话要点
提出PMF-CEC，利用音素增强多模态融合，提升上下文感知ASR纠错中同音异形词的准确率。
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 语音识别 错误纠正 上下文感知 多模态融合 音素增强
📋 核心要点
- 现有ED-CEC方法在处理发音相似但拼写不同的罕见词时，纠错准确率较低，且错误检测模块存在过度检测问题。
- PMF-CEC方法通过音素增强多模态融合，更好地区分目标罕见词和同音词，并引入保留概率机制过滤低置信度编辑操作。
- 实验结果表明，PMF-CEC在多个数据集上降低了有偏词的错误率，并在推理速度和鲁棒性方面优于其他方法。
📝 摘要（中文）
端到端自动语音识别（ASR）模型在准确识别罕见词方面通常表现不佳。此前，我们提出了一种名为错误检测和上下文感知错误纠正（ED-CEC）的ASR后处理方法，该方法利用命名实体和技术术语等上下文信息来提高ASR转录的准确性。虽然ED-CEC在纠正罕见词方面取得了显著成功，但在处理发音相似但拼写不同的罕见词时，其准确性仍然较低。为了解决这个问题，我们在ED-CEC的基础上提出了一种用于上下文感知错误纠正的音素增强多模态融合方法（PMF-CEC），该方法可以更好地区分目标罕见词和同音词。此外，我们观察到之前的ASR错误检测模块存在过度检测的问题。为了缓解这个问题，我们引入了一种保留概率机制来过滤掉置信度分数低于设定阈值的编辑操作，保留原始操作以提高错误检测的准确性。在五个数据集上进行的实验表明，与ED-CEC相比，我们提出的PMF-CEC在保持合理推理速度的同时，进一步降低了有偏词的错误率，在纠正同音词方面表现出更强的优势。此外，我们的方法优于其他上下文偏置方法，并且在更快的推理速度和更大的偏置列表下的更好鲁棒性方面，与基于LLM的方法相比仍然具有价值。
🔬 方法详解
问题定义：论文旨在解决自动语音识别（ASR）后处理中，对于发音相似但拼写不同的罕见词（即同音异形词）纠错准确率低的问题。现有的ED-CEC方法虽然利用上下文信息进行纠错，但在区分同音异形词方面存在局限性，并且错误检测模块存在过度检测的问题，导致不必要的编辑操作。
核心思路：论文的核心思路是利用音素信息增强多模态融合，从而更好地区分同音异形词。同时，引入保留概率机制，过滤掉置信度较低的编辑操作，以减少错误检测模块的过度检测。这样设计的目的是为了提高ASR后处理的准确性和鲁棒性，尤其是在处理罕见词和同音异形词时。
技术框架：PMF-CEC方法是在ED-CEC方法的基础上进行改进的。整体框架包含以下几个主要模块：1) ASR转录模块（输入语音，输出文本）；2) 错误检测模块（检测ASR转录中的错误）；3) 音素增强模块（提取文本的音素信息）；4) 多模态融合模块（融合文本、上下文和音素信息）；5) 错误纠正模块（根据融合的信息进行错误纠正）；6) 保留概率机制（过滤低置信度编辑操作）。
关键创新：论文最重要的技术创新点在于：1) 引入音素信息，增强了模型区分同音异形词的能力；2) 提出保留概率机制，有效缓解了错误检测模块的过度检测问题。与现有方法的本质区别在于，PMF-CEC方法不仅考虑了文本和上下文信息，还考虑了语音信息，从而更全面地利用了可用的信息。
关键设计：关于关键设计，论文提到了保留概率机制，该机制通过设定阈值来过滤掉置信度分数低于该阈值的编辑操作。具体的阈值设置和置信度分数的计算方法可能需要参考论文的详细描述。此外，多模态融合模块的具体实现方式（例如，使用注意力机制或拼接等）以及音素信息的表示方法也是关键的设计细节。损失函数的设计目标是最小化纠错后的错误率，可能采用交叉熵损失或其他适用于序列到序列任务的损失函数。
🖼️ 关键图片
📊 实验亮点
实验结果表明，PMF-CEC方法在五个数据集上均优于ED-CEC方法，尤其是在纠正同音词方面表现出更强的优势，降低了有偏词的错误率。此外，PMF-CEC方法在推理速度和鲁棒性方面也优于其他上下文偏置方法和基于LLM的方法，使其在实际应用中更具优势。具体的性能数据和提升幅度需要在论文中查找。
🎯 应用场景
该研究成果可应用于各种需要高精度语音识别的场景，例如语音助手、智能客服、会议记录、语音搜索等。通过提高ASR转录的准确性，特别是对于罕见词和同音异形词的识别，可以提升用户体验，减少人工干预，并为后续的自然语言处理任务提供更可靠的基础。未来，该方法可以进一步扩展到其他语言和领域，并与其他技术（如知识图谱、大型语言模型）相结合，以实现更智能的语音识别和理解。
📄 摘要（原文）
End-to-end automatic speech recognition (ASR) models often struggle to accurately recognize rare words. Previously, we introduced an ASR postprocessing method called error detection and context-aware error correction (ED-CEC), which leverages contextual information such as named entities and technical terms to improve the accuracy of ASR transcripts. Although ED-CEC achieves a notable success in correcting rare words, its accuracy remains low when dealing with rare words that have similar pronunciations but different spellings. To address this issue, we proposed a phoneme-augmented multimodal fusion method for context-aware error correction (PMF-CEC) method on the basis of ED-CEC, which allowed for better differentiation between target rare words and homophones. Additionally, we observed that the previous ASR error detection module suffers from overdetection. To mitigate this, we introduced a retention probability mechanism to filter out editing operations with confidence scores below a set threshold, preserving the original operation to improve error detection accuracy. Experiments conducted on five datasets demonstrated that our proposed PMF-CEC maintains reasonable inference speed while further reducing the biased word error rate compared with ED-CEC, showing a stronger advantage in correcting homophones. Moreover, our method outperforms other contextual biasing methods, and remains valuable compared with LLM-based methods in terms of faster inference and better robustness under large biasing lists.