Synthetic-to-Real Code-Switched ASR: A Spontaneous Nepali-English Podcast Benchmark

📄 arXiv: 2610.30860v1 📥 PDF

作者: Firoj Paudel

分类: cs.CL, cs.SD

发布日期: 2026-10-22

备注: 9 pages, 4 figures, 7 tables. Code: https://github.com/Firoj-Wise/nepali-english-codeswitch-asr, Dataset: https://huggingface.co/datasets/SamaFiroz/nepali-english-codeswitch-podcasts

💡 一句话要点

提出合成到真实的代码切换ASR框架以解决尼泊尔语-英语识别问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 自动语音识别 代码切换 合成语音 监督微调 策略优化 多语言处理 语音技术

📋 核心要点

  1. 现有的ASR系统在处理尼泊尔语-英语代码切换时面临脚本混淆和语言切换点错误率高的问题。
  2. 本文提出了一个两阶段的合成到真实适应框架，通过合成语音进行监督微调和策略优化来提高识别性能。
  3. 实验结果显示，合成SFT将混合错误率降低了1.88个百分点，切换点错误率降低了7.12个百分点，表明该方法有效提升了ASR性能。

📝 摘要（中文）

尼泊尔语-英语代码切换对自动语音识别（ASR）提出了严峻挑战，主要体现在脚本混淆和语言切换点的错误率升高。为此，本文构建了一个包含13,044个自发播客语句的新基准，并提出了一个两阶段的合成到真实适应框架。通过对合成语音进行监督微调（SFT）和使用组相对策略优化（GRPO），研究发现合成SFT显著降低了混合错误率和切换点错误率。最终，研究结果表明，SFT和GRPO的结合在提高识别准确性方面具有重要意义。

🔬 方法详解

问题定义：本文旨在解决尼泊尔语-英语代码切换语音的自动识别问题，现有方法在脚本混淆和语言切换点的错误率上存在显著不足。

核心思路：提出一个两阶段的合成到真实适应框架，第一阶段通过合成语音进行监督微调，第二阶段利用组相对策略优化来进一步提升识别性能。

技术框架：整体框架分为两个阶段：第一阶段使用多说话人双引擎的文本到语音（TTS）系统合成语音并进行SFT，第二阶段则通过GRPO进行优化，结合转录和脚本奖励。

关键创新：最重要的创新在于合成SFT与GRPO的结合，能够有效地将合成数据的知识迁移到自发的真实语音中，显著降低错误率。

关键设计：在SFT过程中，采用了特定的损失函数和奖励机制，确保合成语音与真实语音之间的有效对齐，同时在GRPO阶段引入了辅助脚本奖励项以优化脚本混淆问题。

📊 实验亮点

实验结果显示，合成SFT将混合错误率从23.40%降低至21.52%，切换点错误率从35.89%降低至28.77%。后续的GRPO优化在173个测试语句上实现了1.69%的小幅提升，显著改善了英语脚本混淆率和切换点错误率，验证了该方法的有效性。

🎯 应用场景

该研究的潜在应用领域包括多语言语音助手、自动字幕生成和跨语言信息检索等。通过提高代码切换语音的识别准确性，能够更好地服务于多语言用户，提升人机交互的自然性和流畅性。未来，该方法还可以扩展到其他语言对的代码切换识别任务中，具有广泛的应用前景。

📄 摘要（原文）

Nepali-English code-switched conversational speech presents severe challenges for automatic speech recognition (ASR), chiefly through script confusion (inappropriate mixing of Devanagari and Latin orthography) and elevated error rates at language switch points. Supervised fine-tuning (SFT) can adapt multilingual foundation models, but human code-switched audio is expensive to collect and annotate. We curate a new benchmark of 13,044 spontaneous podcast utterances (15.45 h total; 10,214 test, 2,830 dev), audited and verified to eliminate machine translation leakages and acoustic loops. We investigate a two-stage synthetic-to-real adaptation framework: Stage 1 applies SFT on 0.95 h of speech synthesized via a multi-speaker, dual-engine TTS pipeline; Stage 2 explores Group Relative Policy Optimization (GRPO) with transcription and script rewards. We find that synthetic SFT provides the primary cross-domain transfer to spontaneous human speech, reducing Mixed Error Rate (MER) from 23.40% to 21.52% (-1.88 pp) and switch-point error rate (SPER) from 35.89% to 28.77% (-7.12 pp). Subsequent GRPO yields small, statistically significant adjustments on 173 test utterances (1.69%), driving English script confusion (SCR_en) from 6.45% to 6.36% (p <= 0.001) and SPER to 28.70% (p = 0.022 clustered). Crucially, ablation reveals that in this SFT-converged encoder-decoder setting, an auxiliary script reward term yields performance identical to MER-only optimization because rollout candidate groups exhibit near-zero script variance on synthetic data. On monolingual benchmarks, SFT improves Nepali MER by 2.71 pp (stabilizing at 18.42% after GRPO, a 2.38 pp gain over baseline) while preserving English lexical WER (3.38% vs. 3.33%). Verified transcripts, timestamps, episode metadata, and reconstruction scripts are publicly released.