A Low-Resource Speech-Driven NLP Pipeline for Sinhala Dyslexia Assistance

📄 arXiv: 2510.04750v1 📥 PDF

作者: Peshala Perera, Deshan Sumanathilaka

分类: cs.CL, cs.SE

发布日期: 2025-10-06

备注: 11 pages, 4 figures, 3 tables

💡 一句话要点

提出一套面向僧伽罗语阅读障碍辅助的低资源语音驱动NLP流水线

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 阅读障碍辅助 僧伽罗语 低资源语言 语音驱动NLP 文本纠错

📋 核心要点

  1. 现有方法缺乏对非英语语境下成人阅读障碍的有效支持，尤其是在僧伽罗语等低资源语言中。
  2. 该论文提出一个语音驱动的NLP流水线，利用语音识别、错误识别和文本纠正模型，辅助僧伽罗语阅读障碍患者。
  3. 实验结果表明，该系统在僧伽罗语阅读障碍辅助任务上取得了较好的转录和纠正准确率，验证了方法的可行性。

📝 摘要（中文）

本文针对成人阅读障碍在非英语语境下研究不足的问题，提出了一套面向僧伽罗语使用者的辅助系统。该系统集成了Whisper语音转文本模型，用于识别常见阅读障碍错误的SinBERT（一个开源的、针对僧伽罗语微调的BERT模型），以及一个结合mT5和Mistral的模型来生成修正文本。最后，使用gTTS将输出转换回语音，形成一个完整的多模态反馈循环。尽管僧伽罗语数据集有限，该系统仍实现了0.66的转录准确率和0.7的校正准确率，总体系统准确率为0.65。这些结果表明了该方法的可行性和有效性，并强调了包容性自然语言处理技术在代表性不足的语言中的重要性，展示了一个实用的解决方案。

🔬 方法详解

问题定义：论文旨在解决僧伽罗语环境下，针对成人阅读障碍的辅助工具匮乏的问题。现有方法在低资源语言上的表现不佳，缺乏针对性的错误识别和纠正机制，难以满足实际需求。

核心思路：论文的核心思路是构建一个端到端的语音驱动NLP流水线，利用语音识别技术将语音转换为文本，然后利用专门训练的模型识别和纠正阅读障碍错误，最后将修正后的文本转换回语音，形成闭环反馈。这种设计旨在提供多模态的辅助，增强用户的理解和学习效果。

技术框架：该系统包含以下主要模块：1) 语音转文本（STT）：使用Whisper模型将僧伽罗语语音转换为文本。2) 错误识别：使用SinBERT模型识别文本中的阅读障碍错误。3) 文本纠正：使用结合mT5和Mistral的模型生成修正后的文本。4) 文本转语音（TTS）：使用gTTS将修正后的文本转换回语音。整个流程形成一个完整的语音输入、文本处理和语音输出的循环。

关键创新：该论文的关键创新在于针对僧伽罗语阅读障碍问题，构建了一个完整的、低资源的语音驱动NLP流水线。特别地，SinBERT模型的引入，使得系统能够有效地识别僧伽罗语中常见的阅读障碍错误，这是现有通用NLP模型所不具备的。此外，结合mT5和Mistral进行文本纠正，也提升了纠正的准确性和流畅性。

关键设计：论文中关键的设计包括：1) SinBERT模型的训练：使用僧伽罗语数据对BERT模型进行微调，使其能够更好地识别阅读障碍错误。2) mT5和Mistral模型的结合：利用mT5的生成能力和Mistral的语言理解能力，提高文本纠正的质量。3) 多模态反馈：通过语音和文本的双重反馈，增强用户的理解和学习效果。具体的参数设置和损失函数等细节在论文中可能未详细描述，属于未知信息。

📊 实验亮点

该系统在僧伽罗语阅读障碍辅助任务上取得了显著成果，转录准确率达到0.66，校正准确率达到0.7，总体系统准确率为0.65。这些结果表明，即使在低资源语言环境下，通过合理的模型选择和训练，也能构建有效的阅读障碍辅助系统。具体的基线对比信息未知，但该结果验证了所提出方法的可行性。

🎯 应用场景

该研究成果可应用于开发面向僧伽罗语使用者的阅读障碍辅助工具，帮助他们提高阅读能力和学习效率。此外，该方法也可以推广到其他低资源语言的阅读障碍辅助领域，具有重要的社会价值和应用前景。未来，可以将该系统集成到移动应用或在线平台中，方便用户随时随地使用。

📄 摘要（原文）

Dyslexia in adults remains an under-researched and under-served area, particularly in non-English-speaking contexts, despite its significant impact on personal and professional lives. This work addresses that gap by focusing on Sinhala, a low-resource language with limited tools for linguistic accessibility. We present an assistive system explicitly designed for Sinhala-speaking adults with dyslexia. The system integrates Whisper for speech-to-text conversion, SinBERT, an open-sourced fine-tuned BERT model trained for Sinhala to identify common dyslexic errors, and a combined mT5 and Mistral-based model to generate corrected text. Finally, the output is converted back to speech using gTTS, creating a complete multimodal feedback loop. Despite the challenges posed by limited Sinhala-language datasets, the system achieves 0.66 transcription accuracy and 0.7 correction accuracy with 0.65 overall system accuracy. These results demonstrate both the feasibility and effectiveness of the approach. Ultimately, this work highlights the importance of inclusive Natural Language Processing (NLP) technologies in underrepresented languages and showcases a practical