Beyond Specialization: Benchmarking LLMs for Transliteration of Indian Languages

📄 arXiv: 2505.19851v1 📥 PDF

作者: Gulfarogh Azam, Mohd Sadique, Saif Ali, Mohammad Nadeem, Erik Cambria, Shahab Saquib Sohail, Mohammad Sultan Alam

分类: cs.CL, cs.AI

发布日期: 2025-05-26

💡 一句话要点

评估大型语言模型在印度语言音译中的表现

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 音译 大型语言模型 多语言处理 自然语言处理 性能评估

📋 核心要点

  1. 现有的音译模型如IndicXlit在处理多语言音译时存在局限性，尤其是在面对不同语言的多样性时。
  2. 本文提出了一种系统评估方法，通过比较多种大型语言模型在音译任务中的表现，探索其在无任务特定训练下的潜力。
  3. 实验结果显示，GPT系列模型在音译任务中普遍优于其他模型，且微调后在特定语言上的表现显著提升。

📝 摘要（中文）

音译是将文本从一种书写系统映射到另一种书写系统的过程，在多语言自然语言处理中特别重要，尤其是在语言多样性较高的印度。尽管像IndicXlit这样的专用模型取得了显著进展，但大型语言模型（LLMs）在此任务中表现出色的潜力，且无需明确的任务特定训练。本文系统评估了包括GPT-4o、GPT-4.5、GPT-4.1、Gemma-3-27B-it和Mistral-Large在内的多种LLMs在十种主要印度语言上的表现，并与最先进的音译模型IndicXlit进行了比较。实验使用了标准基准数据集，如Dakshina和Aksharantar，通过Top-1准确率和字符错误率评估性能。研究发现，GPT系列模型在大多数情况下优于其他LLMs和IndicXlit，且对特定语言的微调显著提升了性能。

🔬 方法详解

问题定义：本文旨在解决在多语言环境中音译的准确性和效率问题，现有模型如IndicXlit在处理不同语言时表现不均，限制了其应用范围。

核心思路：通过系统评估多种大型语言模型在音译任务中的表现，探索其在无需专门训练的情况下的有效性，旨在证明基础模型在特定应用中的潜力。

技术框架：研究采用标准基准数据集（Dakshina和Aksharantar），通过Top-1准确率和字符错误率评估模型性能，比较不同LLMs与IndicXlit的表现。

关键创新：本研究的创新点在于系统性地评估大型语言模型在音译任务中的表现，揭示了其在多语言音译中的潜力，尤其是GPT系列模型的优势。

关键设计：实验中使用了多种大型语言模型，并通过微调技术优化特定语言的表现，采用标准的性能评估指标确保结果的可靠性。

📊 实验亮点

实验结果显示，GPT系列模型在大多数情况下的表现优于IndicXlit，特别是在特定语言的微调后，性能提升显著。具体而言，GPT-4o在多个语言上的Top-1准确率超过了其他模型，显示出其在音译任务中的强大能力。

🎯 应用场景

该研究的潜在应用领域包括多语言翻译、跨文化交流和自然语言处理系统的开发。通过提高音译的准确性，可以促进不同语言之间的沟通，增强信息的可达性，具有重要的社会价值和实际意义。

📄 摘要（原文）

Transliteration, the process of mapping text from one script to another, plays a crucial role in multilingual natural language processing, especially within linguistically diverse contexts such as India. Despite significant advancements through specialized models like IndicXlit, recent developments in large language models suggest a potential for general-purpose models to excel at this task without explicit task-specific training. The current work systematically evaluates the performance of prominent LLMs, including GPT-4o, GPT-4.5, GPT-4.1, Gemma-3-27B-it, and Mistral-Large against IndicXlit, a state-of-the-art transliteration model, across ten major Indian languages. Experiments utilized standard benchmarks, including Dakshina and Aksharantar datasets, with performance assessed via Top-1 Accuracy and Character Error Rate. Our findings reveal that while GPT family models generally outperform other LLMs and IndicXlit for most instances. Additionally, fine-tuning GPT-4o improves performance on specific languages notably. An extensive error analysis and robustness testing under noisy conditions further elucidate strengths of LLMs compared to specialized models, highlighting the efficacy of foundational models for a wide spectrum of specialized applications with minimal overhead.