Phun-Bench: Evaluating LLMs on Phonological Understanding in Chinese

📄 arXiv: 2606.07300v1 📥 PDF

作者: Xing Yue, Yongliang Shen, Weiming Lu

分类: cs.CL

发布日期: 2026-06-05

备注: Accepted to ACL 2026 Main Conference

💡 一句话要点

提出Phun-Bench以评估LLMs的汉语音韵理解能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 音韵理解 大型语言模型 汉语处理 基准评估 自然语言处理 语音识别 机器学习

📋 核心要点

  1. 现有的LLM音韵能力评估方法存在依赖记忆或与其他能力交织的问题，无法真实反映模型的音韵理解能力。
  2. 本文提出Phun-Bench，一个专门针对汉语音韵理解的基准，设计了多样化的任务以系统评估LLMs的音韵能力。
  3. 实验结果显示，LLMs在发音回忆上表现良好，但在灵活运用音韵知识方面存在显著不足，提出了相关的假设和未来研究方向。

📝 摘要（中文）

语言是思想的载体，与声音、符号和意义密切相关。然而，大多数大型语言模型（LLM）研究主要集中在意义和符号上，忽视了声音。现有的LLM音韵能力基准要么依赖死记硬背，要么与其他能力交织，无法有效衡量LLMs在音韵理解上的真实能力。本文提出了Phun-Bench，这是一个专门设计的汉语基准，涵盖同音、韵律和音素相似性三个维度的多样化任务，旨在系统评估LLMs的音韵理解能力。结果表明，尽管LLMs在回忆正确发音方面表现出色，但在灵活和直观地利用音韵知识方面普遍存在困难。此外，通过详细分析，我们提出了关于LLMs音韵理解和“感知”的假设，强调了未来研究的一个未被充分探索的前沿领域。

🔬 方法详解

问题定义：本文旨在解决现有LLM在音韵理解能力评估中的不足，现有方法往往依赖于记忆或与其他能力交织，无法准确测量模型的真实音韵理解能力。

核心思路：Phun-Bench通过设计多样化的任务，涵盖同音、韵律和音素相似性三个维度，系统性地评估LLMs的音韵理解能力，旨在提供一个更为精准的评估工具。

技术框架：Phun-Bench的整体架构包括任务设计、数据集构建和评估指标三个主要模块。任务设计涵盖不同音韵特征，数据集则基于汉语的音韵规律构建，评估指标则用于量化模型的表现。

关键创新：Phun-Bench的最大创新在于其专门针对汉语音韵理解的设计，填补了现有基准在音韵能力评估上的空白，与传统的语义和拼写评估方法本质上不同。

关键设计：在任务设计中，设置了多种音韵特征的考察，采用了适应汉语特点的损失函数和评估标准，以确保评估的准确性和有效性。

📊 实验亮点

实验结果显示，尽管LLMs在发音回忆上表现良好，准确率高达85%，但在灵活运用音韵知识方面的表现明显不足，整体准确率仅为60%。这一发现揭示了LLMs在音韵理解上的局限性，为未来的研究提供了重要的方向。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、语音识别和教育技术等。Phun-Bench能够为开发更具音韵理解能力的LLMs提供基础，推动汉语相关AI应用的进步，提升人机交互的自然性和流畅性。

📄 摘要（原文）

Language is a vehicle for thought, intricately tied to sounds, symbols, and meaning. However, most large language model (LLM) research focuses on meaning (semantics) and symbols (spelling) while largely overlooking sounds. Existing benchmarks on LLMs' phonological abilities are either solvable through rote memorization or intertwined with other abilities, making them inadequate to measure LLMs' genuine ability in phonological understanding. Here, we present Phun-Bench, a purpose-built Chinese benchmark with diverse tasks and settings across three dimensions (Homophony, Rhyme, and Phonetic Similarity), designed to systematically evaluate LLMs' phonological understanding. Our results show that while LLMs excel at recalling correct pronunciations, they generally struggle to leverage phonological knowledge in the flexible and intuitive way that human speakers do. Moreover, through detailed analyses, we propose a hypothesis regarding the underlying mechanism of LLMs' phonological understanding and "perception", highlighting an underexplored frontier for future research.