Training Data Size Sensitivity in Unsupervised Rhyme Recognition
作者: Petr Plecháč, Artjoms Šeļa, Silvie Cinková, Mirella De Sisto, Lara Nugues, Neža Kočnik, Antonina Martynenko, Ben Nagy, Luca Giovannini, Robert Kolár
分类: cs.CL
发布日期: 2026-04-09
💡 一句话要点
研究揭示了无监督韵律识别中训练数据规模对性能的影响，并提出了RhymeTagger。
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 韵律识别 无监督学习 语言无关性 诗歌分析 自然语言处理
📋 核心要点
- 韵律识别在多语言环境下面临挑战，现有方法难以处理主观性和语言差异。
- 论文提出RhymeTagger，一种基于重复模式识别韵律的语言无关工具。
- 实验表明，在充足数据下，RhymeTagger性能超越人类水平，优于大型语言模型。
📝 摘要（中文）
韵律识别看似直观，但其定义具有历史性，学者们在韵律分类上存在分歧，人们对两个词是否押韵的看法也不一致。这使得自动韵律识别和评估变得复杂，尤其是在多语言环境中。本文研究了使用RhymeTagger进行可靠的无监督韵律识别所需的训练数据量。RhymeTagger是一种语言独立的工具，它基于诗歌语料库中重复的模式来识别韵律。我们评估了它在七种语言（捷克语、德语、英语、法语、意大利语、俄语和斯洛文尼亚语）中的性能，考察了训练规模和语言差异如何影响准确性。为了设定一个实际的性能基准，我们评估了人工标注的诗歌子集上的标注者间一致性，并分析了导致专家标注不一致的因素：押韵词之间的语音相似性以及它们在诗歌中的距离。我们还将RhymeTagger与使用一次学习策略的三个大型语言模型进行了比较。我们的研究结果表明，一旦提供了足够的训练数据，RhymeTagger始终优于人类一致性，而缺乏语音表示的LLM在任务中表现不佳。
🔬 方法详解
问题定义：论文旨在解决多语言环境下无监督韵律识别的问题。现有方法，尤其是基于规则的方法，难以适应不同语言的韵律规则和主观性。大型语言模型虽然具备一定的语言理解能力，但在韵律识别方面，由于缺乏对语音信息的明确建模，表现不佳。人工标注韵律数据成本高昂，限制了有监督方法的应用。
核心思路：论文的核心思路是利用无监督学习方法，通过分析诗歌语料库中重复出现的模式来识别韵律。RhymeTagger的设计目标是语言无关性，使其能够应用于多种语言，而无需针对每种语言进行特定的规则或模型训练。这种方法避免了对人工标注数据的依赖，降低了成本。
技术框架：RhymeTagger的技术框架主要包含以下几个阶段：1) 预处理：对诗歌文本进行清洗和分词等处理。2) 模式提取：识别诗歌中重复出现的音节或音素序列。3) 韵律识别：基于提取的模式，判断两个词是否押韵。4) 评估：使用人工标注的数据或标注者间一致性作为基准，评估RhymeTagger的性能。
关键创新：RhymeTagger的关键创新在于其语言无关性和无监督学习方法。它不依赖于任何预定义的韵律规则或人工标注数据，而是通过分析语料库中的模式自动学习韵律规则。这种方法使其能够适应不同语言的韵律特点，并降低了训练成本。与大型语言模型相比，RhymeTagger更专注于语音信息的建模，从而在韵律识别任务中表现更好。
关键设计：RhymeTagger的关键设计包括：1) 使用音节或音素作为基本的模式单元。2) 使用后缀树或其他模式匹配算法来高效地识别重复出现的模式。3) 使用统计方法来评估模式的显著性，并过滤掉噪声模式。4) 可以通过调整参数来控制模式的长度和频率，从而适应不同语言的韵律特点。具体的损失函数和网络结构未知。
🖼️ 关键图片
📊 实验亮点
实验结果表明，在七种语言上，RhymeTagger在充足的训练数据下，性能始终优于人类标注者的一致性。与大型语言模型相比，RhymeTagger在韵律识别任务中表现更出色，证明了其在无监督韵律识别方面的有效性。具体的性能提升幅度未知。
🎯 应用场景
该研究成果可应用于诗歌分析、自然语言处理、语音识别等领域。例如，可以用于自动诗歌生成、诗歌风格分析、语音搜索等。此外，该方法还可以扩展到其他类型的文本分析任务，例如歌词分析、剧本分析等，具有广泛的应用前景。
📄 摘要（原文）
Rhyme is deceptively intuitive: what is or is not a rhyme is constructed historically, scholars struggle with rhyme classification, and people disagree on whether two words are rhymed or not. This complicates automated rhymed recognition and evaluation, especially in multilingual context. This article investigates how much training data is needed for reliable unsupervised rhyme recognition using RhymeTagger, a language-independent tool that identifies rhymes based on repeating patterns in poetry corpora. We evaluate its performance across seven languages (Czech, German, English, French, Italian, Russian, and Slovene), examining how training size and language differences affect accuracy. To set a realistic performance benchmark, we assess inter-annotator agreement on a manually annotated subset of poems and analyze factors contributing to disagreement in expert annotations: phonetic similarity between rhyming words and their distance from each other in a poem. We also compare RhymeTagger to three large language models using a one-shot learning strategy. Our findings show that, once provided with sufficient training data, RhymeTagger consistently outperforms human agreement, while LLMs lacking phonetic representation significantly struggle with the task.