Assessing Readability with LLMs: The Role of Reasoning and Few-Shot Prompting
作者: Raphaël Thieffry, Matej Martinc
分类: cs.CL
发布日期: 2026-09-21
💡 一句话要点
利用大语言模型提升多语言可读性评估的准确性
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 可读性评估 大语言模型 链式思维 少量示例学习 多语言处理 教育技术 机器学习
📋 核心要点
- 现有的可读性评估方法在不同流派和语言之间的泛化能力不足，传统公式难以适应多样化的文本类型。
- 本文提出利用大语言模型进行可读性评估，特别是通过链式思维提示和少量示例学习来提升模型性能。
- 实验结果表明，使用1-shot学习显著提高了预测质量，相较于零-shot设置，提升幅度明显，且与传统方法相比具有优势。
📝 摘要（中文）
可读性评估对于在教育、医疗和信息检索领域根据目标受众调整文本至关重要。然而，传统的可读性公式在跨流派和语言的泛化能力上存在不足，而监督学习模型又依赖于稀缺的领域特定标注语料，限制了其适用性。本文系统性地基准测试了多种开源大语言模型（LLMs）在多语言可读性评估中的表现，特别关注教育框架所需的离散可读性水平预测。我们还评估了在低资源语言斯洛文尼亚语上的有效性，探讨了显式推理的影响，发现链式思维提示和推理导向模型显著提升了预测效果。此外，少量示例的上下文学习显示，提供每个类别一个标注示例（1-shot）显著提高了预测质量。通过与传统无监督指标和最新监督基线的比较，我们证明了开箱即用的LLMs作为跨语言可读性评估工具的可行性。
🔬 方法详解
问题定义：本文旨在解决传统可读性评估方法在跨流派和语言上的泛化能力不足，以及监督学习模型对稀缺标注语料的依赖问题。
核心思路：通过利用大语言模型（LLMs），结合链式思维提示和少量示例学习，来提升可读性评估的准确性和适用性，尤其是在低资源语言环境中。
技术框架：研究首先对多种开源LLMs进行基准测试，评估其在多语言可读性评估中的表现，特别关注教育框架所需的可读性水平预测。然后，通过不同的提示策略（如链式思维）和示例数量（如1-shot）来优化模型性能。
关键创新：本文的主要创新在于系统性地评估了大语言模型在可读性评估中的应用，特别是通过推理导向的提示策略显著提升了模型的预测能力，这是传统方法所未能实现的。
关键设计：在实验中，采用了多种提示策略和示例数量的组合，评估其对模型性能的影响，特别是链式思维提示和1-shot学习的设置，展示了其在提升预测质量方面的有效性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，使用链式思维提示和1-shot学习显著提升了可读性预测的准确性，相较于零-shot设置，预测质量提高了显著的幅度。与传统无监督指标和最新监督基线相比，LLMs展现出更强的跨语言可读性评估能力。
🎯 应用场景
该研究的潜在应用领域包括教育、医疗和信息检索等多个领域，能够帮助不同受众更好地理解和使用文本。通过提升可读性评估的准确性，未来可为多语言环境中的信息传播和知识获取提供更有效的支持。
📄 摘要（原文）
Readability assessment is essential for tailoring texts to intended audiences across educational, healthcare, and information retrieval domains. However, traditional readability formulas struggle to generalize across genres and languages, while supervised machine learning models rely on scarce, domain-specific annotated corpora, limiting their applicability--particularly for less-resourced languages. Large Language Models (LLMs) offer a highly scalable, multilingual alternative that requires no task-specific training, yet the impact of advanced prompting strategies on their performance remains underexplored. In this paper, we conduct a systematic benchmark of diverse open-source LLMs for multilingual readability assessment, focusing on the prediction of discrete readability levels required by educational frameworks. In addition to English, we evaluate our approach on a less-resourced language, Slovenian, to establish whether LLMs remain effective in low-resource settings. Specifically, we investigate the influence of explicit reasoning, demonstrating that Chain-of-Thought (CoT) prompting and reasoning-oriented models yield significant improvements over direct answering. Furthermore, our exploration of few-shot in-context learning reveals that providing just one labelled example per category (1-shot) substantially enhances prediction quality compared to zero-shot settings, with additional examples offering diminishing returns. By comprehensively comparing these approaches against traditional unsupervised metrics and state-of-the-art supervised baselines, we establish the viability of out-of-the-box LLMs as robust, cross-lingual readability assessors.