Are Language Models Script-Aware?

📄 arXiv: 2610.08037v1 📥 PDF

作者: David Kletz, Sandra Mitrović, Ljiljana Dolamić, Fabio Rinaldi

分类: cs.CL

发布日期: 2026-10-06

备注: Accepted to AACL-IJCNLP 2026

💡 一句话要点

探讨语言模型的脚本知识以解决生成语言不一致问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 语言模型 脚本知识 多脚本语言 生成文本 实验研究

📋 核心要点

  1. 现有研究主要集中在语言选择上，脚本知识的研究相对不足，导致生成输出的语言和脚本不一致问题。
  2. 本文通过实验验证语言模型在多脚本语言中的适应能力，探索其脚本知识的表现。
  3. 实验结果表明，所有测试模型在拉丁脚本的保真度超过98%，且LLMs在非标准脚本组合中表现更佳。

📝 摘要（中文）

语言模型在生成输出时常常出现意外的语言或脚本，这种现象称为偏离目标生成。尽管现有研究关注语言选择，但脚本知识的维度仍未得到充分研究。本文通过对小型和大型语言模型（SLMs和LLMs）在多脚本语言上的测试，探讨它们是否具备脚本知识。通过两个互补实验，我们评估模型（1）是否能将输出脚本适应输入，及（2）是否能遵循明确指令生成特定脚本的文本。测试结果显示，所有模型在拉丁脚本的保真度上均接近完美（超过98%），并且高频率地遵循脚本指令。然而，我们注意到LLMs与SLMs之间存在差异，LLMs在非标准脚本组合上的得分更高。

🔬 方法详解

问题定义：本文旨在解决语言模型在生成文本时可能出现的脚本不一致问题。现有方法对脚本知识的关注不足，导致模型输出的语言和脚本不匹配。

核心思路：通过设计两个实验，评估语言模型在多脚本语言中的适应性和遵循指令的能力，探讨其脚本知识的深度。

技术框架：整体研究分为两个实验：第一个实验测试模型输出脚本与输入的一致性，第二个实验评估模型遵循特定脚本生成文本的能力。

关键创新：本文的创新在于首次系统性地评估语言模型的脚本知识，揭示了SLMs与LLMs在脚本适应性上的显著差异。

关键设计：实验中使用了多脚本语言的样本，设置了明确的脚本指令，并对模型的输出进行了严格的评估，以确保结果的可靠性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，所有测试模型在拉丁脚本的保真度超过98%，并且在遵循脚本指令方面表现出高频率的适应性。LLMs在非标准脚本组合的得分显著高于SLMs，显示出更强的脚本知识能力。

🎯 应用场景

该研究的潜在应用领域包括多语言翻译、跨文化交流和多脚本文本生成等。通过提升语言模型的脚本适应能力，可以在全球化背景下更好地满足用户需求，增强模型在多语言环境中的实用性和准确性。

📄 摘要（原文）

Language models frequently generate outputs in unintended languages or scripts, a phenomenon known as off-target generation. While existing research has focused on language selection, the dimension of script knowledge remains understudied: before any linguistic understanding can occur, users must recognize the graphic symbols in a model's response. We investigate whether Small and Large Language Models (SLMs and LLMs) possess script knowledge by testing them on multi-scriptic languages. Through two complementary experiments, we evaluate whether models (1) adapt their output script to match the input, and (2) follow explicit instructions to generate text in a specified script. The models we tested demonstrate substantial script knowledge: they all achieve a near-perfect Latin script fidelity (more than 98%) and follow script instructions with high frequency. Nevertheless, we notice differences between LLMs and SLMs, with higher scores for LLMs including for non-standard script combinations.