The Astonishing Ability of Large Language Models to Parse Jabberwockified Language

📄 arXiv: 2602.23928v1 📥 PDF

作者: Gary Lupyan, Senyi Yang

分类: cs.CL

发布日期: 2026-02-27

备注: Submitted to the 2026 Annual Meeting of the Cognitive Science Society

💡 一句话要点

大型语言模型展现出惊人的解析乱语能力，揭示语言结构的奥秘

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 自然语言处理 语义理解 语言结构 乱语解析

📋 核心要点

  1. 现有方法难以从严重退化的文本中恢复语义，对语言结构理解不足。
  2. 利用大型语言模型强大的上下文理解能力，从乱语中恢复原始语义。
  3. 实验表明，大型语言模型在解析乱语方面表现出超乎寻常的能力。

📝 摘要（中文）

本文展示了大型语言模型(LLMs)从严重退化的英语文本中恢复含义的惊人能力。即使内容词被随机替换为无意义的字符串，例如“At the ghybe of the swuint, we are haiveed to Wourge Phrear-gwurr, who sproles into an ghitch flount with his crurp”，LLMs也能将其翻译成接近原始文本的常规英语，例如“At the start of the story, we meet a man, Chow, who moves into an apartment building with his wife.”。这些结果表明，结构线索（如形态句法、封闭类词）对词汇意义的约束程度远超想象。虽然LLMs理解“Jabberwockified”英语的能力显然是超人的，但它们与理解语言结构高度相关，并表明生物或人工系统中的高效语言处理可能受益于句法、词汇语义和通用世界知识之间的紧密结合。

🔬 方法详解

问题定义：论文旨在研究大型语言模型在处理严重退化的英语文本（即“Jabberwockified”语言，其中内容词被替换为无意义的字符串）时的语义恢复能力。现有方法在处理此类文本时面临挑战，因为它们通常依赖于完整的词汇信息，而忽略了结构线索的重要性。

核心思路：论文的核心思路是利用大型语言模型强大的上下文理解能力，即使在缺乏明确词汇信息的情况下，也能通过分析句法结构、形态特征和封闭类词等线索来推断原始语义。这种方法强调了语言结构在语义理解中的关键作用。

技术框架：该研究主要依赖于现成的大型语言模型，并未使用特定的训练或微调流程。研究人员将“Jabberwockified”文本输入到LLM中，观察其输出的翻译结果，并与原始文本进行比较，以评估LLM的语义恢复能力。

关键创新：该研究的关键创新在于揭示了大型语言模型在解析乱语方面的惊人能力，这表明LLM对语言结构的理解远超预期。这种能力并非来自于对特定词汇的记忆，而是来自于对句法和语义关系的深刻理解。

关键设计：研究中使用的“Jabberwockified”文本是通过随机替换内容词生成的，这确保了LLM无法简单地通过记忆来解决问题。研究人员通过人工评估和自动指标来评估LLM的翻译质量，从而全面地评估了LLM的语义恢复能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，大型语言模型能够有效地从“Jabberwockified”文本中恢复原始语义，其翻译质量在许多情况下接近原始文本。这表明LLM对语言结构的理解程度远超预期，并能够利用结构线索来弥补词汇信息的缺失。这种能力在处理噪声文本或口语化文本时具有重要意义。

🎯 应用场景

该研究成果可应用于提升机器翻译的鲁棒性，特别是在处理噪声或不完整文本时。此外，它还可以用于开发更强大的自然语言理解系统，这些系统能够更好地理解人类语言的复杂性和灵活性。该研究还对认知科学和语言学研究具有启发意义，有助于我们更深入地理解人类语言处理的机制。

📄 摘要（原文）

We show that large language models (LLMs) have an astonishing ability to recover meaning from severely degraded English texts. Texts in which content words have been randomly substituted by nonsense strings, e.g., "At the ghybe of the swuint, we are haiveed to Wourge Phrear-gwurr, who sproles into an ghitch flount with his crurp", can be translated to conventional English that is, in many cases, close to the original text, e.g., "At the start of the story, we meet a man, Chow, who moves into an apartment building with his wife." These results show that structural cues (e.g., morphosyntax, closed-class words) constrain lexical meaning to a much larger degree than imagined. Although the abilities of LLMs to make sense of "Jabberwockified" English are clearly superhuman, they are highly relevant to understanding linguistic structure and suggest that efficient language processing either in biological or artificial systems likely benefits from very tight integration between syntax, lexical semantics, and general world knowledge.