Pseudowords as probes: Large Language Models show little of the sublexical sensitivity that governs human pseudoword processing

📄 arXiv: 2610.07936v1 📥 PDF

作者: Jing Chen, Giulia Loca, Simona Amenta, Marco Marelli

分类: cs.CL

发布日期: 2026-10-06

💡 一句话要点

探讨大型语言模型对伪词处理的敏感性不足

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 伪词处理 亚词汇线索 人类行为基线 自然语言处理 模型敏感性 实验研究

📋 核心要点

  1. 现有大型语言模型在伪词处理中的表现与人类存在显著差异，尤其在亚词汇线索的敏感性方面。
  2. 本研究通过对五种LLMs进行意大利语伪词实验，探讨其对亚词汇线索的响应与人类的对比。
  3. 实验结果表明，LLMs在真实词选项下表现更好，但在伪词条件下显著低于fastText模型，显示出其对亚词汇线索的敏感性不足。

📝 摘要（中文）

系统性，即形式与意义之间的概率映射，贯穿语言的各个层面，亚词汇线索被证明在人的伪词处理过程中起主导作用。然而，大型语言模型（LLMs）是否表现出类似的敏感性仍不清楚。我们对五种LLMs进行了意大利语伪词的两项二选一强制选择实验，并将其反应与人类行为基线进行了比较。结果显示，当真实词选项提供词汇熟悉度线索时，LLMs与人类的对齐更为可靠，而在仅有伪词的条件下，其表现显著低于fastText模型。此外，驱动人类与fastText一致的亚词汇余弦相似度线索并未能一致转移到人类与LLMs的对齐中，推理令牌的消耗与人类处理难度之间也没有一致关系。这些发现表明，LLMs不一定共享支配人类伪词处理的亚词汇线索，我们讨论了分词和训练数据覆盖作为可能的解释。

🔬 方法详解

问题定义：本研究旨在探讨大型语言模型在伪词处理中的亚词汇敏感性，现有方法未能有效揭示LLMs与人类在此方面的差异。

核心思路：通过设计两项意大利语伪词的二选一强制选择实验，比较LLMs与人类的反应，分析其对亚词汇线索的敏感性。

技术框架：研究包括五种LLMs的测试，实验分为真实词与伪词两种条件，数据收集与分析阶段则对比人类行为基线。

关键创新：本研究首次系统性地比较了LLMs与人类在伪词处理中的表现，揭示了LLMs在亚词汇线索敏感性方面的不足，挑战了其与人类处理机制的相似性假设。

关键设计：实验设计中，采用了二选一强制选择任务，使用了亚词汇余弦相似度作为分析指标，确保了数据的可靠性与有效性。实验还考虑了推理令牌的消耗与人类处理难度的关系。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果显示，当提供真实词选项时，LLMs与人类的对齐更为可靠，而在伪词条件下，其表现显著低于fastText模型，表明LLMs在伪词处理中的敏感性不足。此外，亚词汇余弦相似度线索未能有效转移到LLMs的对齐中，显示出其在此方面的局限性。

🎯 应用场景

该研究的结果对自然语言处理领域具有重要意义，尤其在理解大型语言模型的局限性方面。未来，研究者可以基于此发现改进模型的训练方式，增强其对伪词及亚词汇线索的敏感性，从而提升语言理解的准确性和自然性。

📄 摘要（原文）

Systematicity, the probabilistic mapping of form to meaning, permeates language at all levels, and sublexical cues have been shown to govern human pseudoword processing. Yet whether LLMs exhibit comparable sensitivity to these cues remains unclear. We tested five LLMs on two Italian two-alternative forced-choice pseudoword experiments and compared their responses with a human behavioural baseline. LLMs aligned more reliably with humans when real-word options provided a lexical familiarity cue than in the pseudoword-only condition, where they fell substantially below fastText, a character-n-gram model. In addition, the sublexical cosine-similarity cue that reliably drove human--fastText agreement did not consistently transfer to human--LLM alignment, and reasoning-token expenditure bore no consistent relation to human processing difficulty. These findings suggest that LLMs do not necessarily share the sublexical cues that govern human pseudoword processing; we discuss tokenization and training-data coverage as candidate explanations.