Reader Proficiency Shapes Layer-wise Surprisal Profiles

📄 arXiv: 2609.37688v1 📥 PDF

作者: Akio Hayakawa, Horacio Saggion

分类: cs.CL

发布日期: 2026-09-29

💡 一句话要点

探讨读者熟练度对层级惊讶度特征的影响

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 阅读理解 语言模型 眼动追踪 预测深度 读者熟练度 认知科学 教育应用

📋 核心要点

  1. 核心问题：现有研究未充分探讨读者熟练度如何影响阅读过程中的注视行为与语言模型的预测能力之间的关系。
  2. 方法要点：本研究通过眼动追踪数据分析不同熟练度读者的注视行为，比较其在不同层级的惊讶度表现。
  3. 实验或效果：研究发现低熟练度读者在首次注视持续时间上表现出更深的预测深度，且总注视持续时间的预测深度普遍更深。

📝 摘要（中文）

阅读行为不仅受到语言输入的影响，还受到读者熟练度的影响。本研究探讨了大型语言模型（LLMs）中层级惊讶度与不同熟练度读者的注视行为之间的关系。通过分析MECO L2语料库的眼动追踪数据，我们比较了高低词汇熟练度读者在首次注视持续时间（FPGD）和总注视持续时间（TGD）上的表现。结果表明，低词汇熟练度的读者在FPGD上表现出更深的预测深度，而TGD则在两个熟练度组中均显示出更深的预测深度。这些发现表明，LLM层级的预测能力与不同注视测量的阅读过程的时机和广度相关，并且这种关系会随读者熟练度而变化。

🔬 方法详解

问题定义：本研究旨在解决不同熟练度读者在阅读过程中，层级惊讶度与注视行为之间的关系尚不明确的问题。现有方法未能充分考虑读者的熟练度对阅读行为的影响。

核心思路：通过分析眼动追踪数据，比较高低熟练度读者在不同注视测量下的表现，探讨层级惊讶度的预测能力如何随熟练度变化。

技术框架：研究采用MECO L2语料库的眼动追踪数据，分析12种大型语言模型的层级惊讶度，比较首次注视持续时间（FPGD）和总注视持续时间（TGD）的预测深度。

关键创新：本研究的创新点在于引入了预测深度的概念，揭示了不同熟练度读者在阅读过程中的层级惊讶度表现差异，提供了新的视角来理解阅读行为。

关键设计：研究中使用了多种大型语言模型，分析其在不同层级的预测能力，并通过留一法分析验证了内部层级的优势在未见文本上的延续性。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果显示，低词汇熟练度的读者在首次注视持续时间（FPGD）上表现出更深的预测深度，而总注视持续时间（TGD）在两个熟练度组中均显示出更深的预测深度。这一发现为理解阅读过程中的认知机制提供了重要的实证支持。

🎯 应用场景

该研究为教育领域提供了新的视角，尤其是在语言学习和阅读理解的教学中。通过理解不同熟练度读者的阅读行为，可以为个性化学习方案的设计提供依据，帮助教师更有效地指导学生，提高其阅读能力。

📄 摘要（原文）

Reading behaviour varies not only with linguistic input, but also with reader proficiency. In this study, we investigate whether the layer-wise relationship between surprisal from large language models (LLMs) and human gaze behaviour differs across readers with different levels of proficiency and across gaze measures. Using eye-tracking data from the MECO L2 corpus, we compare readers with high and low vocabulary proficiency on first-pass gaze duration (FPGD) and total gaze duration (TGD). We quantify the distribution of the predictive power of surprisal across model layers using Predictive Depth. Across 12 tested LLMs, we find that readers with lower vocabulary proficiency tend to show deeper Predictive Depth for FPGD, while this difference is smaller for TGD. Also, TGD itself shows deeper Predictive Depth than FPGD in both proficiency groups. These patterns suggest that where predictive power is concentrated across LLM layers may be related to the timing and breadth of the reading processes captured by different gaze measures, and that this relationship can vary with reader proficiency. Our leave-one-out analysis further shows that the advantage of informative internal layers extends to unseen texts, although the practical improvements in prediction are limited. Overall, our results show that layer-wise LLM surprisal provides a useful perspective on variation in reading behaviour across both reader groups and gaze measures.