Probing Large Language Models from A Human Behavioral Perspective

📄 arXiv: 2310.05216v2 📥 PDF

作者: Xintong Wang, Xiaoyu Li, Xingshan Li, Chris Biemann

分类: cs.CL

发布日期: 2023-10-08 (更新: 2024-04-13)

备注: Accepted by LREC-COLING NeusymBridge 2024

💡 一句话要点

从人类行为视角探讨大型语言模型的预测机制

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 人类行为 眼动追踪 预测机制 自然语言处理 深度学习

📋 核心要点

  1. 现有方法对大型语言模型的内部机制理解不足，尤其是其预测过程与人类行为的关系尚未深入探讨。
  2. 论文通过眼动追踪数据与LLMs的输出进行关联，提出从人类行为视角分析LLMs的预测模式。
  3. 研究结果表明，LLMs与人类的预测模式相似，且随着模型层数增加，FFN和MHSA的相关性增强，显示出更好的语义捕捉能力。

📝 摘要（中文）

大型语言模型（LLMs）已成为现代自然语言处理中的主流基础模型。然而，它们的预测过程和内部机制，如前馈网络（FFN）和多头自注意力（MHSA），仍然未被充分探索。本文从人类行为的角度对LLMs进行探讨，将LLMs的值与眼动追踪数据相关联，这些数据被广泛认为是人类阅读模式的有效指标。研究发现，LLMs的预测模式与人类相似，但与浅层语言模型（SLMs）存在显著差异。此外，随着LLM层数的增加，FFN和MHSA中的相关系数也随之上升，表明FFN中的logits越来越能够捕捉适合预测词汇的语义。

🔬 方法详解

问题定义：本文旨在探讨大型语言模型的预测机制，尤其是如何与人类的阅读行为相对应。现有方法未能有效揭示LLMs与人类行为之间的关系，导致对其内部机制的理解不足。

核心思路：通过将LLMs的输出与眼动追踪数据进行关联，论文提出了一种新的分析框架，旨在揭示LLMs的预测模式与人类行为之间的相似性和差异性。

技术框架：研究首先收集眼动追踪数据，然后将其与LLMs的输出进行对比分析，重点关注FFN和MHSA的相关性。整体流程包括数据收集、特征提取和相关性分析三个主要阶段。

关键创新：论文的创新在于首次从人类行为的视角系统性地分析LLMs的预测机制，揭示了其与人类阅读模式的相似性，并指出了与浅层语言模型的显著差异。

关键设计：在实验中，采用了特定的眼动追踪指标作为评估标准，并通过逐层分析FFN和MHSA的输出，观察其在不同层数下的相关性变化。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，LLMs在预测模式上与人类相似，且随着模型层数的增加，FFN和MHSA的相关系数显著提升，表明其在捕捉语义方面的能力增强。这一发现为LLMs的进一步优化提供了理论依据。

🎯 应用场景

该研究为理解大型语言模型的内部机制提供了新的视角，潜在应用于自然语言处理、教育技术和人机交互等领域。通过揭示LLMs与人类行为的关系，未来可优化模型设计，提高其在实际应用中的表现。

📄 摘要（原文）

Large Language Models (LLMs) have emerged as dominant foundational models in modern NLP. However, the understanding of their prediction processes and internal mechanisms, such as feed-forward networks (FFN) and multi-head self-attention (MHSA), remains largely unexplored. In this work, we probe LLMs from a human behavioral perspective, correlating values from LLMs with eye-tracking measures, which are widely recognized as meaningful indicators of human reading patterns. Our findings reveal that LLMs exhibit a similar prediction pattern with humans but distinct from that of Shallow Language Models (SLMs). Moreover, with the escalation of LLM layers from the middle layers, the correlation coefficients also increase in FFN and MHSA, indicating that the logits within FFN increasingly encapsulate word semantics suitable for predicting tokens from the vocabulary.