Integrating Cognitive Processing Signals into Language Models: A Review of Advances, Applications and Future Directions

📄 arXiv: 2504.06843v1 📥 PDF

作者: Angela Lopez-Cardona, Sebastian Idesis, Ioannis Arapakis

分类: cs.CL, cs.AI

发布日期: 2025-04-09

DOI: 10.1109/IJCNN64981.2025.11229334

💡 一句话要点

综述：整合认知处理信号增强语言模型与多模态大语言模型

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 认知信号 眼动追踪 语言模型 多模态学习 数据增强 人机交互 视觉问答

📋 核心要点

  1. 现有语言模型训练面临数据稀缺和环境成本高等挑战，限制了其发展和应用。
  2. 该综述探讨了如何利用眼动追踪等认知信号，提升语言模型和多模态大语言模型的性能。
  3. 通过整合认知信号，可以实现数据增强、加速模型收敛，并提高模型与人类认知的一致性。

📝 摘要（中文）

本文对自然语言处理（NLP）中整合认知神经科学的最新进展进行了 критический 和及时的概述。特别关注利用认知信号，尤其是眼动追踪（ET）信号，来增强语言模型（LM）和多模态大型语言模型（MLLM）。通过整合以用户为中心的认知信号，这些方法能够解决关键挑战，包括数据稀缺和训练大规模模型所带来的环境成本。认知信号能够实现高效的数据增强、更快的收敛速度和改进的人类对齐。该综述强调了眼动追踪数据在视觉问答（VQA）等任务中以及减轻 MLLM 中的幻觉方面的潜力，并总结了新兴的挑战和研究趋势。

🔬 方法详解

问题定义：现有语言模型，尤其是多模态大语言模型，在训练过程中面临数据稀缺的问题，导致模型泛化能力不足，并且训练大规模模型需要消耗大量的计算资源，带来巨大的环境成本。此外，模型生成的内容有时与人类的认知方式不一致，甚至出现“幻觉”现象。

核心思路：该综述的核心思路是利用认知神经科学中的认知信号，例如眼动追踪数据，作为一种信息来源，来指导和增强语言模型的训练。通过模拟人类的认知过程，可以提高模型的效率、准确性和与人类认知的一致性。

技术框架：该综述没有提出新的技术框架，而是对现有研究进行了整理和分析。这些研究通常包括以下几个阶段：1) 收集认知信号（如眼动追踪数据）；2) 将认知信号与文本或图像数据进行对齐和融合；3) 利用融合后的数据训练语言模型或多模态模型；4) 评估模型在各种任务上的性能，例如文本生成、视觉问答等。

关键创新：该综述的关键创新在于强调了认知信号在语言模型和多模态模型中的应用潜力。与传统的基于大规模数据的训练方法相比，利用认知信号可以更有效地利用数据，减少训练成本，并提高模型的认知能力。

关键设计：不同的研究在如何整合认知信号方面采用了不同的设计。例如，一些研究将眼动追踪数据作为注意力机制的先验信息，引导模型关注重要的词语或区域。另一些研究则利用眼动追踪数据来增强训练数据，例如通过生成更符合人类阅读习惯的文本。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

该综述强调了眼动追踪数据在视觉问答（VQA）任务中的应用，以及在减轻多模态大型语言模型（MLLM）中的幻觉方面的潜力。通过整合眼动追踪数据，模型可以更好地理解用户的意图，并生成更准确、更可靠的答案。具体的性能提升数据未知，但综述强调了该方向的潜力。

🎯 应用场景

该研究具有广泛的应用前景，包括改进人机交互系统、开发更智能的教育工具、提高医疗诊断的准确性等。通过理解人类的认知过程，可以构建更自然、更高效、更可靠的人工智能系统。未来的研究可以探索更多类型的认知信号，并将其应用于更广泛的 NLP 任务中。

📄 摘要（原文）

Recently, the integration of cognitive neuroscience in Natural Language Processing (NLP) has gained significant attention. This article provides a critical and timely overview of recent advancements in leveraging cognitive signals, particularly Eye-tracking (ET) signals, to enhance Language Models (LMs) and Multimodal Large Language Models (MLLMs). By incorporating user-centric cognitive signals, these approaches address key challenges, including data scarcity and the environmental costs of training large-scale models. Cognitive signals enable efficient data augmentation, faster convergence, and improved human alignment. The review emphasises the potential of ET data in tasks like Visual Question Answering (VQA) and mitigating hallucinations in MLLMs, and concludes by discussing emerging challenges and research trends.