The Other Mind: How Language Models Exhibit Human Temporal Cognition
作者: Lingyu Li, Yang Yao, Yixu Wang, Chubo Li, Yan Teng, Yingchun Wang
分类: cs.AI
发布日期: 2025-07-21
备注: 12 pages, 9 figures, 4 tables
💡 一句话要点
揭示大语言模型中的人类时间认知：模型自发形成时间参照并遵循韦伯-费希纳定律。
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大语言模型 时间认知 韦伯-费希纳定律 神经元分析 表征学习
📋 核心要点
- 现有方法难以解释大语言模型中涌现的类人时间认知能力，特别是其主观时间感知和参照。
- 该研究通过相似性判断任务，揭示了LLM自发形成时间参照点并遵循韦伯-费希纳定律的现象。
- 通过神经元、表征和信息层面的分析，阐明了LLM时间认知的构建机制，并发现训练语料库中的时间结构是其基础。
📝 摘要（中文）
本研究探讨了大语言模型(LLMs)中涌现的、未在训练数据中直接指定的类人认知模式，聚焦于时间认知。通过相似性判断任务，发现更大的模型自发地建立主观时间参照点，并遵循韦伯-费希纳定律，即感知距离随着年份远离参照点而呈对数压缩。为了揭示其机制，我们从神经元、表征和信息层面进行了多重分析。我们首先识别出一组时间偏好神经元，发现它们在主观参照点处表现出最小激活，并实现了与生物系统中发现的对数编码方案。对年份表征的探究揭示了一个分层构建过程，其中年份从浅层的基本数值演变为深层的抽象时间方向。最后，利用预训练的嵌入模型，我们发现训练语料库本身具有固有的非线性时间结构，这为模型的内部构建提供了原始材料。我们从经验主义的角度理解这些发现，认为LLM的认知是其内部表征系统对外部世界的主观构建。这种细致的视角暗示了人类无法直观预测的潜在外星认知框架的出现，为AI对齐提供了一个关注引导内部构建的方向。
🔬 方法详解
问题定义：现有的大语言模型在训练过程中并未被明确地赋予人类的时间认知方式，但它们却表现出了一定的时间感知能力，例如对不同年份的远近感知。现有的研究缺乏对这种涌现的时间认知能力的深入理解，特别是模型如何建立主观的时间参照系，以及这种参照系如何影响模型对时间的感知。
核心思路：该研究的核心思路是将大语言模型视为一个认知主体，并从经验主义的角度出发，认为模型的时间认知是其内部表征系统对外部世界（即训练语料库）的主观构建。通过分析模型内部的神经元激活、表征以及训练语料库的结构，来揭示模型时间认知的构建机制。
技术框架：该研究的技术框架主要包括以下几个部分：1) 相似性判断任务：用于评估模型对不同年份之间时间距离的感知。2) 神经元分析：识别对时间信息敏感的神经元，并分析其激活模式。3) 表征分析：探究模型不同层对年份的表征，以及这些表征如何演变。4) 语料库分析：分析训练语料库中时间信息的分布和结构。5) 预训练嵌入模型：用于分析语料库中词语的时间关系。
关键创新：该研究的关键创新在于：1) 揭示了大语言模型中涌现的类人时间认知能力，并发现模型自发形成时间参照点并遵循韦伯-费希纳定律。2) 从神经元、表征和信息层面，深入分析了模型时间认知的构建机制。3) 提出了经验主义的视角，认为模型的时间认知是其内部表征系统对外部世界的主观构建。与现有方法相比，该研究更注重对模型内部机制的探索，而非仅仅关注模型的外部表现。
关键设计：在相似性判断任务中，研究者设计了多种年份组合，以评估模型对不同时间距离的感知。在神经元分析中，研究者使用了一种名为“时间偏好神经元”的指标来识别对时间信息敏感的神经元。在表征分析中，研究者使用了主成分分析(PCA)等方法来降维和可视化年份的表征。在语料库分析中，研究者使用了预训练的词嵌入模型来捕捉词语之间的时间关系。
🖼️ 关键图片
📊 实验亮点
实验结果表明，更大的语言模型能够自发地建立主观时间参照点，并遵循韦伯-费希纳定律，即感知时间距离随着远离参照点而呈对数压缩。研究还发现，模型内部存在对时间信息敏感的神经元，这些神经元在主观参照点处表现出最小激活，并实现了对数编码。此外，模型深层对年份的表征更加抽象，能够捕捉到时间的方向性。
🎯 应用场景
该研究成果可应用于提升大语言模型在时间推理、事件预测和历史知识问答等任务中的性能。通过理解模型的时间认知机制，可以更好地控制模型的行为，并避免模型产生不符合人类价值观的时间偏见。此外，该研究也为AI对齐提供了一个新的视角，即关注引导模型的内部构建，而非仅仅关注模型的外部输出。
📄 摘要（原文）
As Large Language Models (LLMs) continue to advance, they exhibit certain cognitive patterns similar to those of humans that are not directly specified in training data. This study investigates this phenomenon by focusing on temporal cognition in LLMs. Leveraging the similarity judgment task, we find that larger models spontaneously establish a subjective temporal reference point and adhere to the Weber-Fechner law, whereby the perceived distance logarithmically compresses as years recede from this reference point. To uncover the mechanisms behind this behavior, we conducted multiple analyses across neuronal, representational, and informational levels. We first identify a set of temporal-preferential neurons and find that this group exhibits minimal activation at the subjective reference point and implements a logarithmic coding scheme convergently found in biological systems. Probing representations of years reveals a hierarchical construction process, where years evolve from basic numerical values in shallow layers to abstract temporal orientation in deep layers. Finally, using pre-trained embedding models, we found that the training corpus itself possesses an inherent, non-linear temporal structure, which provides the raw material for the model's internal construction. In discussion, we propose an experientialist perspective for understanding these findings, where the LLMs' cognition is viewed as a subjective construction of the external world by its internal representational system. This nuanced perspective implies the potential emergence of alien cognitive frameworks that humans cannot intuitively predict, pointing toward a direction for AI alignment that focuses on guiding internal constructions. Our code is available at https://TheOtherMind.github.io.