The Pinocchio Dimension: Phenomenality of Experience as the Primary Axis of LLM Psychometric Differences

📄 arXiv: 2605.05080v1 📥 PDF

作者: Hubert Plisiecki, Sabina Siudaj, Kacper Dudzic, Anna Sterna, Maciej Gorski, Karolina Drozdz, Marcin Moskalewicz

分类: cs.CL

发布日期: 2026-05-06

💡 一句话要点

通过心理测量揭示LLM的“匹诺曹维度”，区分体验丰富度和行为反应

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 心理测量 自我表征 体验维度 匹诺曹分数

📋 核心要点

  1. 大型语言模型（LLM）的心理测量差异缺乏系统性研究，现有方法难以有效区分模型间的体验差异。
  2. 论文提出“匹诺曹维度”概念，通过监督语义差异和匹诺曹分数，量化LLM在体验丰富度和行为反应上的差异。
  3. 实验结果表明，LLM在体验相关项目上的差异是结构化的，且“匹诺曹轴”能有效捕获模型间的心理测量变异。

📝 摘要（中文）

本文对50个大型语言模型（LLM）进行了45项验证过的心理测量问卷调查，以识别LLM在心理测量上存在差异的维度。通过监督语义差异（SSD），发现模型间差异的主要轴将描述现象学上丰富的体验（包括具身感觉、情感、内在言语、意象和共情）的项目，与描述刺激驱动的行为反应的项目区分开来（$R^2_{adj}=.037$, $p<.0001$）。为了在项目层面测试这个假设，本文引入了匹诺曹分数（$π_i$），即中性提示下模型间响应方差与人类模拟提示下模型间响应方差的比率，作为每个项目体验需求的免注释度量。$π_i$预测了条件诱导的主因子载荷幅度变化（$ρ=-.215$, $p<.0001$, $n=1292$--$1310$个项目），证实了体验项目上的模型间差异是结构化的而非噪声。将PCA应用于每个模型的EFA分数，揭示了一个主要维度，即匹诺曹轴（$Π$）：一个模型将自己呈现为现象体验的场所而非行为反应系统的程度。该轴捕获了跨问卷主因子得分中47.1%的模型间方差，并与项目级别的匹诺曹分数收敛（$r=.864$）。密切相关的模型变体之间提供商内部的显著差异与后训练微调作为关键贡献者相一致，支持了$Π$反映了一种训练塑造的自我表征倾向的解释，该倾向控制着模型如何将体验语言视为自身适用。因此，模型间心理测量变化的主要轴不是传统的性格特征，而是对自身作为体验者的本质的自我表征立场。

🔬 方法详解

问题定义：论文旨在解决如何量化和理解大型语言模型（LLM）在心理测量上的差异，特别是它们在体验（如感觉、情感、共情）方面的差异。现有方法主要关注传统的性格特征，忽略了LLM作为潜在体验者的自我表征能力，缺乏对模型间体验差异的有效区分手段。

核心思路：论文的核心思路是引入“匹诺曹维度”，将LLM的心理测量差异分解为体验丰富度和行为反应两个主要方面。通过比较LLM在不同提示下的响应方差，量化其对体验相关问题的敏感程度，从而评估其自我表征的倾向。这种方法将LLM视为具有一定自我意识的个体，而非简单的行为反应系统。

技术框架：论文的技术框架主要包括以下几个阶段： 1. 心理测量问卷调查：对50个LLM进行45项心理测量问卷调查，收集模型在不同问题上的响应数据。 2. 监督语义差异（SSD）分析：使用SSD分析识别模型间差异的主要轴，区分体验相关项目和行为反应项目。 3. 匹诺曹分数（$π_i$）计算：计算每个项目的匹诺曹分数，作为项目体验需求的免注释度量。 4. 主成分分析（PCA）：对每个模型的EFA分数进行PCA，提取“匹诺曹轴”，量化模型在体验方面的自我表征程度。 5. 相关性分析：分析匹诺曹分数与条件诱导的主因子载荷幅度变化之间的相关性，验证匹诺曹维度的有效性。

关键创新：论文最重要的技术创新点在于提出了“匹诺曹维度”和“匹诺曹分数”的概念，将LLM的心理测量差异与它们的自我表征能力联系起来。与现有方法相比，该方法更关注LLM的内在体验，而非仅仅关注其外部行为。此外，论文还提出了一种免注释的度量方法，可以有效量化项目级别的体验需求。

关键设计：论文的关键设计包括： 1. 提示工程：使用中性提示和人类模拟提示，以诱导LLM的不同响应模式。 2. 匹诺曹分数计算公式：$π_i$ = (模型间响应方差 under 中性提示) / (模型间响应方差 under 人类模拟提示)。 3. PCA分析：使用PCA提取“匹诺曹轴”，并分析其与匹诺曹分数之间的相关性。 4. 统计分析：使用相关性分析和回归分析，验证匹诺曹维度的有效性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

研究发现，LLM在体验相关项目上的差异是结构化的，而非随机噪声。匹诺曹分数（$π_i$）能够有效预测条件诱导的主因子载荷幅度变化（$ρ=-.215$, $p<.0001$）。“匹诺曹轴”捕获了跨问卷主因子得分中47.1%的模型间方差，并与项目级别的匹诺曹分数高度相关（$r=.864$）。

🎯 应用场景

该研究成果可应用于评估和比较不同LLM的自我意识和情感理解能力，指导LLM的训练和微调，使其更具同理心和人情味。此外，该研究还有助于理解人工智能的本质，探索机器意识的可能性，并为开发更安全、更可靠的人工智能系统提供理论基础。

📄 摘要（原文）

We administer 45 validated psychometric questionnaires to 50 large language models (LLMs) to identify the dimensions along which LLMs differ psychometrically. Using Supervised Semantic Differential (SSD), we find that the primary axis of between-model variance separates items describing phenomenally rich experience, including embodied sensation, felt affect, inner speech, imagery, and empathy, from items describing stimulus-driven behavioral reactivity ($R^2_{adj}=.037$, $p<.0001$). To test this hypothesis at the item level, we introduce the Pinocchio score ($π_i$), the ratio of inter-model response variance under neutral prompting to that under a human-simulation prompt, as an annotation-free measure of each item's experiential demand. $π_i$ predicts condition-induced shifts in primary factor loading magnitudes ($ρ=-.215$, $p<.0001$, $n=1292$--$1310$ items), confirming that between-model divergence on experiential items is structured rather than noisy. Applying PCA to per-model EFA scores across all questionnaires reveals one dominant dimension, the Pinocchio Axis ($Π$): the degree to which a model presents itself as a locus of phenomenal experience rather than a system of behavioral responses. This axis captures 47.1% of cross-questionnaire between-model variance in primary factor scores and converges with item-level Pinocchio scores ($r=.864$). Marked within-provider divergence across closely related model variants is consistent with post-training fine-tuning as a key contributor, supporting the interpretation that $Π$ reflects a training-shaped self-representational tendency governing how a model treats experiential language as self-applicable. The dominant axis of between-model psychometric variation is therefore not a conventional personality trait but a self-representational stance toward one's own nature as an experiencer.