A validity-guided workflow for robust large language model research in psychology

📄 arXiv: 2507.04491v1 📥 PDF

作者: Zhicheng Lin

分类: cs.HC, cs.AI, cs.CL, cs.CY

发布日期: 2025-07-06

💡 一句话要点

提出基于效度引导的工作流，提升大语言模型在心理学研究中的可靠性。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 心理学研究 效度验证 测量可靠性 计算心理学

📋 核心要点

  1. 心理学研究中LLM应用面临测量不可靠性问题，如人格评估崩溃、道德偏好逆转等。
  2. 论文提出基于双重效度框架的六阶段工作流，以系统性地验证和提升LLM在心理学研究中的可靠性。
  3. 通过“LLM自我”评估案例，展示了该工作流如何区分真实计算现象与测量伪像，从而提升研究的有效性。

📝 摘要（中文）

大型语言模型（LLM）正迅速被整合到心理学研究中，作为研究工具、评估对象、人类模拟器和认知模型。然而，最近的证据表明存在严重的测量不可靠性：人格评估在因素分析下崩溃，道德偏好随标点符号的改变而逆转，心理理论的准确性随细微的措辞变化而变化。这些“测量幻影”——伪装成心理学现象的统计伪像——威胁着越来越多的研究的有效性。在整合心理测量学和因果推理的双重效度框架的指导下，我们提出了一个六阶段的工作流程，该流程将效度要求扩展到研究目标——使用LLM来编码文本需要基本的可靠性和准确性，而关于心理学属性的声明则需要全面的结构效度验证。研究人员必须（1）明确定义他们的研究目标和相应的效度要求，（2）通过心理测量测试开发和验证计算工具，（3）设计实验来控制计算混淆因素，（4）以透明的方式执行协议，（5）使用适合非独立观察的方法分析数据，以及（6）在已证明的边界内报告结果，并使用结果来完善理论。我们通过一个模型评估的例子——“LLM自我”——来说明该工作流程，展示了系统验证如何区分真正的计算现象和测量伪像。通过建立经过验证的计算工具和透明的实践，该工作流程为构建人工智能心理学研究的稳健经验基础提供了一条途径。

🔬 方法详解

问题定义：当前心理学研究中，大型语言模型（LLM）的应用日益广泛，但其测量结果的可靠性面临严峻挑战。具体表现为，LLM在人格评估、道德判断和心理理论等方面的表现极不稳定，容易受到细微的输入变化（如标点符号、措辞）的影响，产生“测量幻影”，严重威胁研究的有效性。现有方法缺乏系统性的验证流程，难以区分真实的计算现象和统计伪像。

核心思路：论文的核心在于提出一个基于“双重效度框架”的六阶段工作流，旨在将心理测量学和因果推断相结合，系统性地验证和提升LLM在心理学研究中的可靠性。该工作流强调根据研究目标设定相应的效度要求，并贯穿研究的各个阶段，从而确保研究结果的有效性和可信度。

技术框架：该工作流包含以下六个主要阶段： 1. 明确研究目标和效度要求：根据研究目标定义所需的效度类型（如内容效度、结构效度、效标效度）。 2. 开发和验证计算工具：通过心理测量测试（如信度分析、效度分析）验证LLM作为计算工具的可靠性和准确性。 3. 设计实验控制计算混淆：设计实验时，控制可能影响LLM输出的计算因素，例如提示工程、模型参数等。 4. 透明执行实验协议：详细记录实验过程，包括数据收集、模型设置、参数调整等，确保可重复性。 5. 使用适当方法分析数据：采用适合非独立观察数据（如LLM生成文本）的统计方法，避免偏差。 6. 报告结果并完善理论：在已验证的边界内报告研究结果，并利用结果反思和完善心理学理论。

关键创新：该工作流的关键创新在于其系统性和全面性，它将效度验证贯穿于研究的整个生命周期，而不仅仅是作为一个独立的步骤。此外，该工作流强调根据研究目标选择合适的效度类型，并采用相应的验证方法，从而提高了验证的针对性和有效性。

关键设计：该工作流的关键设计包括： * 双重效度框架：整合心理测量学和因果推断，全面评估LLM的有效性。 * 六阶段流程：提供了一个结构化的研究流程，确保每个阶段都考虑到效度问题。 * 案例研究：通过“LLM自我”评估案例，展示了如何应用该工作流来区分真实现象和测量伪像。

📊 实验亮点

论文通过“LLM自我”评估案例，展示了该工作流的有效性。通过系统性的效度验证，研究人员能够区分LLM在自我认知方面的真实能力与由测量误差导致的虚假现象。该案例强调了在心理学研究中使用LLM时，必须进行严格的效度验证，以避免得出错误的结论。

🎯 应用场景

该研究成果可广泛应用于心理学、社会科学、教育学等领域，提升利用LLM进行研究的可靠性和有效性。通过该工作流，研究者可以更自信地使用LLM作为研究工具，探索人类行为、认知和社会现象，并为人工智能心理学的发展奠定坚实的基础。未来，该方法有望推广到其他AI模型和研究领域。

📄 摘要（原文）

Large language models (LLMs) are rapidly being integrated into psychological research as research tools, evaluation targets, human simulators, and cognitive models. However, recent evidence reveals severe measurement unreliability: Personality assessments collapse under factor analysis, moral preferences reverse with punctuation changes, and theory-of-mind accuracy varies widely with trivial rephrasing. These "measurement phantoms"--statistical artifacts masquerading as psychological phenomena--threaten the validity of a growing body of research. Guided by the dual-validity framework that integrates psychometrics with causal inference, we present a six-stage workflow that scales validity requirements to research ambition--using LLMs to code text requires basic reliability and accuracy, while claims about psychological properties demand comprehensive construct validation. Researchers must (1) explicitly define their research goal and corresponding validity requirements, (2) develop and validate computational instruments through psychometric testing, (3) design experiments that control for computational confounds, (4) execute protocols with transparency, (5) analyze data using methods appropriate for non-independent observations, and (6) report findings within demonstrated boundaries and use results to refine theory. We illustrate the workflow through an example of model evaluation--"LLM selfhood"--showing how systematic validation can distinguish genuine computational phenomena from measurement artifacts. By establishing validated computational instruments and transparent practices, this workflow provides a path toward building a robust empirical foundation for AI psychology research.