Automated Item Neutralization for Non-Cognitive Scales: A Large Language Model Approach to Reducing Social-Desirability Bias

📄 arXiv: 2509.19314v1 📥 PDF

作者: Sirui Wu, Daijin Yang

分类: cs.CL, cs.AI, cs.CY

发布日期: 2025-09-09

备注: Accepted for publication in NCME-AIME 2025

💡 一句话要点

利用大语言模型自动中和非认知量表条目，以减少社会期望偏差

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 社会期望偏差 大型语言模型 人格评估 条目中和 心理测量

📋 核心要点

  1. 人格评估中社会期望偏差影响结果的准确性，现有方法难以有效消除。
  2. 利用GPT-o3重写人格量表条目，使其更中立，降低受试者迎合社会期望的倾向。
  3. 实验表明，中和后的量表保持了信度和结构，但与社会期望的相关性降低并不稳定。

📝 摘要（中文）

本研究评估了由大型语言模型（LLM）辅助的条目中和方法，以减少人格评估中的社会期望偏差。使用GPT-o3重写了国际人格项目池大五人格量表（IPIP-BFM-50）。203名参与者完成了原始版本或中和版本，以及Marlowe-Crowne社会期望量表。结果表明，该方法保留了量表的信度和五因素结构，在尽责性方面有所提高，而在宜人性和开放性方面有所下降。与社会期望的相关性在一些条目中有所降低，但并不一致。构型不变性成立，但度量不变性和标量不变性失败。研究结果表明，AI中和作为一种潜在但并不完善的偏差减少方法。

🔬 方法详解

问题定义：论文旨在解决人格评估中存在的社会期望偏差问题。社会期望偏差是指受试者在回答问题时，倾向于给出符合社会规范或期望的答案，而非真实的自我认知，从而影响评估结果的准确性。现有的减少社会期望偏差的方法，例如使用平衡量表或统计控制，效果有限，且可能引入其他问题。

核心思路：论文的核心思路是利用大型语言模型（LLM）的文本生成能力，自动重写人格量表中的条目，使其更加中立，从而降低受试者感知到的社会期望压力。通过调整条目的措辞，减少其诱导社会期望反应的倾向。

技术框架：整体流程包括以下几个阶段：1) 选择人格量表（IPIP-BFM-50）；2) 使用GPT-o3模型对量表中的每个条目进行重写，生成中和后的条目；3) 招募参与者，随机分配到原始量表组或中和量表组；4) 让参与者完成量表，并同时完成Marlowe-Crowne社会期望量表；5) 分析两组量表的信度、效度、因素结构和社会期望相关性，以及进行不变性检验。

关键创新：该研究的关键创新在于将大型语言模型应用于人格量表条目的自动中和。与传统的手工修改条目相比，LLM可以更高效、更系统地生成大量候选条目，并根据预设的目标（例如，降低社会期望相关性）进行优化。此外，该研究还采用了不变性检验，更严格地评估了中和后的量表与原始量表之间的等价性。

关键设计：研究使用了GPT-o3模型进行条目重写，具体提示词（prompt）的设计未知。研究比较了原始量表和中和量表在多个指标上的差异，包括Cronbach's alpha信度系数、因素分析结果、与Marlowe-Crowne社会期望量表的相关性，以及构型不变性、度量不变性和标量不变性。不变性检验采用多组验证性因素分析（MGCFA）。

📊 实验亮点

实验结果表明，AI中和后的量表在尽责性维度上有所提高，在宜人性和开放性维度上有所下降。虽然与社会期望的相关性在一些条目中有所降低，但整体效果并不一致。构型不变性成立，但度量不变性和标量不变性未能成立，表明AI中和对量表的测量等价性产生了一定的影响。

🎯 应用场景

该研究成果可应用于心理测量、人才测评、市场调研等领域，通过自动中和问卷条目，减少社会期望偏差，提高数据质量和决策的准确性。未来，该方法可扩展到其他类型的问卷和评估工具，并结合更先进的自然语言处理技术，进一步提升中和效果。

📄 摘要（原文）

This study evaluates item neutralization assisted by the large language model (LLM) to reduce social desirability bias in personality assessment. GPT-o3 was used to rewrite the International Personality Item Pool Big Five Measure (IPIP-BFM-50), and 203 participants completed either the original or neutralized form along with the Marlowe-Crowne Social Desirability Scale. The results showed preserved reliability and a five-factor structure, with gains in Conscientiousness and declines in Agreeableness and Openness. The correlations with social desirability decreased for several items, but inconsistently. Configural invariance held, though metric and scalar invariance failed. Findings support AI neutralization as a potential but imperfect bias-reduction method.