Can Large Language Models Predict Associations Among Human Attitudes?

📄 arXiv: 2503.21011v1 📥 PDF

作者: Ana Ma, Derek Powell

分类: cs.CL, cs.AI

发布日期: 2025-03-26

💡 一句话要点

GPT-4o能预测人类态度间的关联，揭示潜在信念结构

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 人类态度预测 信念体系 GPT-4o 社会推论

📋 核心要点

  1. 现有方法主要关注相似态度间的预测，忽略了人类态度在不同主题间的关联性。
  2. 本研究利用GPT-4o，探索其在缺乏表面相似性的情况下预测人类态度的能力。
  3. 实验表明，GPT-4o能有效预测不同态度间的关联，揭示人类信念体系的深层结构。

📝 摘要（中文）

先前研究表明，大型语言模型（LLMs）可以基于其他态度预测人类态度，但主要集中于高度相似和相互关联的态度预测。相比之下，人类态度即使在不同和不相似的主题之间也常常存在很强的关联。本研究使用了一个包含人类对各种态度陈述的回应的新数据集，发现前沿语言模型（GPT-4o）能够重现个体态度之间的成对相关性，并能根据一个人的态度预测另一个人的态度。关键的是，与先前工作相比，我们测试了GPT-4o在态度之间缺乏表面相似性的情况下进行预测的能力，发现虽然表面相似性提高了预测准确性，但该模型仍然能够生成不同态度之间有意义的社会推论。总而言之，我们的发现表明LLMs捕捉到了人类信念体系中更深层、潜在结构的关键方面。

🔬 方法详解

问题定义：论文旨在解决大型语言模型（LLMs）能否在缺乏表面相似性的情况下，预测人类在不同主题上的态度关联问题。现有方法主要集中在相似或相关态度之间的预测，忽略了人类态度在看似无关的主题之间也可能存在的深层联系。这种局限性阻碍了我们对LLMs理解人类信念体系的全面评估。

核心思路：论文的核心思路是利用GPT-4o，通过分析人类对各种态度陈述的反应，来重现个体态度之间的成对相关性，并验证模型在缺乏表面相似性的情况下进行态度预测的能力。这种方法旨在揭示LLMs是否能够捕捉到人类信念体系中更深层、潜在的结构。

技术框架：研究主要包含以下几个阶段：1) 构建包含人类对各种态度陈述回应的新数据集；2) 使用GPT-4o模型，输入个体对某些态度陈述的回应，预测其对其他态度陈述的回应；3) 计算模型预测的态度相关性与人类实际态度相关性之间的匹配程度；4) 分析表面相似性对预测准确性的影响。

关键创新：本研究的关键创新在于，它首次系统性地评估了LLMs在缺乏表面相似性的情况下预测人类态度关联的能力。与以往研究主要关注相似态度之间的预测不同，本研究关注的是不同主题之间的态度关联，从而更全面地评估了LLMs对人类信念体系的理解。

关键设计：论文的关键设计包括：1) 构建了一个包含多样化态度陈述的数据集，涵盖了广泛的主题；2) 使用GPT-4o作为主要的实验模型，利用其强大的语言理解和生成能力；3) 设计了合理的评估指标，用于衡量模型预测的态度相关性与人类实际态度相关性之间的匹配程度；4) 通过控制表面相似性，分析其对预测准确性的影响。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，GPT-4o能够有效地重现个体态度之间的成对相关性，并在缺乏表面相似性的情况下进行态度预测。虽然表面相似性提高了预测准确性，但GPT-4o仍然能够生成不同态度之间有意义的社会推论，表明其捕捉到了人类信念体系中更深层、潜在结构的关键方面。

🎯 应用场景

该研究成果可应用于心理学、社会学等领域，帮助研究人员更好地理解人类的信念体系和态度形成机制。此外，该研究还可以用于开发更智能的推荐系统、个性化营销策略以及更具同理心的AI助手，从而改善人机交互体验。

📄 摘要（原文）

Prior work has shown that large language models (LLMs) can predict human attitudes based on other attitudes, but this work has largely focused on predictions from highly similar and interrelated attitudes. In contrast, human attitudes are often strongly associated even across disparate and dissimilar topics. Using a novel dataset of human responses toward diverse attitude statements, we found that a frontier language model (GPT-4o) was able to recreate the pairwise correlations among individual attitudes and to predict individuals' attitudes from one another. Crucially, in an advance over prior work, we tested GPT-4o's ability to predict in the absence of surface-similarity between attitudes, finding that while surface similarity improves prediction accuracy, the model was still highly-capable of generating meaningful social inferences between dissimilar attitudes. Altogether, our findings indicate that LLMs capture crucial aspects of the deeper, latent structure of human belief systems.