Beyond Self-Reports: Multi-Observer Agents for Personality Assessment in Large Language Models

📄 arXiv: 2504.08399v2 📥 PDF

作者: Yin Jou Huang, Rafik Hadfi

分类: cs.CL, cs.AI

发布日期: 2025-04-11 (更新: 2025-05-20)

备注: 16 pages, 6 figures, 6 tables

💡 一句话要点

提出多观察者框架，用于更可靠地评估大型语言模型的人格特质

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 人格评估 多观察者框架 知情人报告 人机交互

📋 核心要点

  1. 现有LLM人格评估依赖自我报告，易受偏差和元知识影响，无法准确反映真实行为。
  2. 提出多观察者框架，模拟不同关系背景的观察者与LLM交互，评估其人格特质。
  3. 实验表明，观察者报告更符合人类判断，能有效减少LLM自我评估的系统性偏差。

📝 摘要（中文）

自我报告问卷长期以来被用于评估大型语言模型（LLM）的人格特质，但由于偏差和元知识污染，它们无法捕捉行为的细微差别。本文提出了一种新颖的多观察者框架，用于评估LLM代理的人格特质，该框架借鉴了心理学中的知情人报告方法。我们没有依赖自我评估，而是采用了多个观察者代理。每个观察者都配置了特定的关系背景（例如，家庭成员、朋友或同事），并在评估其在“大五”维度上的行为之前，与受试LLM进行对话。我们表明，这些观察者报告的评分比传统的自我报告更符合人类的判断，并揭示了LLM自我评估中的系统性偏差。我们还发现，汇总来自5到7个观察者的回复可以减少系统性偏差并实现最佳可靠性。我们的结果突出了关系背景在感知人格中的作用，并表明多观察者范式为评估LLM人格特质提供了一种更可靠、对上下文敏感的方法。

🔬 方法详解

问题定义：现有的大型语言模型人格评估方法主要依赖于自我报告问卷。这种方法存在固有的局限性，因为LLM可能受到偏差、元知识污染以及对自身能力的过度自信等因素的影响，导致评估结果不准确，无法真实反映其行为模式。因此，需要一种更客观、可靠的方法来评估LLM的人格特质。

核心思路：本文的核心思路是借鉴心理学中的知情人报告方法，引入多个观察者代理来评估LLM的人格。每个观察者代理都模拟了与目标LLM不同的关系背景（例如，朋友、家人、同事），通过对话互动来观察LLM的行为，并根据“大五”人格模型进行评估。通过汇总多个观察者的评估结果，可以减少个体偏差，提高评估的可靠性和准确性。

技术框架：该框架包含以下主要模块：1) 目标LLM代理：被评估人格特质的LLM。2) 观察者代理：多个具有不同关系背景的LLM代理，用于与目标LLM进行对话互动并评估其人格特质。3) 对话模块：用于生成观察者代理与目标LLM之间的对话。4) 人格评估模块：基于对话内容，观察者代理根据“大五”人格模型对目标LLM进行评估。5) 聚合模块：将多个观察者代理的评估结果进行聚合，得到最终的人格评估结果。

关键创新：该方法最重要的创新点在于引入了多观察者视角，模拟了真实世界中人际关系对人格评估的影响。与传统的自我报告方法相比，多观察者框架能够更全面、客观地评估LLM的人格特质，减少了自我报告偏差。此外，该方法还探索了不同关系背景对人格感知的差异，为理解LLM行为提供了新的视角。

关键设计：每个观察者代理都配置了特定的关系背景，例如“朋友”、“家人”或“同事”。这些关系背景通过prompt工程来实现，影响观察者代理与目标LLM的对话方式和评估标准。对话模块的设计需要保证对话的自然性和信息量，以便观察者代理能够充分观察目标LLM的行为。人格评估模块使用“大五”人格模型，要求观察者代理对目标LLM在开放性、尽责性、外向性、宜人性和神经质五个维度上进行评分。聚合模块采用平均值或加权平均值等方法，将多个观察者代理的评分进行汇总。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，多观察者报告比传统的自我报告更符合人类的判断。通过汇总5到7个观察者的回复，可以显著减少系统性偏差，并达到最佳的评估可靠性。此外，研究还发现，不同的关系背景对人格感知存在显著影响，这为理解LLM行为提供了新的视角。

🎯 应用场景

该研究成果可应用于LLM的安全性评估、个性化推荐系统、人机交互设计等领域。通过准确评估LLM的人格特质，可以更好地理解其行为模式，预测其潜在风险，并设计更符合用户需求的应用。未来，该方法有望扩展到其他类型的人工智能系统，为构建更安全、可靠、可信赖的人工智能提供技术支持。

📄 摘要（原文）

Self-report questionnaires have long been used to assess LLM personality traits, yet they fail to capture behavioral nuances due to biases and meta-knowledge contamination. This paper proposes a novel multi-observer framework for personality trait assessments in LLM agents that draws on informant-report methods in psychology. Instead of relying on self-assessments, we employ multiple observer agents. Each observer is configured with a specific relational context (e.g., family member, friend, or coworker) and engages the subject LLM in dialogue before evaluating its behavior across the Big Five dimensions. We show that these observer-report ratings align more closely with human judgments than traditional self-reports and reveal systematic biases in LLM self-assessments. We also found that aggregating responses from 5 to 7 observers reduces systematic biases and achieves optimal reliability. Our results highlight the role of relationship context in perceiving personality and demonstrate that a multi-observer paradigm offers a more reliable, context-sensitive approach to evaluating LLM personality traits.