Reason-Mediated Behavioral Models for Auditing LLM Social Simulators
作者: Atharva Pandey, Gautam Jajoo
分类: cs.AI
发布日期: 2026-07-27
💡 一句话要点
提出基于理由的行为模型以审计大型语言模型的社会模拟器
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 社会模拟器 推理过程 行为预测 市场调研 可解释性评估
📋 核心要点
- 现有的社会模拟器评估方法仅关注最终结果的相似性，忽视了推理过程的合理性。
- 本文提出通过映射人类的开放式理由为签名理由状态，来评估模拟器的推理能力。
- 实验结果显示，基于人类理由的推导显著提高了购买意图的预测准确性，LLM模拟的理由则表现出较大的脆弱性。
📝 摘要（中文）
大型语言模型（LLM）越来越多地被用作社会模拟器，包括作为合成调查受访者。本文认为，虽然模拟结果与人类结果相似是必要的，但这种评估过于简单。我们通过94人的防晒概念测试研究这一问题，映射受访者的开放式理由为签名理由状态Z，正负符号分别支持或阻碍采纳。研究表明，基于人类理由的推导显著提高了购买意图的预测，而LLM模拟的理由则较为脆弱，常常无法准确反映受访者的接受或拒绝路径。本文为社会模拟器贡献了一个评估框架，提供了对模拟器理由与人类证据一致性的可解释性测试。
🔬 方法详解
问题定义：本文旨在解决大型语言模型作为社会模拟器时，评估其推理过程与人类推理的一致性问题。现有方法仅关注最终结果的相似性，未能有效评估推理的合理性。
核心思路：通过将人类受访者的开放式理由映射为签名理由状态Z，本文提出了一种新的审计方法，旨在检验模拟器的推理是否与人类证据一致。
技术框架：研究中，首先收集受访者的开放式理由，然后将其映射为正负签名的理由状态。接着，固定受访者描述符D、类别上下文K和概念处理X，分析人类理由如何预测行为Y，并检验LLM是否能在未见人类理由或结果的情况下模拟相同的理由状态。
关键创新：本文的主要创新在于提出了一种新的评估框架，通过理由状态的映射，提供了对模拟器推理过程的可解释性测试。这一方法与传统的仅关注结果的评估方式有本质区别。
关键设计：在实验中，采用了94人的样本进行防晒概念测试，设计了合理的参数设置以确保理由状态的准确映射，并通过对比分析验证了人类推导理由对购买意图预测的提升效果。实验中，LLM模拟的理由常常与概念板相似，但未能有效恢复受访者的接受或拒绝路径。
🖼️ 关键图片
📊 实验亮点
实验结果表明，基于人类理由的推导显著提高了购买意图的预测准确性，具体提升幅度达到XX%（具体数据未知）。相比之下，LLM模拟的理由表现出较大的脆弱性，常常无法准确反映受访者的真实决策路径，这一发现强调了推理过程的重要性。
🎯 应用场景
该研究的潜在应用领域包括市场调研、产品设计和人机交互等。通过提供对大型语言模型推理过程的可解释性评估，企业可以更好地理解消费者行为，从而优化产品和服务。未来，该方法可能推动社会模拟器在更广泛领域的应用，提升其可靠性和有效性。
📄 摘要（原文）
Large language models are increasingly used as social simulators, including as synthetic survey respondents. Most evaluations ask whether simulated outcomes resemble human outcomes. We argue that this is necessary but too weak: a simulator can match the final answer while using the wrong rationale-derived reason pattern. We study this problem through a 94-person sunscreen concept test in which each respondent evaluated three product concepts and wrote open-ended rationales. We map those rationales into signed reason states $Z$, where positive signs support adoption and negative signs block it. This gives a practical audit: holding respondent descriptors $D$, category context $K$, and concept treatment $X$ fixed, do human rationale-derived reasons help predict behavior $Y$, and can an LLM simulate the same reason state without seeing the human rationale or outcome? Human rationale-derived reasons substantially improve held-out prediction of purchase intent. LLM-simulated reasons are more brittle: they often sound plausible, but frequently echo the concept board rather than recover the respondent's acceptance or rejection path. The paper contributes an evaluation framework for social simulators. Reason states do not identify natural causal effects by themselves, but they provide an interpretable test of whether a simulator's stated reasons align with human evidence.