Validating LLM-generated political networks with survey-reported partisan exposure
作者: Marco Tonin, Michele Tizzoni, Bruno Lepri, Luca Maria Aiello
分类: cs.SI, cs.AI, physics.soc-ph
发布日期: 2026-10-16
💡 一句话要点
基于LLM的政治网络生成与调查报告的验证方法
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 政治网络 社会模拟 党派暴露 网络评估 个体层面验证 社交媒体研究
📋 核心要点
- 现有的LLM生成网络评估主要集中在整体网络属性，忽视了个体的社会和政治环境，导致生成的网络可能不准确。
- 本文提出了一种基于LLM生成政治网络的方法，通过与调查报告的党派暴露进行比较，验证生成网络的有效性。
- 实验结果显示，生成的网络在党派暴露上存在显著的偏差，强调了在评估时需关注局部环境的准确性。
📝 摘要（中文）
大型语言模型（LLMs）在社会科学研究中越来越多地用于模拟人类行为，包括决策、互动和社会关系。然而，现有的网络形成任务评估往往侧重于网络的整体属性，而忽视了个体的社会和政治环境。本文通过从全国代表性的ANES 2020-2022社交媒体研究中抽样的角色生成基于LLM的政治网络，并使用受访者报告的党派暴露作为实证基准。研究发现，生成网络的结构和政治关联性在不同实验配置中存在差异，且某些模型在党派暴露的生成上存在显著偏差。这表明，仅通过整体结果评估LLM基础的社会模拟可能掩盖局部环境中的错误，强调了在整体和个体层面进行验证的重要性。
🔬 方法详解
问题定义：本文旨在解决现有LLM生成的政治网络在个体层面与真实社会环境不一致的问题，现有方法往往只关注整体网络属性，忽略了局部环境的准确性。
核心思路：通过生成基于LLM的政治网络，并与受访者的调查报告进行比较，来验证生成网络的有效性和准确性。这样设计的目的是为了确保生成的网络不仅在结构上合理，也能真实反映个体的政治环境。
技术框架：整体架构包括数据采集、角色生成、网络构建和验证四个主要模块。首先，从ANES 2020-2022社交媒体研究中抽样角色；然后，基于这些角色生成政治网络；接着，分析生成网络的结构属性和政治关联性；最后，通过与调查数据进行比较进行验证。
关键创新：最重要的创新点在于将个体层面的党派暴露作为验证标准，而不仅仅依赖于网络的整体属性。这一方法使得研究者能够识别生成网络中的局部错误。
关键设计：在网络生成过程中，采用了特定的参数设置来控制网络的结构属性，并设计了损失函数以优化生成网络的政治关联性。此外，网络结构的设计考虑了不同社交群体的特征，以确保生成的网络能够反映真实的社会环境。
🖼️ 关键图片
📊 实验亮点
实验结果表明，某些模型在生成党派暴露时表现出更强的党派分离性，尤其是在民主党和共和党之间的暴露差异上，显示出更高的同党暴露和更低的跨党暴露。此外，部分模型在不同社交群体中对共和党的暴露存在低估现象，强调了模型在局部环境中的表现差异。
🎯 应用场景
该研究的潜在应用领域包括社会科学研究、政治分析和社交媒体行为模拟。通过验证生成的政治网络，研究者可以更准确地理解和预测个体在不同政治环境中的行为，从而为政策制定和社会研究提供更可靠的依据。
📄 摘要（原文）
Large language models (LLMs) are increasingly used to simulate human behavior in social science research, including decisions, interactions, and social relationships. However, in network formation tasks, existing evaluations often focus on aggregate network properties, while networks with plausible structural properties may still fail to reproduce individuals' social and political environments. Here, we generate LLM-based political networks using personas sampled from the nationally representative ANES 2020--2022 Social Media Study and use respondents' survey-reported partisan exposure as an empirical benchmark for the political environments generated for the corresponding personas. We first characterize the structural properties and political assortativity of the generated networks, and then compare ego-level partisan exposure with the survey. We find that the structure and political assortativity of the generated networks vary across experimental configurations. More importantly, when comparing generated partisan exposure with the survey, some models generate stronger separation between Democratic and Republican egos than reported in the survey, with higher same-party and lower cross-party exposure, while others mainly underestimate Republican exposure across ego groups. Moreover, networks with similar political assortativity can still generate different partisan environments around the same personas, including among networks with plausible structural properties. Finally, generated networks show group-specific errors, under- or overestimating exposure to either Democrats or Republicans for specific social groups. These findings show that evaluating LLM-based social simulations only through aggregate outcomes can hide errors in the local environments through which those outcomes emerge, highlighting the importance of validation at both aggregate and individual levels.