Large Language Models (LLMs) as Agents for Augmented Democracy

📄 arXiv: 2405.03452v3 📥 PDF

作者: Jairo Gudiño-Rosero, Umberto Grandi, César A. Hidalgo

分类: cs.CY, cs.AI, cs.CL

发布日期: 2024-05-06 (更新: 2024-07-30)

备注: 24 pages main manuscript with 4 figures. 13 pages of supplementary material

DOI: 10.1098/rsta

💡 一句话要点

利用大型语言模型增强民主：预测公民政策偏好

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 增强民主 政策偏好预测 数据增强 政治选择

📋 核心要点

  1. 现有方法难以准确捕捉公民对政策的细微偏好，简单假设（如“一揽子规则”）无法有效预测投票行为。
  2. 利用大型语言模型（LLM）学习公民对政策的偏好，并用LLM增强数据，从而更准确地预测个体和群体的政治选择。
  3. 实验表明，LLM能更准确地预测个体偏好，且LLM增强的样本能更准确地估计群体偏好，优于传统方法。

📝 摘要（中文）

本文探索了一种增强民主的系统，该系统构建于现成的LLM之上，并经过微调，以增强公民偏好数据。这些偏好数据来自对巴西2022年总统选举两位主要候选人政府计划中提取的政策的调查。我们使用训练-测试交叉验证设置来评估LLM预测的准确性，包括个体政治选择和全体参与者的总体偏好。在个体层面，我们发现LLM预测样本外偏好的准确性高于“一揽子规则”，后者假设公民总是投票给与其自我报告的政治倾向一致的候选人的提案。在群体层面，我们表明，由LLM增强的概率样本比单独的非增强概率样本能更准确地估计群体的总体偏好。总而言之，这些结果表明，使用LLM增强的政策偏好数据可以捕捉超越党派界限的细微差别，并代表了数据增强的一个有希望的研究方向。

🔬 方法详解

问题定义：现有方法在预测公民对政策的偏好时存在局限性。传统的“一揽子规则”假设公民会简单地根据其政治倾向来选择候选人的所有政策，但这种方法忽略了公民可能对不同政策有不同看法的事实。因此，需要一种更细致的方法来捕捉公民对具体政策的偏好，并准确预测其政治选择。

核心思路：本文的核心思路是利用大型语言模型（LLM）的强大语言理解和生成能力，学习公民对政策的偏好。通过对LLM进行微调，使其能够根据公民的个人信息和对政策的描述，预测其对该政策的偏好。这种方法能够捕捉到传统方法无法捕捉到的细微差别，从而更准确地预测公民的政治选择。

技术框架：该研究的技术框架包括以下几个主要步骤：1) 从巴西2022年总统选举两位主要候选人的政府计划中提取政策。2) 收集公民对这些政策的偏好数据。3) 使用这些数据对LLM进行微调，使其能够预测公民对政策的偏好。4) 使用训练-测试交叉验证设置来评估LLM的预测准确性。5) 将LLM的预测结果与传统方法（如“一揽子规则”）进行比较。

关键创新：该研究的关键创新在于将LLM应用于增强民主领域，并证明了LLM在预测公民政策偏好方面的潜力。与传统方法相比，LLM能够更准确地捕捉到公民对政策的细微偏好，从而更准确地预测其政治选择。此外，该研究还表明，LLM增强的样本能够更准确地估计群体的总体偏好。

关键设计：该研究的关键设计包括：1) 选择合适的LLM模型进行微调。2) 设计有效的微调策略，以提高LLM的预测准确性。3) 使用训练-测试交叉验证设置来评估LLM的泛化能力。4) 选择合适的评估指标来衡量LLM的预测准确性，例如个体层面的预测准确率和群体层面的总体偏好估计准确率。

📊 实验亮点

实验结果表明，在个体层面，LLM预测样本外偏好的准确性高于“一揽子规则”。在群体层面，LLM增强的概率样本比单独的非增强概率样本能更准确地估计群体的总体偏好。这些结果表明，LLM能够有效捕捉公民对政策的细微偏好，并提高政治选择预测的准确性。

🎯 应用场景

该研究成果可应用于增强民主系统，例如通过LLM预测公民对政策的偏好，为政府决策提供参考。此外，该方法还可用于进行更准确的民意调查，了解公众对不同政策的看法。未来，该技术有望应用于个性化政治推荐系统，帮助公民更好地了解候选人的政策立场，并做出更明智的投票选择。

📄 摘要（原文）

We explore an augmented democracy system built on off-the-shelf LLMs fine-tuned to augment data on citizen's preferences elicited over policies extracted from the government programs of the two main candidates of Brazil's 2022 presidential election. We use a train-test cross-validation setup to estimate the accuracy with which the LLMs predict both: a subject's individual political choices and the aggregate preferences of the full sample of participants. At the individual level, we find that LLMs predict out of sample preferences more accurately than a "bundle rule", which would assume that citizens always vote for the proposals of the candidate aligned with their self-reported political orientation. At the population level, we show that a probabilistic sample augmented by an LLM provides a more accurate estimate of the aggregate preferences of a population than the non-augmented probabilistic sample alone. Together, these results indicates that policy preference data augmented using LLMs can capture nuances that transcend party lines and represents a promising avenue of research for data augmentation.