Social Science Meets LLMs: How Reliable Are Large Language Models in Social Simulations?

📄 arXiv: 2410.23426v1 📥 PDF

作者: Yue Huang, Zhengqing Yuan, Yujun Zhou, Kehan Guo, Xiangqi Wang, Haomin Zhuang, Weixiang Sun, Lichao Sun, Jindong Wang, Yanfang Ye, Xiangliang Zhang

分类: cs.CL

发布日期: 2024-10-30

💡 一句话要点

TrustSim：评估LLM在社会模拟中的可靠性，并提出AdaORPO算法提升其性能。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 社会模拟 可靠性评估 强化学习 计算社会科学 TrustSim数据集 AdaORPO算法

📋 核心要点

  1. 现有基于LLM的社会模拟应用广泛，但其可靠性缺乏系统评估，导致人们对其信任度产生担忧。
  2. 论文提出TrustSim数据集，用于评估LLM在社会模拟中的可靠性，并设计AdaORPO算法提升LLM的一致性。
  3. 实验表明，LLM在模拟角色中存在不一致性，且一致性与通用性能关联弱。AdaORPO能有效提升LLM模拟的可靠性。

📝 摘要（中文）

大型语言模型（LLMs）越来越多地被用于模拟，从而实现了角色扮演代理和计算社会科学（CSS）中的应用。然而，这些模拟的可靠性尚未得到充分探索，这引发了人们对LLM在这些应用中可信度的担忧。本文旨在回答“基于LLM的模拟有多可靠？”为了解决这个问题，我们引入了TrustSim，一个涵盖10个CSS相关主题的评估数据集，以系统地研究LLM模拟的可靠性。我们对14个LLM进行了实验，发现基于LLM的模拟角色中仍然存在不一致性。此外，LLM的一致性水平与其通用性能没有很强的相关性。为了提高LLM在模拟中的可靠性，我们提出了一种基于强化学习的算法——基于自适应学习率的ORPO（AdaORPO），以提高7个LLM在模拟中的可靠性。我们的研究为未来的研究奠定了基础，以探索更强大和值得信赖的基于LLM的模拟。

🔬 方法详解

问题定义：论文旨在解决LLM在计算社会科学（CSS）模拟中可靠性不足的问题。现有的LLM虽然在通用任务上表现出色，但在模拟人类行为和社会互动时，其决策和行为的一致性、合理性以及对社会规范的遵守程度仍有待考量。现有方法缺乏针对社会模拟场景的系统性评估和优化，难以保证模拟结果的可靠性。

核心思路：论文的核心思路是通过构建专门的评估数据集TrustSim，对LLM在社会模拟中的表现进行量化评估，并利用强化学习算法AdaORPO对LLM进行微调，从而提高其在模拟中的可靠性。这种思路旨在从数据和算法两个层面提升LLM在社会模拟中的性能。

技术框架：论文的技术框架主要包含两个部分：一是TrustSim数据集的构建，二是AdaORPO算法的设计与应用。TrustSim数据集包含10个CSS相关主题，用于评估LLM在不同社会情境下的行为一致性。AdaORPO算法则基于强化学习，通过优化LLM的策略，使其在模拟中表现出更高的可靠性。整体流程为：首先使用TrustSim评估LLM的初始性能，然后使用AdaORPO对LLM进行微调，最后再次使用TrustSim评估微调后的性能提升。

关键创新：论文的关键创新在于：1) 提出了TrustSim数据集，为LLM在社会模拟领域的评估提供了一个标准化的基准。2) 设计了AdaORPO算法，该算法通过自适应调整学习率，更有效地优化LLM在模拟中的行为策略。AdaORPO算法针对ORPO算法进行了改进，使其更适应社会模拟任务的特点。

关键设计：TrustSim数据集的设计考虑了不同社会情境的覆盖，包括道德困境、合作博弈等。AdaORPO算法的关键设计在于自适应学习率的调整机制，该机制根据LLM在模拟中的表现动态调整学习率，从而加速收敛并提高性能。具体而言，AdaORPO可能涉及到奖励函数的设计，用于衡量LLM在模拟中的行为是否符合预期，以及策略梯度算法的实现，用于更新LLM的参数。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，现有的LLM在社会模拟中存在显著的不一致性。通过使用AdaORPO算法进行微调，LLM在TrustSim数据集上的可靠性得到了显著提升。具体性能数据未知，但论文强调AdaORPO在提高LLM模拟可靠性方面的有效性，并优于其他基线方法。

🎯 应用场景

该研究成果可应用于构建更可靠的社会模拟系统，例如用于政策制定、危机管理、舆情分析等领域。通过使用更可靠的LLM模拟，可以更好地预测社会事件的走向，评估政策的影响，并制定更有效的应对措施。此外，该研究也有助于提升角色扮演游戏和虚拟社交环境的真实感和互动性。

📄 摘要（原文）

Large Language Models (LLMs) are increasingly employed for simulations, enabling applications in role-playing agents and Computational Social Science (CSS). However, the reliability of these simulations is under-explored, which raises concerns about the trustworthiness of LLMs in these applications. In this paper, we aim to answer ``How reliable is LLM-based simulation?'' To address this, we introduce TrustSim, an evaluation dataset covering 10 CSS-related topics, to systematically investigate the reliability of the LLM simulation. We conducted experiments on 14 LLMs and found that inconsistencies persist in the LLM-based simulated roles. In addition, the consistency level of LLMs does not strongly correlate with their general performance. To enhance the reliability of LLMs in simulation, we proposed Adaptive Learning Rate Based ORPO (AdaORPO), a reinforcement learning-based algorithm to improve the reliability in simulation across 7 LLMs. Our research provides a foundation for future studies to explore more robust and trustworthy LLM-based simulations.