MF-LLM: Simulating Population Decision Dynamics via a Mean-Field Large Language Model Framework

📄 arXiv: 2504.21582v3 📥 PDF

作者: Qirui Mi, Mengyue Yang, Xiangning Yu, Zhiyu Zhao, Cheng Deng, Bo An, Haifeng Zhang, Xu Chen, Jun Wang

分类: cs.MA, cs.AI

发布日期: 2025-04-30 (更新: 2025-07-10)

备注: 29 pages, 8 figures, 4 tables

💡 一句话要点

提出MF-LLM框架，通过均值场理论提升LLM在群体决策模拟中的真实性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 社会模拟 大型语言模型 均值场理论 群体决策 信息瓶颈 微调 行为预测

📋 核心要点

  1. 现有社会模拟方法难以捕捉个体间动态交互，导致与真实世界数据定量对齐困难。
  2. MF-LLM框架通过均值场理论建模个体与群体间的双向影响，迭代更新群体信号。
  3. IB-Tune微调方法基于信息瓶颈原则，过滤冗余历史信息，提升模型预测精度。

📝 摘要（中文）

本文提出了一种名为均值场LLM（MF-LLM）的框架，首次将均值场理论融入到基于LLM的社会模拟中。MF-LLM通过迭代过程模拟个体与群体之间的双向互动，生成群体信号来指导个体决策，反过来个体决策又更新群体信号，从而产生连贯的集体行为轨迹。为了提高与真实世界数据的对齐，本文引入了一种受信息瓶颈原则启发的微调方法IB-Tune，该方法保留了最能预测未来行为的群体信号，同时过滤掉冗余的历史信息。在真实世界的社会数据集上的评估表明，与非均值场基线相比，MF-LLM将KL散度降低了47％，从而能够进行准确的趋势预测和有效的干预计划。MF-LLM推广到7个领域和4个LLM骨干网络，为社会模拟提供了一个可扩展、高保真的基础。

🔬 方法详解

问题定义：论文旨在解决现有社会模拟方法无法准确模拟群体决策动态的问题。现有方法要么过于简化个体间的交互，要么难以与真实世界数据对齐，导致模拟结果与实际情况存在较大偏差。特别是在利用LLM进行社会模拟时，如何保证模拟结果的真实性和可靠性是一个关键挑战。

核心思路：论文的核心思路是将均值场理论引入到LLM驱动的社会模拟中。均值场理论认为，个体的行为受到整个群体平均行为的影响，反过来个体的行为也会影响群体的平均行为。通过建模这种双向互动，可以更准确地捕捉群体决策的动态过程。

技术框架：MF-LLM框架包含以下主要模块：1) 个体决策模块：使用LLM模拟个体在特定情境下的决策过程；2) 群体信号生成模块：基于个体决策结果，计算群体的平均行为或状态，作为群体信号；3) 均值场交互模块：将群体信号反馈给个体决策模块，影响个体的后续决策；4) IB-Tune微调模块：使用信息瓶颈原则，对LLM进行微调，保留与未来行为预测相关的群体信号，过滤冗余信息。整个流程是一个迭代过程，个体决策影响群体信号，群体信号反过来影响个体决策，从而模拟群体决策的动态演化。

关键创新：MF-LLM框架的关键创新在于将均值场理论与LLM相结合，构建了一个能够模拟个体与群体双向互动的社会模拟框架。此外，IB-Tune微调方法也是一个重要的创新点，它能够有效地提高模型与真实世界数据的对齐程度。与现有方法相比，MF-LLM能够更准确地捕捉群体决策的动态过程，并提供更可靠的模拟结果。

关键设计：IB-Tune微调方法基于信息瓶颈原则，旨在最小化历史信息与未来行为之间的互信息，同时最大化群体信号与未来行为之间的互信息。具体来说，IB-Tune使用一个编码器将历史信息编码为群体信号，并使用一个解码器基于群体信号预测未来行为。微调的目标是最小化编码器输出的熵，同时最大化解码器的预测准确率。损失函数包括一个互信息项和一个预测误差项，通过调整这两个项的权重来控制信息瓶颈的强度。具体的LLM backbone选择和参数设置会根据不同的应用场景进行调整。

🖼️ 关键图片

img_0

📊 实验亮点

实验结果表明，MF-LLM在真实世界的社会数据集上显著优于非均值场基线，KL散度降低了47%。这表明MF-LLM能够更准确地模拟群体决策的动态过程，并与真实世界数据更好地对齐。此外，MF-LLM在7个不同领域和4个不同的LLM骨干网络上都表现出良好的泛化能力，证明了该框架的通用性和可扩展性。

🎯 应用场景

MF-LLM框架可应用于多个领域，如公共政策制定、市场营销、舆情分析等。通过模拟不同政策或干预措施对群体行为的影响，可以帮助决策者制定更有效的策略。在市场营销中，可以模拟消费者对不同产品或广告的反应，优化营销方案。在舆情分析中，可以预测社会热点事件的演化趋势，及时采取应对措施。该研究为社会科学研究提供了一个强大的工具，有助于更深入地理解人类社会行为。

📄 摘要（原文）

Simulating collective decision-making involves more than aggregating individual behaviors; it emerges from dynamic interactions among individuals. While large language models (LLMs) offer strong potential for social simulation, achieving quantitative alignment with real-world data remains a key challenge. To bridge this gap, we propose the Mean-Field LLM (MF-LLM) framework, the first to incorporate mean field theory into LLM-based social simulation. MF-LLM models bidirectional interactions between individuals and the population through an iterative process, generating population signals to guide individual decisions, which in turn update the signals. This interplay produces coherent trajectories of collective behavior. To improve alignment with real-world data, we introduce IB-Tune, a novel fine-tuning method inspired by the Information Bottleneck principle, which retains population signals most predictive of future actions while filtering redundant history. Evaluated on a real-world social dataset, MF-LLM reduces KL divergence to human population distributions by 47\% compared to non-mean-field baselines, enabling accurate trend forecasting and effective intervention planning. Generalizing across 7 domains and 4 LLM backbones, MF-LLM provides a scalable, high-fidelity foundation for social simulation.