A Large Language Model for Feasible and Diverse Population Synthesis

📄 arXiv: 2505.04196v1 📥 PDF

作者: Sung Yoo Lim, Hyunsoo Yun, Prateek Bansal, Dong-Kyu Kim, Eui-Jin Kim

分类: cs.LG, cs.MA

发布日期: 2025-05-07

备注: 28 pages, 7 figures, 6 tables. Submitted to Transportation Research Part C: Emerging Technologies. Preprint version

💡 一句话要点

提出基于LLM和贝叶斯网络的混合方法，用于生成可行且多样化的人口合成数据。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 人口合成 大型语言模型 贝叶斯网络 活动模型 生成模型

📋 核心要点

  1. 现有深度生成模型在人口合成中难以平衡罕见合理组合的包含与不合理组合的排除，导致可行性不足。
  2. 提出一种基于大型语言模型和贝叶斯网络的混合方法，通过拓扑排序显式控制自回归生成过程，提高可行性。
  3. 实验表明，该方法可行性达到约95%，显著高于传统深度生成模型，同时保持了相当的多样性，且易于部署。

📝 摘要（中文）

生成可行且多样化的人口合成数据对于确保基于活动的模型(ABM)中下游活动计划模拟的有效性至关重要。虽然变分自编码器和生成对抗网络等深度生成模型(DGM)已被应用于此任务，但它们通常难以平衡罕见但合理的组合(即，采样零)的包含与不合理的组合(即，结构零)的排除。为了在保持多样性的同时提高可行性，我们提出了一种大型语言模型(LLM)的微调方法，该方法通过源自贝叶斯网络(BN)的拓扑排序显式地控制自回归生成过程。实验结果表明，我们的混合LLM-BN方法优于传统的DGM和专有LLM(例如，ChatGPT-4o)的小样本学习。具体而言，我们的方法实现了约95%的可行性，远高于DGM中观察到的约80%，同时保持了相当的多样性，使其非常适合实际应用。重要的是，该方法基于轻量级的开源LLM，可以在标准的个人计算环境中进行微调和推理。这使得该方法具有成本效益，并且可以扩展到大规模应用，例如在特大城市中合成人口，而无需依赖昂贵的基础设施。通过使用高质量的合成人口启动ABM管道，我们的方法提高了整体模拟可靠性并减少了下游误差传播。这些方法的源代码可用于研究和实际应用。

🔬 方法详解

问题定义：论文旨在解决人口合成中深度生成模型（DGMs）难以同时保证生成数据的可行性和多样性的问题。现有DGMs在处理罕见但合理的组合（采样零）和排除不合理的组合（结构零）时存在困难，导致生成的人口数据在实际应用中可能出现偏差或错误。

核心思路：论文的核心思路是将大型语言模型（LLM）与贝叶斯网络（BN）相结合，利用BN提供的拓扑排序来指导LLM的自回归生成过程。通过这种方式，可以显式地控制生成过程，从而提高生成数据的可行性，同时利用LLM的强大生成能力来保持数据的多样性。

技术框架：该方法的技术框架主要包括以下几个步骤：1) 使用贝叶斯网络对人口数据中的变量之间的依赖关系进行建模，并生成拓扑排序；2) 使用拓扑排序来指导LLM的自回归生成过程，确保生成的数据符合BN所定义的依赖关系；3) 对LLM进行微调，使其能够生成符合特定应用场景的人口数据。

关键创新：该方法最重要的技术创新点在于将LLM与BN相结合，利用BN的拓扑排序来显式地控制LLM的生成过程。这种混合方法能够有效地提高生成数据的可行性，同时保持数据的多样性。与传统的DGMs相比，该方法能够更好地处理采样零和结构零的问题。

关键设计：论文使用轻量级的开源LLM，使其能够在标准的个人计算环境中进行微调和推理，降低了部署成本。此外，论文还设计了一种基于拓扑排序的自回归生成策略，确保生成的数据符合BN所定义的依赖关系。具体的参数设置、损失函数和网络结构等技术细节在论文中进行了详细描述（具体细节未知）。

📊 实验亮点

实验结果表明，该方法在人口合成任务中取得了显著的性能提升。与传统的深度生成模型相比，该方法的可行性从约80%提高到约95%，同时保持了相当的多样性。此外，该方法还优于专有LLM（如ChatGPT-4o）的小样本学习，证明了其在人口合成任务中的有效性。

🎯 应用场景

该研究成果可广泛应用于城市规划、公共卫生、交通运输等领域。通过生成高质量的合成人口数据，可以为基于活动的模型提供更可靠的输入，从而提高模拟结果的准确性和可靠性。该方法尤其适用于大规模城市的人口合成，有助于更好地理解城市运行规律，为政策制定提供科学依据。

📄 摘要（原文）

Generating a synthetic population that is both feasible and diverse is crucial for ensuring the validity of downstream activity schedule simulation in activity-based models (ABMs). While deep generative models (DGMs), such as variational autoencoders and generative adversarial networks, have been applied to this task, they often struggle to balance the inclusion of rare but plausible combinations (i.e., sampling zeros) with the exclusion of implausible ones (i.e., structural zeros). To improve feasibility while maintaining diversity, we propose a fine-tuning method for large language models (LLMs) that explicitly controls the autoregressive generation process through topological orderings derived from a Bayesian Network (BN). Experimental results show that our hybrid LLM-BN approach outperforms both traditional DGMs and proprietary LLMs (e.g., ChatGPT-4o) with few-shot learning. Specifically, our approach achieves approximately 95% feasibility, significantly higher than the ~80% observed in DGMs, while maintaining comparable diversity, making it well-suited for practical applications. Importantly, the method is based on a lightweight open-source LLM, enabling fine-tuning and inference on standard personal computing environments. This makes the approach cost-effective and scalable for large-scale applications, such as synthesizing populations in megacities, without relying on expensive infrastructure. By initiating the ABM pipeline with high-quality synthetic populations, our method improves overall simulation reliability and reduces downstream error propagation. The source code for these methods is available for research and practical application.