LLM-based Agent Simulation for Maternal Health Interventions: Uncertainty Estimation and Decision-focused Evaluation

📄 arXiv: 2503.22719v1 📥 PDF

作者: Sarah Martinson, Lingkai Kong, Cheol Woo Kim, Aparna Taneja, Milind Tambe

分类: cs.AI

发布日期: 2025-03-25

🔗 代码/项目: GITHUB

💡 一句话要点

提出基于LLM的Agent仿真方法，用于母婴健康干预方案的不确定性评估与决策优化

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: Agent仿真 大型语言模型 不确定性估计 母婴健康 决策支持

📋 核心要点

  1. 传统Agent-based simulation依赖大量领域知识和数据，在数据稀缺的医疗健康领域面临挑战。
  2. 利用LLM的广泛知识，构建Agent仿真系统，预测受益人对不同健康信息传递方式的反应。
  3. 提出基于二元熵的LLM不确定性估计方法，并通过集成学习提高模型鲁棒性和预测准确性。

📝 摘要（中文）

Agent-based simulation在建模复杂人类行为方面至关重要，但传统方法需要大量的领域知识和数据集。在数据稀缺的医疗保健环境中，历史和反事实数据有限，大型语言模型（LLM）通过利用广泛的世界知识提供了一种有前景的替代方案。本研究检验了一个LLM驱动的母婴移动健康项目仿真，预测受益人在通过自动消息（对照组）或现场代表（干预组）接收健康信息时的倾听行为。由于不确定性量化对于健康干预中的决策至关重要，我们提出了一种基于多个样本的二元熵的LLM认知不确定性估计方法。我们通过集成方法增强了模型的鲁棒性，与单个模型相比，提高了F1分数和模型校准。除了直接评估之外，我们还采用了一种以决策为中心的方法，展示了LLM预测如何为数据有限环境中的干预可行性和试验实施提供信息。该方法可扩展到公共卫生、灾害响应以及其他需要在严重数据约束下进行快速干预评估的领域。所有代码和提示都可以在https://github.com/sarahmart/LLM-ABS-ARMMAN-prediction找到。

🔬 方法详解

问题定义：在数据受限的母婴健康干预场景中，如何有效预测受益人对不同干预措施（如自动消息或人工代表）的反应，并量化预测的不确定性，从而支持干预方案的决策？传统Agent-based simulation方法需要大量数据和领域知识，难以应用。

核心思路：利用大型语言模型（LLM）蕴含的丰富世界知识，将其作为Agent的决策引擎，模拟受益人的行为。通过多次采样和二元熵计算，估计LLM预测的不确定性，并采用集成学习提高预测的鲁棒性。

技术框架：该研究构建了一个基于LLM的Agent仿真系统，用于模拟母婴健康干预项目。系统主要包含以下模块：1) LLM Agent：负责模拟受益人的行为，根据接收到的健康信息（自动消息或人工代表）做出反应（倾听或不倾听）。2) 不确定性估计模块：基于多次采样和二元熵计算，量化LLM预测的不确定性。3) 集成学习模块：通过集成多个LLM Agent的预测结果，提高预测的鲁棒性和准确性。4) 决策支持模块：利用LLM预测结果和不确定性估计，评估干预方案的可行性和试验实施。

关键创新：1) 将LLM应用于Agent-based simulation，克服了传统方法对大量数据和领域知识的依赖。2) 提出了一种基于二元熵的LLM不确定性估计方法，为决策提供更可靠的信息。3) 采用以决策为中心的方法，展示了LLM预测如何支持干预方案的决策。

关键设计：1) 使用GPT-3等大型语言模型作为Agent的决策引擎。2) 通过多次采样（例如，10次）获得LLM对同一输入的多个预测结果。3) 使用二元熵计算预测结果的不确定性，熵越高表示不确定性越大。4) 采用集成学习方法，例如，对多个LLM Agent的预测结果进行平均或投票，以提高预测的鲁棒性。

🖼️ 关键图片

img_0

📊 实验亮点

实验结果表明，提出的LLM-based Agent仿真方法能够有效预测受益人对不同干预措施的反应。通过集成学习，F1分数和模型校准均得到显著提升，表明模型鲁棒性增强。此外，研究还展示了LLM预测如何为干预方案的可行性评估和试验实施提供决策支持。

🎯 应用场景

该研究提出的方法可应用于公共卫生、灾害响应等数据受限场景下的快速干预评估。例如，在疫情爆发初期，可以利用LLM模拟人群对不同防控措施的反应，评估措施的有效性并制定合理的干预策略。此外，该方法还可以用于个性化健康干预，根据个体特征和偏好，定制更有效的干预方案。

📄 摘要（原文）

Agent-based simulation is crucial for modeling complex human behavior, yet traditional approaches require extensive domain knowledge and large datasets. In data-scarce healthcare settings where historic and counterfactual data are limited, large language models (LLMs) offer a promising alternative by leveraging broad world knowledge. This study examines an LLM-driven simulation of a maternal mobile health program, predicting beneficiaries' listening behavior when they receive health information via automated messages (control) or live representatives (intervention). Since uncertainty quantification is critical for decision-making in health interventions, we propose an LLM epistemic uncertainty estimation method based on binary entropy across multiple samples. We enhance model robustness through ensemble approaches, improving F1 score and model calibration compared to individual models. Beyond direct evaluation, we take a decision-focused approach, demonstrating how LLM predictions inform intervention feasibility and trial implementation in data-limited settings. The proposed method extends to public health, disaster response, and other domains requiring rapid intervention assessment under severe data constraints. All code and prompts used for this work can be found at https://github.com/sarahmart/LLM-ABS-ARMMAN-prediction.