On the possibilities and limitations of LLM-based multi-agent systems for multi-criteria decision-making in healthcare operations management
作者: Marco Boresta, Tommaso Giovannelli, Sepehr Namirad, Giulia Riccardi
分类: math.OC, cs.AI, cs.MA
发布日期: 2026-10-16
💡 一句话要点
提出框架评估LLM生成偏好在医疗决策中的可靠性
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 医疗决策 多标准优化 大型语言模型 偏好生成 不确定性量化 调度优化 代理模型
📋 核心要点
- 现有医疗运营决策方法难以量化利益相关者的权重，导致多标准模型的应用受限。
- 本文提出利用LLM代理生成显式和隐式偏好，并评估其在多目标优化中的可靠性。
- 实验结果表明，LLM生成的偏好在不同条件下表现出差异，且优化模型选择的调度与平均偏好权重不同。
📝 摘要（中文）
医疗运营中的多标准模型需要权重来表达利益相关者在患者等待时间、提供者工作负担和运营成本之间的权衡，但这些权重难以量化。本文提出了一种框架，用于评估大型语言模型（LLM）生成的偏好的可靠性，并量化其不确定性对决策的影响。通过让代理评估门诊预约调度问题中的标准重要性以及从代理的成对选择中推断权衡，研究显示显式偏好受诊所运营条件影响，而简单平均保留了角色间的差异。最后，提出了稳健的加权和优化模型，以应对偏好不确定性，表明LLM生成的偏好在作为优化权重前需进行审计。
🔬 方法详解
问题定义：本文旨在解决医疗运营决策中多标准模型权重难以量化的问题，现有方法在处理利益相关者偏好时存在局限性。
核心思路：通过使用大型语言模型（LLM）代理生成显式和隐式偏好，评估其在多目标优化中的可靠性，并量化不确定性对决策的影响。
技术框架：研究框架包括两个主要模块：一是显式偏好的生成与评估，二是隐式偏好的推断与优化模型的构建。显式偏好通过代理对标准重要性的评分获得，隐式偏好则通过成对选择推断。
关键创新：本文的创新点在于提出了一种评估LLM生成偏好的框架，并通过稳健的加权和优化模型处理偏好不确定性，这与传统方法的单一平均权重显著不同。
关键设计：在实验中，显式偏好根据诊所运营条件变化，隐式偏好则受选项呈现顺序影响，模型设计中考虑了上下文信息与呈现顺序的结合。
🖼️ 关键图片
📊 实验亮点
实验结果显示，显式偏好在不同角色间存在显著差异，而简单平均方法能够保留这些差异。隐式偏好的成对选择受选项呈现顺序影响，且基于上下文信息的统计模型在新比较对上的预测能力有限。稳健的加权和优化模型在大多数情况下选择的调度与使用平均偏好权重的结果不同，表明偏好审计的重要性。
🎯 应用场景
该研究的潜在应用领域包括医疗运营管理、决策支持系统和智能调度。通过提高LLM生成偏好的可靠性，能够更好地支持医疗资源的优化配置，提升患者满意度和运营效率，未来可能对医疗行业的决策过程产生深远影响。
📄 摘要（原文）
Multi-criteria models for healthcare operations need weights that express how stakeholders trade off patient waiting time, provider workload, and operating cost, but these weights are difficult to quantify. Teams of large language model (LLM) agents, each prompted to represent a stakeholder, have been used to supply them. We propose a framework for assessing the reliability of LLM-generated preferences as inputs to multi-objective optimization and quantifying how their uncertainty affects decisions. We study explicit preferences by asking agents to rate the importance of the criteria in an outpatient appointment scheduling problem, and implicit preferences by inferring trade-offs from the agents' pairwise choices between emergency department configurations. The computational experiments show that the explicit preferences respond to the clinic's operating conditions and differ across roles, but deliberation among the agents can erase these differences, whereas simple averaging preserves them. The pairwise choices used to reveal the agents' implicit preferences depend largely on which option is presented first, and we find limited evidence that a statistical model using contextual information alongside presentation order predicts the agents' choices on new comparison pairs better than a model using presentation order alone. We then formulate robust weighted-sum optimization models to account for preference uncertainty. In most cases, these models select different schedules or configurations from those obtained using average preference weights. These results indicate that LLM-generated preferences need an audit of this kind before they are used as optimization weights in healthcare decision support.