Misaligned Clinical Risk Classification and Cost Asymmetry in Open-Weight Large Language Models

📄 arXiv: 2609.23999v1 📥 PDF

作者: Star S. D. Liu, Xiyu Ding, Robert B. Barrett, Alberto Santamaria-Pang, Nic Dobbins, Harold P. Lehmann

分类: cs.LG, cs.AI

发布日期: 2026-09-21

备注: Submitted to ML4H 2026

💡 一句话要点

探讨开放权重大语言模型中的临床风险分类与成本不对称问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 临床风险分类 成本权衡 机器学习 医疗决策支持 数据分析

📋 核心要点

  1. 现有的大语言模型在整合患者风险与临床成本方面存在不足，导致决策不够可靠。
  2. 论文通过分析四个开放权重的LLMs，探讨其内部如何表示成本权衡及其与临床预测的关系。
  3. 研究发现，尽管模型能够恢复患者风险，但在成本方向的表现不一致，尤其在较大模型中更为明显。

📝 摘要（中文）

本文研究了开放权重的大语言模型（LLMs）如何整合患者风险与临床成本之间的权衡。通过对四个模型（Qwen-2.5-7B/32B和Llama-3.1-8B/70B）的分析，发现尽管患者风险可以与传统分类器相媲美（AUC约为0.83），但模型在成本方向的表现存在不一致性，尤其是在较大的模型中。研究表明，LLMs能够编码风险和成本信息，但未能可靠地将其整合为成本正确的决策，因此临床评估应包括权衡测试和短语敏感性分析。

🔬 方法详解

问题定义：本文旨在解决开放权重大语言模型在临床风险分类中如何有效整合患者风险与临床成本的问题。现有方法在成本方向和幅度的决策上存在不一致性，影响了临床应用的可靠性。

核心思路：研究通过使用公共糖尿病数据集，变更假阴性与假阳性成本比率，分析模型的内部表示及其对临床预测的影响，以探讨模型在成本权衡中的表现。

技术框架：整体流程包括数据集准备、模型训练与评估、成本比率调整和结果分析。主要模块包括数据预处理、模型输入设计、输出结果分析和性能评估。

关键创新：论文的主要创新在于揭示了LLMs在成本方向的表现不一致性，尤其是较大模型在成本幅度上的响应是方向无关的，这与传统的对称编码预期不符。

关键设计：研究中使用了11种不同的假阴性与假阳性成本比率，结合三种不同的短语表达方式进行实验，确保了对模型表现的全面评估。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，患者风险的恢复能力与传统分类器相当（AUC约为0.83），但在成本方向的表现上，只有两个模型短语显示出对假阴性与假阳性成本变化的相应反应，表明当前模型在成本整合方面的局限性。

🎯 应用场景

该研究的潜在应用领域包括医疗决策支持系统和临床风险评估工具。通过改进大语言模型在成本与风险整合方面的表现，可以提升临床决策的准确性和可靠性，进而改善患者的治疗效果。

📄 摘要（原文）

How large language models (LLMs) integrate patient risk with clinical cost tradeoffs remains poorly understood. We investigated how four open-weight LLMs (Qwen-2.5-7B/32B and Llama-3.1-8B/70B) internally represent cost tradeoffs, how these representations relate to clinical predictions, and whether decisions shift as predicted by the specified cost direction and magnitude. Using a public diabetes dataset, we varied 11 false-negative (FN) to false-positive (FP) cost ratios across three phrasings and examined representations and behavioral outputs. Patient risk was linearly recoverable on par with conventional classifiers (AUC $\approx 0.83$), and cost direction was recoverable in every model. However, representational shifts in cost direction tracked output changes only in the two larger models, and responses to cost magnitude were predominantly direction-agnostic. Only 2 of 12 model-phrasings showed both opposing responses to increasing FN versus FP costs and cost-correct ordering. Representationally, a direction fitted on one cost side did not invert when transferred to the other, as expected under mirror-symmetric encoding. These findings suggest that LLMs encode risk and cost information but do not reliably integrate them into cost-correct decisions. Clinical evaluations should therefore include tradeoff tests, phrasing sensitivity, and default operating points alongside predictive performance.