ActiveMedAgent: Cost-Aware Trajectory Learning for Multimodal Medical Diagnosis

📄 arXiv: 2610.11140v1 📥 PDF

作者: Weiwei Ma, Xiaobing Yu, Peijie Qiu, Jin Yang, Zhaoqi An, Xuanzhao Dong, Xiaoqi Zhao, Xiaofeng Liu

分类: cs.LG, cs.AI, cs.CL, cs.CV, cs.MM

发布日期: 2026-10-08

备注: EMNLP 2026

💡 一句话要点

提出ActiveMedAgent以解决多模态医疗诊断中的成本意识问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态医疗 成本意识 轨迹学习 诊断效率 信息获取 人工智能 临床决策支持

📋 核心要点

  1. 现有的多模态医疗诊断方法往往忽视了成本因素，导致资源浪费和效率低下。
  2. ActiveMedAgent通过引入成本意识的顺序逻辑，优化了多模态医疗AI的诊断过程。
  3. 实验结果表明，基于轨迹的策略学习在多个基准测试中表现优于传统方法，且有效减少了信息过载现象。

📝 摘要（中文）

临床诊断本质上是一个顺序过程：临床医生在期望额外证据能够解决诊断不确定性时，从便宜的测试逐步升级到昂贵的测试。我们提出了ActiveMedAgent框架，将这种成本意识的顺序逻辑引入多模态医疗人工智能。ActiveMedAgent跟踪候选诊断的概率分布，并通过每一步的诊断效用减去成本来评分每次获取。一个轻量级的多层感知器控制器在这些评分的轨迹上进行离线训练，学习何时请求额外证据以及何时做出承诺。在三个常用基准上，基于轨迹的策略学习始终优于无指导获取和全模态基线。值得注意的是，我们识别出信息过载效应。在175个案例中，代理在更少的通道下产生正确的诊断，而全模态基线失败，表明学习省略内容与学习获取内容同样重要。

🔬 方法详解

问题定义：本论文旨在解决多模态医疗诊断中缺乏成本意识的问题。现有方法往往未能有效平衡获取信息的成本与诊断效用，导致资源浪费和效率低下。

核心思路：论文提出的ActiveMedAgent框架，通过跟踪候选诊断的概率分布，并计算每次获取的诊断效用减去成本，来优化信息获取的决策过程。这样设计的目的是在保证诊断准确性的同时，降低不必要的开支。

技术框架：ActiveMedAgent的整体架构包括一个API访问的冻结视觉-语言模型和一个轻量级的多层感知器控制器。控制器在离线环境中训练，学习何时请求额外证据以及何时做出最终诊断。

关键创新：该研究的主要创新在于引入了成本意识的轨迹学习方法，强调了在信息获取过程中省略不必要信息的重要性。这与现有方法的全模态获取策略形成鲜明对比。

关键设计：在模型设计中，采用了轻量级的多层感知器作为控制器，损失函数考虑了获取信息的成本与诊断效用的权衡，确保了模型在不同场景下的灵活性与适应性。通过这种设计，模型能够在不同的诊断场景中做出更为精准的决策。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

在175个案例中，ActiveMedAgent能够在更少的通道下成功做出正确诊断，而全模态基线则未能实现。这表明，基于轨迹的策略学习在信息获取的效率上有显著提升，且在多个基准测试中均优于传统的无指导获取和全模态方法。

🎯 应用场景

ActiveMedAgent的研究成果在医疗诊断领域具有广泛的应用潜力，尤其是在需要多模态数据融合的复杂病例中。通过优化信息获取的成本与效用平衡，该框架能够提高诊断效率，降低医疗资源的浪费，未来可能在临床决策支持系统中发挥重要作用。

📄 摘要（原文）

Clinical diagnosis is inherently sequential: clinicians escalate from cheap to costly tests only when additional evidence is expected to resolve diagnostic uncertainty. We present ActiveMedAgent, a framework that brings this cost-aware sequential logic to multimodal medical AI. Given a frozen, API-accessed vision-language model, ActiveMedAgent tracks probability distributions over candidate diagnoses and scores each acquisition by its per-step diagnostic utility minus cost. A lightweight MLP controller is then trained offline on these scored trajectories, learning when to request additional evidence and when to commit. Across three commonly used benchmarks, trajectory-based policy learning consistently outperforms both unguided acquisition and full-modality baselines. Notably, we identify an information overload effect. In 175 cases, the agent produces a correct diagnosis with fewer channels while the full-modality baseline fails, showing that learning what to omit can be as important as learning what to acquire.