MedPrune: Topology-Efficient Multimodal Multi-Agent Communication Evolution for Medical VQA Tasks

📄 arXiv: 2610.06695v1 📥 PDF

作者: Jiuheng Wan, Runze Li, Chen Chen, Tingyuan Hu, Daiyang Yu, Yimin Jing, Taolin Zhang, Richang Hong

分类: cs.CL

发布日期: 2026-10-05

💡 一句话要点

提出MedPrune以解决医疗VQA任务中的通信效率问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 医疗视觉问答 多模态学习 多代理系统 通信拓扑 强化学习 稀疏化机制 临床决策支持

📋 核心要点

  1. 现有的多代理框架在医疗视觉问答任务中存在冗余通信拓扑，导致计算开销过大和交互模式不佳。
  2. 本文提出MedPrune框架，通过动态修剪通信拓扑中的节点和边，提升推理能力和令牌效率。
  3. 实验结果显示，MedPrune在全量和少量训练设置下均超越了多代理基线，显著提升了令牌效率。

📝 摘要（中文）

随着医疗多模态大语言模型（Med-MLLMs）在医疗视觉问答（VQA）中的进展，现有的临床工作流启发的多代理框架在交互模式和冗余通信拓扑造成的计算开销方面存在不足。本文提出了MedPrune，一个高效的医疗多模态多代理协作框架，动态修剪通信拓扑中的节点和边，以增强推理能力和令牌效率。具体而言，我们首先将诊断过程表述为异构通信图，其中节点代表来自不同部门的专家代理，边捕捉部门内外的交互。基于此图，我们引入两种稀疏化机制以实现自适应协作演化：异构节点稀疏化和异构边稀疏化。大量医疗VQA实验证明，MedPrune超越了多代理基线，并在强对抗鲁棒性下提升了令牌效率。

🔬 方法详解

问题定义：本文旨在解决医疗视觉问答任务中多代理框架的冗余通信拓扑问题，导致的计算效率低下和交互模式不佳。

核心思路：通过构建异构通信图，动态修剪不相关的专家代理和不重要的交互连接，以提高推理能力和令牌使用效率。

技术框架：整体架构包括异构通信图的构建、异构节点稀疏化和异构边稀疏化两个主要模块，采用强化学习驱动的拓扑优化方法。

关键创新：引入了异构节点稀疏化和异构边稀疏化机制，前者通过强化学习去除与当前任务无关的专家，后者优化保留最重要的交互连接，显著提升了任务性能与拓扑复杂度的平衡。

关键设计：在设计中，采用了强化学习算法进行节点选择，损失函数结合了任务性能与拓扑复杂度，确保了模型在推理时的高效性与准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，MedPrune在全量训练设置下的性能超越了现有多代理基线，令牌效率提升显著，且在对抗性测试中表现出强鲁棒性，展示了其在实际应用中的潜力。

🎯 应用场景

该研究的潜在应用领域包括医疗影像分析、临床决策支持系统和智能医疗助手等。通过提高医疗VQA任务的效率，MedPrune能够帮助医生更快地获取信息，提升诊断质量，未来可能对医疗行业产生深远影响。

📄 摘要（原文）

While medical multimodal large language models (Med-MLLMs) advance medical visual question answering (VQA), existing clinical workflow-inspired multi-agent frameworks suffer from interaction patterns and excessive computational overhead caused by redundant communication topologies. In this paper, we propose MedPrune, an efficient medical multimodal multi-agent collaboration framework that dynamically prunes both nodes and edges from the communication topology to enhance reasoning ability and token efficiency. Specifically, we first formulate the diagnostic process as a heterogeneous communication graph, where nodes represent specialist agents from various departments and edges capture intra- and inter-departmental interactions. Building on this graph, we introduce two sparsification mechanisms to enable adaptive collaborative evolution: (1) Heterogeneous Node Sparsification, which eliminates task-irrelevant specialist agents irrelevant to the current multimodal question via reinforcement learning-driven topological optimization, and (2) Heterogeneous Edge Sparsification, which selectively retains only the most diagnostically salient intra- and inter-departmental connections by jointly optimizing task performance and topological complexity. Extensive medical VQA experiments under full-set and few-shot training settings prove MedPrune surpasses multi-agent baselines and boosts token efficiency with strong adversarial robustness.