PACE-MoE: Adaptive Domain Sampling and Domain-Specific LoRA for Medical Visual Grounding

📄 arXiv: 2610.27656v1 📥 PDF

作者: Zhenxuan Wang, Jisheng Dang, Ronghao Lin, Bimei Wang, Jingwen Zhao, Wenjun Ma, Bin Hu, Qi Tian, Tat-Seng Chua

分类: cs.CV

发布日期: 2026-10-20

备注: 11 pages,3 figures,8 tables

💡 一句话要点

提出PACE-MoE以解决医疗视觉定位中的域适应问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 医疗视觉定位 自适应域采样 域特定适应 LoRA适配器 多域训练 政策引导 成像域 临床描述

📋 核心要点

  1. 现有的多域后训练策略在医疗视觉定位中存在固定域采样和共享参数更新的不足，无法有效适应不同成像域的需求。
  2. 本文提出的PACE-MoE框架通过政策引导实现自适应域采样和域特定适应，动态调整训练域的覆盖和更新位置。
  3. 实验结果显示，PACE-MoE在固定域训练基础上，平均框IoU提升了3.64%，自适应采样单独提升了2.07%。

📝 摘要（中文）

医疗视觉定位需要将临床描述与异构成像域中的空间证据对齐。然而，现有的多域后训练策略通常依赖于固定的域采样和共享参数更新，忽视了适应训练域和更新位置的需求。为此，本文提出了PACE-MoE，一个政策引导的框架，能够同时执行自适应域采样和域特定适应。PACE动态评估每个成像域的训练价值，并通过域接纳、重放和最终的全域平衡逐步调整域覆盖。同时，域特定的LoRA适配器将更新路由到相应的成像域，同时保留预训练的主干和视觉编码器。这种协调设计使训练数据分配与参数适应相一致，而无需修改原始奖励公式或群体相对策略优化（GRPO）目标。实验结果表明，PACE-MoE在七个医疗成像域上均显著提高了定位性能。

🔬 方法详解

问题定义：本文旨在解决医疗视觉定位中，现有多域后训练策略无法灵活适应不同成像域的挑战，导致训练效果不佳。

核心思路：PACE-MoE通过政策引导的方式，动态评估成像域的训练价值，调整域的覆盖范围和更新策略，以实现更有效的训练。

技术框架：PACE-MoE框架包括三个主要模块：域接纳、域重放和全域平衡。首先，根据当前策略反馈评估各个成像域的训练价值；然后，动态调整参与训练的域；最后，确保所有域的训练效果均衡。

关键创新：PACE-MoE的核心创新在于结合自适应域采样与域特定LoRA适配器，实现了数据与参数的协调路由，这一设计与传统的固定域训练方法有本质区别。

关键设计：在技术细节上，PACE-MoE使用了域特定的LoRA适配器来路由更新，保留了预训练的主干网络和视觉编码器，确保了模型的稳定性和适应性。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

实验结果表明，PACE-MoE在七个医疗成像域上相较于固定域训练，平均框IoU提升了3.64%。在匹配的域特定适配器架构下，仅自适应采样就进一步提升了2.07%，显示出政策引导域分配的显著优势。

🎯 应用场景

该研究在医疗影像分析领域具有广泛的应用潜力，能够提高临床诊断的准确性和效率。通过更好地对齐临床描述与影像证据，PACE-MoE有助于提升医疗决策支持系统的智能化水平，未来可能在智能医疗、远程诊断等领域产生深远影响。

📄 摘要（原文）

Medical visual grounding requires models to align clinical descriptions with spatial evidence across heterogeneous imaging domains. However, existing multi-domain post-training strategies typically rely on fixed domain sampling and shared parameter updates, overlooking the need to adapt both which domains receive training and where their updates are applied. To address this issue, we propose PACE-MoE, a policy-guided framework that jointly performs adaptive domain sampling and domain-specific adaptation for medical visual grounding. PACE dynamically assesses the training value of each imaging domain from current-policy feedback and progressively adjusts domain coverage through domain admission, replay, and final all-domain balancing. Meanwhile, domain-specific LoRA adapters route updates to the corresponding imaging domains while preserving the pretrained backbone and visual encoder. This coordinated design aligns training-data allocation with parameter adaptation without modifying the original reward formulation or Group Relative Policy Optimization (GRPO) objective. Experiments across seven medical imaging domains show that PACE-MoE consistently improves grounding performance over fixed-domain training, achieving a 3.64% relative improvement in mean box IoU over the Vanilla baseline. Under matched domain-specific adapter architectures, adaptive sampling alone further improves mean box IoU by 2.07%, demonstrating the benefit of policy-guided domain allocation. These results establish coordinated data-parameter routing as an effective strategy for multi-domain medical visual grounding.