InfiMed2: A Generalist Medical Multimodal Foundation Model from Contextual Evidence and Stability-Aware Supervision
作者: Guanghao Zhu, Zeyu Liu, Zhitian Hou, Pengkai Wang, Zhijie Sang, Shuo Cai, Yang Yu, Yuanyi Wang, Yanggan Gu, Congkai Xie, Jianmin Wu, Hongxia Yang
分类: cs.CL, cs.CV
发布日期: 2026-09-28
💡 一句话要点
提出InfiMed2以解决医学多模态模型训练中的数据设计挑战
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 医学多模态模型 持续预训练 阶段感知 视觉问答 强化学习优化 答案一致性 临床决策支持
📋 核心要点
- 现有医学多模态模型在数据设计上存在挑战，尤其是在持续预训练和后期训练阶段的有效性不足。
- InfiMed2通过阶段感知的数据设计，结合视觉证据和临床知识，优化了模型的训练流程和监督方式。
- 在五个医学多模态基准测试中，InfiMed2-4B模型经过强化学习优化后，准确率达到66.73%，而27B模型则达到73.72%，表现优异。
📝 摘要（中文）
近年来，医学多模态模型在更大语料库、广泛模态覆盖和更强推理训练方面取得了进展，但在持续预训练和后期训练中的有效数据设计仍然具有挑战性。医学数据源在结构、粒度和信息密度上差异显著，且其效用随着训练的进展而变化。本文提出InfiMed2，一个包含4B和27B参数的通用医学多模态基础模型，围绕阶段感知的数据设计构建。我们策划了一个包含55.68B标记的语料库，将广泛的临床知识与丰富的生物医学视觉证据相结合。通过稳定性和一致性约束的监督，InfiMed2在多个医学多模态基准测试中表现优异，4B模型在强化学习优化后达到66.73%的平均准确率，27B模型则达到73.72%，在评估的开放权重模型中名列前茅。
🔬 方法详解
问题定义：本文旨在解决医学多模态模型在持续预训练和后期训练中数据设计的有效性问题。现有方法在监督学习中往往依赖短形式的视觉问答，导致信息和答案一致性不足。
核心思路：InfiMed2通过阶段感知的数据设计，首先适应视觉编码器，然后构建广泛的医学知识，最后在学习率衰减期间转向以证据为中心的数据混合，旨在提高模型的推理能力和答案一致性。
技术框架：整体架构包括三个主要阶段：1) 视觉编码器的适应；2) 广泛医学知识的构建；3) 在监督微调阶段，利用答案稳定性和一致性约束生成更具信息量的视觉问答响应。
关键创新：最重要的技术创新在于通过阶段感知的数据设计和答案稳定性监督，显著提升了模型在医学领域的推理能力和答案一致性，这与现有方法的短期监督方式形成鲜明对比。
关键设计：在模型训练中，采用了答案掩蔽重建和正确性约束选择等技术细节，以确保生成的监督信息更具一致性和信息量。此外，4B模型还通过可验证奖励的强化学习进行进一步优化。
🖼️ 关键图片
📊 实验亮点
在五个医学多模态基准测试中，InfiMed2-4B模型经过强化学习优化后，达到了66.73%的平均准确率，超越了更大的Qwen3.5-9B模型。而InfiMed2-27B模型则以73.72%的准确率成为评估的开放权重模型中表现最好的模型，展示了显著的性能提升。
🎯 应用场景
InfiMed2模型在医学影像分析、临床决策支持和医疗问答系统等领域具有广泛的应用潜力。通过提高模型的推理能力和答案一致性，该模型能够更好地支持医生在复杂医疗环境中的决策，提升患者护理质量。未来，该研究可能推动医学人工智能的发展，促进多模态学习在医疗领域的深入应用。
📄 摘要（原文）
Recent medical multimodal models have benefited from larger corpora, broader modality coverage, and stronger reasoning-oriented training, yet effective data design across continued pretraining (CPT) and post-training remains challenging. Medical sources vary substantially in structure, granularity, and information density, and their utility shifts as training progresses from broad knowledge acquisition to late-stage consolidation. Meanwhile, post-training is often dominated by short-form visual question answering, providing limited supervision for informative and answer-consistent explanations. We introduce InfiMed2, a family of 4B and 27B generalist medical multimodal foundation models built around stage-aware data design. We curate a 55.68B-token corpus that combines broad clinical knowledge with context-rich biomedical visual evidence through source-specific processing. Our CPT pipeline first adapts the vision encoder, then builds broad medical knowledge, and finally transitions to an evidence-focused data mixture during learning-rate decay. For supervised fine-tuning (SFT), we regenerate visual question-answering responses using answer stability, answer-masked reconstruction, and correctness-constrained selection to produce more informative and answer-consistent supervision. The 4B model is further optimized with reinforcement learning with verifiable rewards (RLVR). Across five medical multimodal benchmarks, InfiMed2-4B achieves 66.73% mean accuracy after RLVR, surpassing the larger Qwen3.5-9B, while InfiMed2-27B reaches 73.72%, the highest among the evaluated open-weight models.