MedRealMM: A Real-World Multimodal Benchmark for Chinese Online Medical Consultation

📄 arXiv: 2607.09142v1 📥 PDF

作者: Runhan Shi, Quan Zhou, Yuqian Xu, Shuai Yang, Xin Wu, Zitong Zhou, Hui Liu, Bin Cha, Zheming Wang, Liya Li, Wei Wei, Haoyuan Hu, Jun Xu

分类: cs.AI, cs.CL, cs.CV

发布日期: 2026-07-10

🔗 代码/项目: HUGGINGFACE

💡 一句话要点

提出MedRealMM以解决在线医疗咨询基准不足问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态基准 在线医疗咨询 大型语言模型 临床评估 医学图像 真实数据集 安全性评估

📋 核心要点

  1. 现有的在线医疗咨询基准缺乏与真实临床实践的对接，且常常忽略患者上传的医学图像。
  2. 论文提出MedRealMM基准，通过多模态临床挑战点提取框架，标准化生成下一响应任务，提升评估的真实性。
  3. 实验结果表明，图像信息对临床表现至关重要，当前模型在安全性方面仍存在瓶颈，未能完全达到在线医生的响应水平。

📝 摘要（中文）

大型语言模型（LLMs）在在线医疗咨询中的应用日益增多，但现有基准与真实临床实践的对接仍显不足。许多基准依赖于合成对话或患者模拟器，忽略了患者上传的医学图像，或使用多项选择或词汇重叠度等指标评估开放式临床响应，未能真实反映临床质量。我们提出了MedRealMM，这是一个基于全国性中国互联网医院收集的去标识化患者-医生互动构建的大规模多模态基准。MedRealMM采用多模态临床挑战点（MCCP）提取框架，识别真实咨询轨迹中的临床需求时刻，并将每个时刻转化为标准化的下一响应生成任务，同时保留前文的文本-图像上下文。当前版本包含5,620个跨64个临床科室的真实多模态案例。

🔬 方法详解

问题定义：本论文旨在解决现有在线医疗咨询基准与真实临床实践不匹配的问题。现有方法往往依赖于合成数据，缺乏真实患者上传的医学图像，导致评估结果不够可靠。

核心思路：论文提出的MedRealMM基准通过真实的患者-医生互动数据，结合多模态信息，构建标准化的响应生成任务，以更好地反映临床质量和安全性。

技术框架：MedRealMM的整体架构包括数据收集、MCCP提取、响应生成任务标准化和评估指标设计等主要模块。数据收集来自全国性互联网医院，确保数据的真实性和多样性。

关键创新：MedRealMM的核心创新在于引入多模态临床挑战点提取框架，能够识别真实咨询中的关键时刻，并将其转化为标准化任务，这一方法与传统的单一文本评估方法有本质区别。

关键设计：在设计中，使用了案例特定的评估标准，由医生进行细化，奖励临床上期望的行为，并惩罚不安全或矛盾的响应。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果显示，图像信息对临床表现至关重要，19个评估的LLMs中，尽管一些前沿模型在积极临床标准上表现良好，但在负面标准上触发的错误仍然较多，表明安全性问题仍是主要瓶颈。

🎯 应用场景

该研究的潜在应用领域包括在线医疗咨询系统、智能医疗助手和临床决策支持工具。通过提供真实的多模态基准，MedRealMM能够帮助开发更安全、更有效的医疗AI系统，提升患者的医疗体验和安全性。

📄 摘要（原文）

Large language models (LLMs) are increasingly deployed in online medical consultation, yet existing benchmarks remain poorly aligned with real clinical practice. Many rely on synthetic conversations or patient simulators, omit patient-uploaded medical images, or evaluate open-ended clinical responses using multiple-choice or lexical-overlap metrics that poorly reflect clinical quality. We introduce \textbf{MedRealMM}, a large-scale benchmark for multimodal online medical consultation built from de-identified patient-doctor interactions collected from a nationwide Chinese internet hospital. MedRealMM uses a Multimodal Clinical Challenge Point (MCCP) extraction framework to identify clinically demanding moments in authentic consultation trajectories and converts each into a standardized next-response generation task while preserving the preceding text-image context. Each instance is paired with a case-specific rubric refined by physicians that rewards clinically desirable behaviors and penalizes unsafe, unsupported, or contradictory responses. The current release contains 5,620 real-world multimodal cases spanning 64 clinical departments. We evaluate 19 general-purpose and medical-specialized LLMs, including text-only and multimodal systems. Our results show that image information is critical for reliable clinical performance and that current frontier models remain below the online physician response. Although some frontier models satisfy as many or more positive clinical criteria than physicians, they trigger more negative criteria, indicating that safety-sensitive error avoidance remains a central bottleneck. MedRealMM offers a realistic and reproducible benchmark for evaluating multimodal medical reasoning in real-world online consultation. The dataset will be publicly available on Hugging Face at https://huggingface.co/datasets/jdh-algo/MedRealMM.