A Visual Grounding Benchmark for Retinal OCT with Multimodal Large Language Models

📄 arXiv: 2610.31205v1 📥 PDF

作者: Ronald Fecso, José Morano, Botond Fazekas, Paul Widmann-Sedlnitzky, Dorota Himel, Laetita Hinterhuber, Virginia Mares, Andreas Pollreisz, Hrvoje Bogunović

分类: cs.CV

发布日期: 2026-10-22

备注: Under review at npj digital medicine

💡 一句话要点

提出RetinaGroundBench以解决视网膜OCT中的视觉定位问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态大型语言模型 视觉定位 视网膜OCT 生物标志物 AggIoU RetGrounder 医学影像分析

📋 核心要点

  1. 现有的多模态大型语言模型在视网膜OCT图像的视觉定位任务中表现不佳，宏观F1仅为23.7%。
  2. 本文提出RetinaGroundBench基准，包含815个B扫描图像及详细注释，旨在评估和改进MLLMs的视觉定位能力。
  3. 通过开发RetGrounder并进行OCT特定微调，模型的视觉定位F1提升至33.9%，相对提高43%。

📝 摘要（中文）

多模态大型语言模型（MLLMs）能够回答关于医学图像的临床问题，但其可信使用需要视觉定位，即模型应能定位所报告的病理，而非依赖虚假的捷径。本文提出了RetinaGroundBench，这是第一个针对视网膜光学相干断层扫描（OCT）中生物标志物视觉定位的基准，包含815个B扫描图像，经过眼科医生的详细注释，涵盖13种生物标志物和8种疾病。研究发现，现有的MLLMs在视觉定位方面仍存在较大挑战，最佳通用模型的宏观F1仅为23.7%。为缩小这一差距，本文开发了RetGrounder，通过整合定位和文本信息的OCT特定策略进行微调，F1提升至33.9%。

🔬 方法详解

问题定义：本文旨在解决多模态大型语言模型在视网膜光学相干断层扫描（OCT）中的视觉定位能力不足的问题。现有方法往往依赖于不可靠的捷径，导致病理定位不准确。

核心思路：论文提出RetinaGroundBench基准，系统评估MLLMs在OCT图像中的视觉定位能力，并开发RetGrounder模型，通过整合视觉和文本信息进行微调，以提高定位准确性。

技术框架：整体架构包括数据集构建、模型训练和评估三个主要模块。数据集由815个B扫描图像和4,537个边界框组成，模型训练采用OCT特定策略，评估则使用新提出的AggIoU指标。

关键创新：最重要的创新在于引入了AggIoU指标，评估重叠预测框的并集是否覆盖注释区域，解决了现有模型在定位时的碎片化问题。

关键设计：RetGrounder模型采用8B参数的结构，结合了视觉信息和文本信息的融合策略，优化了损失函数以提高F1分数，确保模型在视觉定位任务中的有效性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，现有27个开源MLLMs的最佳通用模型在视觉定位任务中的宏观F1仅为23.7%，而RetGrounder经过微调后，F1提升至33.9%，实现了43%的相对改进，表明该方法在视觉定位方面具有显著的提升效果。

🎯 应用场景

该研究的潜在应用领域包括眼科医学影像分析、临床诊断辅助工具以及医学教育等。通过提高MLLMs在OCT图像中的视觉定位能力，能够帮助医生更准确地识别和诊断眼科疾病，提升临床决策的效率和准确性，未来可能对眼科领域产生深远影响。

📄 摘要（原文）

Multimodal large language models (MLLMs) can answer clinical questions about medical images, but trustworthy use requires visual grounding: models should localize the pathology they report rather than rely on spurious shortcuts. Whether MLLMs can visually ground clinical findings in retinal optical coherence tomography (OCT), the most widely used imaging modality in ophthalmology, remains largely unexplored. To address this gap, we introduce RetinaGroundBench, the first benchmark for biomarker visual grounding in retinal OCT. It comprises 815 B-scans exhaustively annotated by ophthalmologists with 4,537 bounding boxes covering 13 biomarkers across 8 diseases. Because MLLMs often fragment a single lesion into multiple partial predictions, we propose AggIoU, a metric that evaluates whether the union of overlapping predicted boxes covers the annotated region. Across 27 open-source MLLMs (0.8-38B parameters), we find that visual grounding remains largely unsolved: the best general-purpose model achieves a macro F1 of just 23.7%, with consistently low recall, despite reaching up to 73% balanced accuracy on biomarker presence questions. To narrow this gap, we developed RetGrounder, an MLLM fine-tuned using an OCT-specific strategy integrating grounding and textual information. Despite its relatively small size (8B), RetGrounder improves grounding F1 to 33.9%, a 43% relative improvement. Our benchmark provides a reference point for measuring progress in the field of OCT diagnosis with MLLMs.