EchoAgent: Towards Reliable Echocardiography Interpretation with "Eyes","Hands" and "Minds"
作者: Qin Wang, Zhiqing He, Yu Liu, Bowen Guo, Zeju Li, Miao Zhao, Wenhao Ju, Zhiling Luo, Xianhong Shu, Yi Guo, Yuanyuan Wang
分类: cs.CV
发布日期: 2026-04-07
备注: Accepted by CVPR 2026 CV4Clinical, 11 pages, 6 figures
💡 一句话要点
提出EchoAgent，实现可靠的心脏超声影像端到端判读，模拟医生“眼、手、脑”协同工作。
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 心脏超声影像 智能体系统 多模态融合 知识库 可解释性
📋 核心要点
- 现有Echo分析方法侧重于单一技能，如分割或推理，缺乏“眼、手、脑”的全面协同，限制了临床可靠性。
- EchoAgent通过构建专业知识驱动的认知引擎、分层协作工具包和协调推理中心，模拟医生完整的工作流程。
- 实验表明，EchoAgent在多个数据集上实现了优异的性能，总体准确率高达80.00%，展现了其可靠性。
📝 摘要（中文）
可靠的心脏超声影像（Echo）判读对于评估心脏功能至关重要，这需要临床医生同步协调多种能力，包括视觉观察（眼）、手动测量（手）以及专家知识学习和推理（脑）。目前，特定任务的深度学习方法和多模态大型语言模型在辅助Echo分析方面展现出潜力，但它们仍然侧重于受限的技能，即眼-手或眼-脑，从而限制了临床可靠性和实用性。为了解决这些问题，我们提出了EchoAgent，一个为端到端Echo判读量身定制的智能体系统，它实现了完全协调的眼-手-脑工作流程，像心脏超声医师一样学习、观察、操作和推理。首先，我们引入了一个专业知识驱动的认知引擎，我们的智能体可以自动将可信的Echo指南吸收到结构化知识库中，从而构建一个Echo定制的“大脑”。其次，我们设计了一个分层协作工具包，赋予EchoAgent眼-手能力，它可以自动解析Echo视频流，识别心脏视图，执行解剖分割和定量测量。第三，我们将感知到的多模态证据与独家知识库集成到一个协调的推理中心，以进行可解释的推理。我们在CAMUS和MIMIC-EchoQA数据集上评估了EchoAgent，涵盖了14个心脏解剖区域的48个不同的超声心动图视图。实验结果表明，EchoAgent在不同的结构分析中实现了最佳性能，总体准确率高达80.00%。重要的是，EchoAgent使单个系统能够像心脏病专家一样学习、观察、操作和推理，这为可靠的Echo判读带来了巨大的希望。
🔬 方法详解
问题定义：现有心脏超声影像判读方法，如基于深度学习的分割或多模态大语言模型的推理，往往只关注视觉观察（眼）和手动测量（手）或视觉观察（眼）和专家知识学习（脑）的结合，缺乏一个能够像心脏超声医师一样，同时具备学习、观察、操作和推理能力的完整系统。现有方法无法充分利用多模态信息，且缺乏可解释性，限制了其临床应用。
核心思路：EchoAgent的核心思路是构建一个智能体系统，该系统能够模拟心脏超声医师的“眼、手、脑”协同工作模式。通过整合专业知识、视觉信息和操作能力，实现端到端的心脏超声影像判读。该系统旨在提高判读的准确性、可靠性和可解释性。
技术框架：EchoAgent的整体架构包含三个主要模块：1) 专业知识驱动的认知引擎：负责自动将心脏超声指南等专业知识整合到结构化知识库中，构建Echo定制的“大脑”。2) 分层协作工具包：赋予Agent“眼-手”能力，包括解析超声视频流、识别心脏视图、执行解剖分割和定量测量。3) 协调推理中心：将多模态证据与知识库集成，进行可解释的推理，最终完成判读。
关键创新：EchoAgent的关键创新在于其agentic系统设计，它将知识学习、视觉感知和操作能力整合到一个统一的框架中。与以往侧重于单一任务的方法不同，EchoAgent能够模拟医生完整的诊断流程，实现更全面、更可靠的判读。此外，该系统强调可解释性，能够提供推理过程的依据。
关键设计：认知引擎使用知识图谱或向量数据库来存储和检索专业知识。分层协作工具包可能包含多个深度学习模型，用于视图识别、分割和测量，这些模型可能采用不同的网络结构和损失函数进行优化。协调推理中心可能使用规则引擎、贝叶斯网络或大型语言模型等技术，将多模态信息和知识库进行融合，并生成可解释的诊断报告。具体参数设置、损失函数和网络结构等细节未在摘要中明确说明。
🖼️ 关键图片
📊 实验亮点
EchoAgent在CAMUS和MIMIC-EchoQA数据集上进行了评估，涵盖了14个心脏解剖区域的48个不同的超声心动图视图。实验结果表明，EchoAgent在不同的结构分析中实现了最佳性能，总体准确率高达80.00%。这表明EchoAgent在心脏超声影像判读方面具有很强的竞争力。
🎯 应用场景
EchoAgent具有广泛的应用前景，可用于辅助心脏科医生进行超声心动图的诊断和评估，提高诊断效率和准确性。该系统还可用于远程医疗和培训，使专家知识能够更广泛地传播。此外，EchoAgent有望应用于心脏疾病的早期筛查和风险评估，为患者提供更及时的治疗。
📄 摘要（原文）
Reliable interpretation of echocardiography (Echo) is crucial for assessing cardiac function, which demands clinicians to synchronously orchestrate multiple capabilities, including visual observation (eyes), manual measurement (hands), and expert knowledge learning and reasoning (minds). While current task-specific deep-learning approaches and multimodal large language models have demonstrated promise in assisting Echo analysis through automated segmentation or reasoning, they remain focused on restricted skills, i.e., eyes-hands or eyes-minds, thereby limiting clinical reliability and utility. To address these issues, we propose EchoAgent, an agentic system tailored for end-to-end Echo interpretation, which achieves a fully coordinated eyes-hands-minds workflow that learns, observes, operates, and reasons like a cardiac sonographer. First, we introduce an expertise-driven cognition engine where our agent can automatically assimilate credible Echo guidelines into a structured knowledge base, thus constructing an Echo-customized mind. Second, we devise a hierarchical collaboration toolkit to endow EchoAgent with eyes-hands, which can automatically parse Echo video streams, identify cardiac views, perform anatomical segmentation, and quantitative measurement. Third, we integrate the perceived multimodal evidence with the exclusive knowledge base into an orchestrated reasoning hub to conduct explainable inferences. We evaluate EchoAgent on CAMUS and MIMIC-EchoQA datasets, which cover 48 distinct echocardiographic views spanning 14 cardiac anatomical regions. Experimental results show that EchoAgent achieves optimal performance across diverse structure analyses, yielding overall accuracy of up to 80.00%. Importantly, EchoAgent empowers a single system with abilities to learn, observe, operate and reason like an echocardiologist, which holds great promise for reliable Echo interpretation.