USPilot: An Embodied Robotic Assistant Ultrasound System with Large Language Model Enhanced Graph Planner

📄 arXiv: 2502.12498v2 📥 PDF

作者: Mingcong Chen, Siqi Fan, Guanglin Cao, Yun-hui Liu, Hongbin Liu

分类: cs.RO

发布日期: 2025-02-18 (更新: 2025-05-29)

💡 一句话要点

USPilot：基于大语言模型增强图规划器的机器人辅助超声系统

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 机器人辅助超声 大语言模型 图神经网络 任务规划 具身智能

📋 核心要点

  1. 现有超声成像依赖专业医师，但全球超声医师短缺，限制了超声技术的普及。
  2. USPilot通过LLM理解用户意图，并利用LLM增强的GNN进行机器人任务规划，实现自主超声扫描。
  3. 实验表明，LLM增强的GNN在任务规划上达到前所未有的准确性，并展现了自主执行超声程序的潜力。

📝 摘要（中文）

在大语言模型（LLM）时代，具身人工智能为机器人操作任务带来了变革性机遇。超声成像作为一种广泛使用且经济高效的医学诊断程序，面临着全球专业超声医师短缺的挑战。为了解决这个问题，我们提出了USPilot，一个由基于LLM的框架驱动的具身机器人辅助超声系统，以实现自主超声采集。USPilot旨在充当虚拟超声医师，能够响应患者与超声相关的查询，并根据用户意图执行超声扫描。通过微调LLM，USPilot展示了对超声特定问题和任务的深刻理解。此外，USPilot还结合了一个LLM增强的图神经网络（GNN）来管理超声机器人API并充当任务规划器。实验结果表明，LLM增强的GNN在公共数据集上的任务规划中实现了前所未有的准确性。此外，该系统在自主理解和执行超声程序方面显示出巨大的潜力。这些进步使我们更接近实现自主和潜在的无人机器人超声系统，从而解决医学成像中的关键资源缺口。

🔬 方法详解

问题定义：论文旨在解决超声成像领域专业超声医师短缺的问题。现有方法依赖人工操作，效率低且成本高，难以满足日益增长的医疗需求。痛点在于缺乏能够自主理解用户意图并执行超声扫描的智能系统。

核心思路：论文的核心思路是利用大语言模型（LLM）的强大语义理解能力和图神经网络（GNN）的任务规划能力，构建一个能够自主执行超声扫描的机器人系统。通过LLM理解用户指令，并将指令转化为机器人可执行的任务序列，再由GNN进行优化和执行。

技术框架：USPilot系统的整体架构包含以下几个主要模块：1) LLM：负责理解用户输入的超声相关问题和任务，并将其转化为结构化的任务描述。2) LLM增强的GNN：负责将任务描述转化为机器人可执行的动作序列，并进行优化。3) 机器人控制系统：负责执行GNN生成的动作序列，控制超声探头进行扫描。4) 超声图像采集系统：负责采集超声图像，并将图像反馈给系统进行评估和调整。

关键创新：论文最重要的技术创新点在于将LLM和GNN相结合，用于超声机器人的任务规划。传统的机器人任务规划方法通常需要人工设计复杂的规则和策略，而USPilot通过LLM自动理解用户意图，并利用GNN进行任务优化，大大简化了任务规划的流程。此外，LLM增强的GNN能够更好地处理复杂的超声扫描任务，提高任务规划的准确性和效率。

关键设计：LLM部分采用微调后的LLM，使其能够更好地理解超声相关的术语和任务。GNN部分，采用图神经网络对超声机器人的API进行建模，每个API对应图中的一个节点，API之间的依赖关系对应图中的边。通过训练GNN，使其能够学习到最优的任务执行路径。损失函数的设计目标是最小化任务执行时间和误差。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，LLM增强的GNN在公共数据集上的任务规划中实现了前所未有的准确性。具体而言，相较于传统GNN方法，USPilot的任务规划准确率提升了XX%。此外，USPilot在模拟超声扫描任务中表现出良好的自主性和鲁棒性，能够根据用户指令自主完成超声扫描，并获得清晰的超声图像。

🎯 应用场景

USPilot可应用于远程医疗、急诊室、社区诊所等场景，缓解专业超声医师短缺的问题，提高超声检查的效率和可及性。该系统还可用于超声教学和培训，帮助新手快速掌握超声扫描技术。未来，USPilot有望发展成为一种普及化的医疗辅助工具，为更多患者提供便捷、高效的超声检查服务。

📄 摘要（原文）

In the era of Large Language Models (LLMs), embodied artificial intelligence presents transformative opportunities for robotic manipulation tasks. Ultrasound imaging, a widely used and cost-effective medical diagnostic procedure, faces challenges due to the global shortage of professional sonographers. To address this issue, we propose USPilot, an embodied robotic assistant ultrasound system powered by an LLM-based framework to enable autonomous ultrasound acquisition. USPilot is designed to function as a virtual sonographer, capable of responding to patients' ultrasound-related queries and performing ultrasound scans based on user intent. By fine-tuning the LLM, USPilot demonstrates a deep understanding of ultrasound-specific questions and tasks. Furthermore, USPilot incorporates an LLM-enhanced Graph Neural Network (GNN) to manage ultrasound robotic APIs and serve as a task planner. Experimental results show that the LLM-enhanced GNN achieves unprecedented accuracy in task planning on public datasets. Additionally, the system demonstrates significant potential in autonomously understanding and executing ultrasound procedures. These advancements bring us closer to achieving autonomous and potentially unmanned robotic ultrasound systems, addressing critical resource gaps in medical imaging.