Visual-Haptic Model Mediated Teleoperation for Remote Ultrasound

📄 arXiv: 2502.07922v1 📥 PDF

作者: David Black, Maria Tirindelli, Septimiu Salcudean, Wolfgang Wein, Marco Esposito

分类: cs.RO, cs.HC

发布日期: 2025-02-11

备注: Supplementary video: https://youtu.be/fDLBah7bPeo . This work has been submitted to the IEEE for possible publication

💡 一句话要点

提出视觉-触觉模型介导的远程超声系统，解决时延问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control)

关键词: 远程超声 远程操作 时延补偿 视觉反馈 触觉反馈

📋 核心要点

  1. 远程超声受时延影响，现有方法难以保证操作稳定性和效率。
  2. 构建本地视觉-触觉模型，提供实时预览，补偿时延带来的视觉反馈滞后。
  3. 实验证明，该方法可有效补偿高达1000ms的时延，提升操作精度和力控制。

📝 摘要（中文）

远程超声技术具有改善偏远地区医疗公平性的巨大潜力。然而，实际应用中潜在的大时延会导致现有的远程机器人超声系统失效。使用本地环境模型为专家操作员提供触觉反馈可以降低远程操作的不稳定性，但延迟的视觉反馈仍然是一个问题。本文介绍了一种机器人远程超声系统，其中本地模型不仅提供触觉反馈，还提供视觉反馈，通过实时重新切片和渲染预先获取的超声扫描数据，为操作员提供延迟图像的预览。该系统原型经过15名志愿操作员的测试。结果表明，视觉-触觉模型介导的远程操作（MMT）在操作员工作量和完成时间方面完全补偿了高达1000毫秒的往返时延，而传统的MMT则不能。在更长的时延下，视觉-触觉MMT在运动精度和力控制方面也明显优于MMT。这项概念验证研究表明，视觉-触觉MMT可能促进远程机器人远程超声。

🔬 方法详解

问题定义：远程超声面临的主要问题是由于网络延迟导致的视觉和触觉反馈滞后。现有的远程机器人超声系统在存在显著时延的情况下，操作员难以准确控制探头，导致操作不稳定、效率低下，甚至可能对患者造成伤害。传统的模型介导远程操作（MMT）仅关注触觉反馈，忽略了视觉延迟的影响。

核心思路：论文的核心思路是构建一个本地的视觉-触觉模型，该模型不仅提供触觉反馈，还通过实时重新切片和渲染预先获取的超声扫描数据，生成操作员将看到的延迟图像的预览。这样，操作员可以根据本地模型的视觉反馈进行操作，从而补偿由于网络延迟造成的视觉滞后。

技术框架：该系统包含一个远程机器人超声系统和一个本地模型。远程系统负责获取超声图像和执行操作员的指令。本地模型包含预先获取的超声扫描数据，并根据操作员的指令实时生成视觉和触觉反馈。操作员通过本地模型进行操作，本地模型将指令发送到远程系统，远程系统执行指令并将超声图像发送回本地模型。

关键创新：该论文的关键创新在于将视觉反馈集成到本地模型中，实现了视觉-触觉模型介导的远程操作。与传统的仅提供触觉反馈的MMT相比，该方法可以更有效地补偿时延，提高操作的稳定性和精度。

关键设计：本地模型使用预先获取的超声扫描数据，并通过实时重新切片和渲染生成视觉反馈。具体的技术细节包括：超声扫描数据的获取方式、重新切片和渲染算法的选择、视觉反馈的呈现方式等。论文中并未详细描述这些技术细节，属于未知内容。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，视觉-触觉MMT在操作员工作量和完成时间方面完全补偿了高达1000毫秒的往返时延，而传统的MMT则不能。在更长的时延下，视觉-触觉MMT在运动精度和力控制方面也明显优于MMT。这些结果表明，该方法可以有效地解决远程超声中的时延问题，提高操作的稳定性和精度。

🎯 应用场景

该研究成果可应用于远程医疗、灾难救援等场景，使专家能够在远距离为患者进行超声检查，提高医疗资源的可及性和效率。尤其是在偏远地区或医疗资源匮乏的地区，该技术具有重要的应用价值。未来，该技术有望与其他远程医疗技术相结合，构建更加完善的远程医疗服务体系。

📄 摘要（原文）

Tele-ultrasound has the potential greatly to improve health equity for countless remote communities. However, practical scenarios involve potentially large time delays which cause current implementations of telerobotic ultrasound (US) to fail. Using a local model of the remote environment to provide haptics to the expert operator can decrease teleoperation instability, but the delayed visual feedback remains problematic. This paper introduces a robotic tele-US system in which the local model is not only haptic, but also visual, by re-slicing and rendering a pre-acquired US sweep in real time to provide the operator a preview of what the delayed image will resemble. A prototype system is presented and tested with 15 volunteer operators. It is found that visual-haptic model-mediated teleoperation (MMT) compensates completely for time delays up to 1000 ms round trip in terms of operator effort and completion time while conventional MMT does not. Visual-haptic MMT also significantly outperforms MMT for longer time delays in terms of motion accuracy and force control. This proof-of-concept study suggests that visual-haptic MMT may facilitate remote robotic tele-US.