EBV-CAN: Vision--Language Grounding for Contact-Aided Endoscope Navigation
作者: Chi Kit Ng, Shuchang Liu, Jinsong Lin, Yidong Zhang, Xizi Wang, Ho Yin Chim, Hongliang Ren
分类: cs.RO
发布日期: 2026-10-22
💡 一句话要点
提出EBV-CAN以解决柔性内窥镜导航中的环境接触问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 内窥镜导航 视觉-语言融合 接触辅助 深度学习 机器人控制 多模态数据 智能医疗
📋 核心要点
- 现有的柔性内窥镜导航方法在复杂环境中面临接触依赖性和运动控制的挑战。
- 本文提出的EBV-CAN方法结合了全局静态图像与动态观察，通过语义查询实现精确导航。
- 实验结果显示，EBV-CAN在50个实验中尖端定位精度达到97.5%，显著提升了导航性能。
📝 摘要（中文）
柔性内窥镜利用结构柔性在狭窄的腔道中导航，导航过程依赖于环境接触。本文提出了一种外部鸟瞰视角的接触辅助导航（EBV-CAN）方法，该方法结合了初始的全局静态鸟瞰图像、不断变化的内窥镜观察和运动状态。通过三种监督语义查询定位内窥镜的尖端、下一个航点和目标，进而预测弯曲和插入命令。我们引入了视觉-语言接触辅助（VLCA）数据集，包含517个演示和75,000个动作样本，连接到958,000个空间条目和93,000个剩余路径记录。在50个保留实验中，尖端坐标和航点定位分别达到97.5%和94.8%。
🔬 方法详解
问题定义：本文旨在解决柔性内窥镜在复杂环境中导航时的接触依赖性和运动控制问题。现有方法在动态环境下难以有效定位和控制内窥镜的运动，导致导航精度不足。
核心思路：EBV-CAN方法通过结合初始的全局鸟瞰图像与实时的内窥镜观察，利用语义查询来定位内窥镜的尖端和目标，从而提高导航的准确性和灵活性。
技术框架：该方法的整体架构包括三个主要模块：全局静态鸟瞰图像的获取、动态观察数据的处理，以及基于语义查询的运动指令生成。通过这些模块的协同工作，实现了高效的导航控制。
关键创新：EBV-CAN的主要创新在于引入了视觉-语言结合的策略，通过语义查询实现对内窥镜尖端和目标的精确定位，与传统方法相比，显著提升了导航的灵活性和准确性。
关键设计：在模型设计中，采用了三种监督语义查询来定位目标，并通过残差表示来预测运动指令。此外，数据集的构建也为模型训练提供了丰富的样本和空间信息。
🖼️ 关键图片
📊 实验亮点
在50个实验中，EBV-CAN实现了尖端坐标定位精度97.5%和航点定位精度94.8%。与基线方法GRU-BC相比，EBV-CAN在物理试验中取得了76.25%的成功率，展现了显著的性能提升。
🎯 应用场景
该研究在医疗内窥镜导航领域具有重要应用潜力，能够提高内窥镜在复杂环境中的导航精度和安全性。未来，该方法还可以扩展到其他类型的机器人导航任务中，推动智能医疗和自动化技术的发展。
📄 摘要（原文）
Flexible endoscopes exploit structural compliance to traverse narrow lumens, pipes, and cavities, where navigation involves distributed environmental contact. This compliance makes tip motion depend on the evolving support configuration. We present external bird's-eye-view contact-aided navigation (EBV-CAN), a vision-language policy that combines one initial global static bird's-eye image with evolving endoscopic observations and motor state. Three supervised semantic queries locate the tip, next waypoint, and instructed target on the cached global image; their residual representations predict bending and insertion commands. We introduce the Vision-Language Contact-Aided (VLCA) dataset, linking 517 demonstrations and 75k action samples to 958k spatial entries and 93k remaining-route records. On 50 held-out episodes, tip-coordinate and waypoint localization reach 97.5% and 94.8%. Swapping the target instruction under identical observations changes target attention and motor output across 17 dual-target episodes. Across 1,920 physical trials of eight policies trained under a shared protocol, EBV-CAN achieves 183/240 successes (76.25%) under automatic blue-area scoring. Gated recurrent unit behavior cloning (GRU-BC) achieves the lowest matched-task offline mean absolute error (MAE), 0.056, and 1/240 physical successes, establishing distinct rankings for action imitation and task completion. Successful multi-guide executions and representative failures connect spatial progress, steering transitions, and visibility to physical navigation.