Multimodal Progress-Residual Fusion for Anticipating Navigation Retreat in Robotic Flexible Endoscopy
作者: Chi Kit Ng, Tianchun Wu, Jiatan Sun, Yuming Sun, Jianru Zhang, Hongliang Ren
分类: cs.RO
发布日期: 2026-10-22
💡 一句话要点
提出多模态进度残差融合以预测机器人内窥镜导航撤退
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多模态融合 机器人内窥镜 导航预测 行为辅助 电子磁追踪
📋 核心要点
- 现有的内窥镜导航方法在摩擦和变形的影响下，指令与实际进展之间存在显著差距，导致操作员需要频繁撤退。
- 本文提出的多模态进度残差融合（MPRF）模型，通过结合多种数据源来预测操作员的撤退决策，提升导航的有效性。
- 在150个实验中，MPRF模型的AUPRC达到了0.580，较传统方法有显著提升，表明其在多模态数据融合方面的优势。
📝 摘要（中文）
柔性机器人内窥镜能够通过复杂的解剖结构进行操作，但在插入过程中，摩擦、变形和壁面交互使得指令与实际进展之间存在差距。操作员需要根据这种不匹配情况进行撤退，以恢复可导航的配置。本文提出了多模态进度残差融合（MPRF）模型，旨在通过结合指令、电子磁追踪和内窥镜视频来预测操作员的撤退决策。研究表明，MPRF在150个实验中达到了0.580 +/- 0.007的AUPRC，相较于最强的简化模态控制（0.511）有显著提升。这一研究为操作员在控制导航时提供了行为辅助的基础。
🔬 方法详解
问题定义：本文旨在解决柔性机器人内窥镜在复杂解剖结构中导航时，指令与实际进展之间的差距问题。现有方法在应对摩擦和变形时表现不足，导致操作员频繁撤退。
核心思路：提出多模态进度残差融合（MPRF）模型，通过结合指令、电子磁追踪和内窥镜视频数据，建立因果模型来预测操作员的撤退决策。该模型能够更好地关联运动意图与实际反应。
技术框架：MPRF模型包括一个名义进度模型和一个时间预测器。名义进度模型预测正常导航下的预期反应，而时间预测器结合了电子磁追踪的残差与三种观察模态的数据。
关键创新：MPRF的主要创新在于其多模态历史数据的完整性提供了显著的排名优势，同时残差部分为意图-反应关系提供了明确的表示，尽管其增益较小且不确定。
关键设计：模型的设计中，采用了特定的损失函数来优化多模态数据的融合效果，并通过实验验证了不同模态对预测性能的影响。
🖼️ 关键图片
📊 实验亮点
在150个实验中，MPRF模型的AUPRC达到了0.580 +/- 0.007，相较于最强的简化模态控制（0.511）有显著提升，表明多模态历史数据的融合在预测操作员撤退决策中的重要性。
🎯 应用场景
该研究的成果可广泛应用于医疗机器人领域，尤其是在内窥镜手术中，通过提高导航的准确性和安全性，能够有效减少操作员的负担，提升手术成功率。未来，该技术也可能扩展到其他类型的机器人导航系统中，具有重要的实际价值。
📄 摘要（原文）
Flexible robotic endoscopes provide access through tortuous anatomy, where friction, deformation, and wall interaction separate commanded insertion from useful distal progress. Operators interpret this mismatch and retreat to recover a navigable configuration. Recognizing the approach to that decision requires relating motor intent to distal response and the local visual scene. We introduce Multimodal Progress-Residual Fusion (MPRF), a causal model that anticipates operator retreat from commands, electromagnetic (EM) tracking, and endoscopic video. A nominal-progress model predicts the response expected in normal or successful navigation; a temporal predictor combines its EM residual with all three observed modalities. In a 150-episode colon-phantom collection, MPRF achieves 0.580 +/- 0.007 AUPRC across three seeds, compared with 0.511 for the strongest reduced-modality control. Complete multimodal histories provide the principal ranking advantage, while the residual adds an explicit intent-response representation with a small, uncertain increment over raw fusion. Analysis of frozen alarms relates warning timing to the behavioral label and explains the increase in event recall under a longer matching window. These results establish a basis for behavioral assistance during operator-controlled navigation.