StenoVLA-3D: 3D-Aware Reasoning VLA for Navigation Through Gastrointestinal Stenoses
作者: Tamima Tabassum, Yiming Huang, Tianchun Wu, Changjing Liu, Zhiqing Tang, Chikit Ng, Beilei Cui, Liangjing Shao, Jiewen Lai, Hongliang Ren
分类: cs.RO, cs.CV
发布日期: 2026-09-21
备注: 8 pages, 4 figures. Submitted to ICRA 2027
💡 一句话要点
提出StenoVLA-3D以解决内窥镜导航中的狭窄区域问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 内窥镜导航 视觉-语言-动作 3D感知 几何基础 时间状态建模 医疗应用 病变检测
📋 核心要点
- 现有的视觉-语言-动作模型在处理纹理较少的单目观察时，无法有效进行几何基础推理和情节级报告，限制了其在内窥镜导航中的应用。
- StenoVLA-3D框架通过集成点图和学习的几何门控融合，增强了对狭窄区域的3D感知能力，并引入时间状态分支以建模导航进度。
- 在实验中，StenoVLA-3D在40个测试情节中实现了95.2%的语义准确率和83.4%的动作准确率，且在实际内窥镜操作中表现出色，任务成功率显著高于基线。
📝 摘要（中文）
自主内窥镜导航需要政策模型从纹理较少的单目观察中预测动作，做出安全控制决策，并在病变离开视野后保留证据。现有的视觉-语言-动作（VLA）模型主要依赖视觉外观和短期上下文，限制了几何基础和情节级报告。我们提出了StenoVLA-3D，一个3D感知的VLA框架，用于在狭窄区域中导航。通过学习的几何门控融合将点图集成到Cosmos-Reason 2骨干网络中，并提出了一个时间状态分支来建模穿越进度。我们的推理与动作骨干网络预测带有动作的基础推理，而专用头部估计狭窄形状并生成最终病变报告。我们进一步引入了EndoCausal，一个包含病变注释、动作和时间基础推理的情节级数据集。在40个保留的测试情节中，StenoVLA-3D达到了95.2%的语义准确率和83.4%的动作准确率。在物理3自由度内窥镜上，它在食管和结肠模型中分别达到了88.9%和77.8%的任务成功率，显著优于评估的基线。
🔬 方法详解
问题定义：本论文旨在解决自主内窥镜导航中由于纹理缺乏而导致的动作预测和安全控制决策困难，现有方法在几何基础和情节级报告方面存在明显不足。
核心思路：提出StenoVLA-3D框架，通过引入3D感知能力和时间状态建模，增强对狭窄区域的导航能力，确保在病变离开视野后仍能保留相关证据。
技术框架：该框架包括一个推理与动作骨干网络，负责生成带有动作的基础推理，同时设有专用头部用于估计狭窄形状和生成病变报告，此外还集成了点图和时间状态分支。
关键创新：StenoVLA-3D的主要创新在于其几何门控融合机制和时间状态建模能力，使得模型能够在复杂的内窥镜环境中进行有效的3D感知和决策。
关键设计：模型采用了学习的几何门控融合技术，确保点图与视觉信息的有效结合，同时在损失函数设计上考虑了语义准确性和动作准确性，以提升整体性能。
🖼️ 关键图片
📊 实验亮点
StenoVLA-3D在40个测试情节中达到了95.2%的语义准确率和83.4%的动作准确率。在实际的3自由度内窥镜实验中，食管和结肠模型的任务成功率分别为88.9%和77.8%，显著优于现有基线，展示了其卓越的性能。
🎯 应用场景
该研究的潜在应用领域包括医疗内窥镜导航、病变检测和手术辅助等。通过提高内窥镜在复杂环境中的导航能力，StenoVLA-3D有望在临床实践中显著提升医生的工作效率和病人安全性，未来可能推动智能医疗设备的发展。
📄 摘要（原文）
Autonomous endoscopic navigation requires the policy model to predict actions from texture-poor monocular observations, make safe control decisions, and retain evidence of lesions after they leave the field of view. Existing vision-language-action (VLA) models primarily rely on visual appearance and short-term context, limiting geometric grounding and episode-level reporting. We introduce StenoVLA-3D, a 3D-aware VLA framework for navigating through stenotic regions. We integrate point-maps into the Cosmos-Reason 2 backbone through learned geometry-gated fusion, and also propose a temporal state branch to model traversal progress. Our reasoning-and-action backbone predicts grounded reasoning with actions, while dedicated heads estimate stenosis shape and generate the final lesion report. We further introduce EndoCausal, an episode-level dataset with lesion annotations, actions, and temporally grounded reasoning. On 40 held-out recorded test episodes, StenoVLA-3D reaches 95.2\% semantic accuracy and 83.4\% action accuracy. On the physical 3-DoF endoscope, it attains 88.9\% and 77.8\% task success in esophageal and colonic phantoms (36 trials each), substantially outperforming the evaluated baselines.