ColoACT: Multi-Cue Action Chunking for Smooth Autonomous Colon Navigation on a Self-Propelled Endoscopic Robot

📄 arXiv: 2610.01258v1 📥 PDF

作者: Jian Hu, Shujing He, Leixin Chang, Zongze Li, Ding Huang, Chaoyang Shi, Chengzhi Hu

分类: cs.RO

发布日期: 2026-10-01

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出ColoACT以解决自主结肠导航中的多重挑战

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 自主导航 内窥镜机器人 深度学习 动作分块 多模态融合

📋 核心要点

  1. 现有的自主结肠导航方法在处理可变形解剖结构和弱纹理视觉时存在局限，导致导航不稳定。
  2. ColoACT通过结合RGB图像、相对深度估计和伪高程图，增强了高频几何线索，实现了平滑的连续控制。
  3. 在不同的离体猪结肠实验中，ColoACT在直线和曲线段的成功率分别达到85.4%和72.5%，显示出良好的导航能力。

📝 摘要（中文）

自主结肠镜导航可以减轻操作者负担并降低环路形成或组织创伤的风险，但由于可变形解剖结构、弱纹理和高光反射的内窥镜视觉以及接触丰富的粘弹性相互作用，仍然面临挑战。现有方法要么依赖几何驱动的管道，效率高但因手工设计特征和切换逻辑而脆弱，要么采用基于学习的策略，其推断的深度/几何在弱纹理和高光下可能变得时间不一致或过于平滑。我们提出了ColoACT，一个集成RGB-D-E的动作分块变换器策略的自主导航系统，旨在增强折叠脊的显著性和其他高频几何线索，从而实现对自推进的内窥镜机器人进行平滑的连续控制。

🔬 方法详解

问题定义：本论文旨在解决自主结肠镜导航中的多重挑战，包括可变形解剖结构和弱纹理视觉导致的导航不稳定性。现有方法往往依赖手工设计的几何特征，缺乏鲁棒性。

核心思路：ColoACT的核心思路是通过结合RGB图像、相对深度估计和伪高程图，增强高频几何线索，从而实现更为平滑和连续的导航控制。

技术框架：ColoACT系统包括RGB-D-E输入模块、动作分块变换器策略和时间集成模块。该框架通过预测重叠的动作分块并进行融合，实现对自推进内窥镜机器人的控制。

关键创新：ColoACT的主要创新在于引入了基于深度学习的动作分块策略，能够有效处理弱纹理和高光反射的视觉信息，克服了传统几何驱动方法的脆弱性。

关键设计：在设计上，ColoACT采用了多模态输入，结合了相对深度和伪高程图，优化了网络结构以增强折叠脊的显著性，并通过时间集成技术提高了控制的平滑性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在不同的离体猪结肠实验中，ColoACT在直线段的成功率达到85.4%，在曲线段为72.5%，在90度转弯和双弯序列中分别取得70%和60%的成功率，显示出显著的导航能力和鲁棒性。

🎯 应用场景

ColoACT的研究成果可广泛应用于医疗内窥镜领域，特别是在自主结肠镜导航中，能够有效减少操作者的负担，提高手术的安全性和效率。此外，该技术的成功应用可能推动其他类型的机器人导航系统的发展，具有重要的临床价值和社会影响。

📄 摘要（原文）

Autonomous colonoscopic navigation can reduce operator burden and the risk of loop formation or tissue trauma, but remains challenging due to deformable anatomy, weak-texture and specular endoscopic visuals, and contact-rich viscoelastic interactions. Existing methods either rely on geometry-driven pipelines, which are efficient and interpretable yet brittle due to manually engineered features and switching logic, or adopt learning-based policies, whose inferred depth/geometry can become temporally inconsistent or overly smooth under weak texture and specular highlights while simulation-trained variants (e.g., deep reinforcement learning) may further suffer from a sim-to-real gap. We propose ColoACT, an autonomous navigation system that integrates an RGB-D-E based Action Chunking Transformer policy (ColoACT policy) for a compact self-propelled Bevel-Gear-Based Endoscopic Robot (BGER). The ColoACT policy augments RGB with estimated relative depth and a gradient-based pseudo-elevation map to enhance fold-ridge saliency and other high-frequency geometric cues, and enables smooth continuous control of the BGER by predicting overlapping action chunks and fusing them via temporal ensembling. In different \textit{ex-vivo} porcine colons (approximately 60 cm), our system achieves success rates of 85.4\% and 72.5\% in straight and curved segments, respectively, and achieves 70\% success in 90-degree turns and 60\% in double-bend sequences, with feasibility further demonstrated in challenging triple-bend segments. The project page is available at: https://Adamhu1.github.io/ColoACT/.