Distilling Privileged Control Barrier Functions into RGB-Only Safety Filters for Dynamic Visual Navigation

📄 arXiv: 2609.36520v1 📥 PDF

作者: Seungyeon Yoo, Gawon Lee, Seungwoo Jung, Inkyu Jang, H. Jin Kim

分类: cs.RO, cs.CV, eess.SY

发布日期: 2026-09-29

备注: Project page: https://syeon-yoo.github.io/distill-cbf-site/

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出教师-学生蒸馏框架以解决动态环境中的RGB导航安全问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 视觉导航 控制障碍函数 动态环境 教师-学生蒸馏 安全过滤器 机器人技术 RGB观察

📋 核心要点

  1. 现有的视觉导航方法在动态环境中容易发生碰撞，缺乏有效的安全机制。
  2. 提出了一种教师-学生蒸馏框架，将特权CBF的安全行为转移至RGB-only学生过滤器，增强动态环境中的安全性。
  3. 实验结果显示，所提方法在动态障碍物运动下显著提高了导航安全性，超越了现有视觉CBF基线。

📝 摘要（中文）

RGB-only端到端视觉导航策略在动态环境中易发生碰撞，因此需要专门的安全层。现有的视觉控制障碍函数（CBF）方法通常依赖实时渲染或显式场景重建，且主要针对静态场景，限制了其在机载部署中的实用性。本文提出了一种教师-学生视觉蒸馏框架，将特权CBF教师的安全行为转移到RGB-only学生过滤器中。学生直接将短期RGB历史、机器人速度和名义控制动作映射为安全动作，而教师则在真实到模拟的动态高斯点云环境中使用真实的机器人和障碍物状态。实验表明，所提方法在动态障碍物运动下优于视觉CBF基线，提高了基于RGB的导航策略的安全性。

🔬 方法详解

问题定义：本文旨在解决RGB-only视觉导航在动态环境中易发生碰撞的问题。现有的视觉控制障碍函数（CBF）方法依赖于实时渲染或显式场景重建，且主要针对静态场景，限制了其实用性。

核心思路：论文提出了一种教师-学生视觉蒸馏框架，通过将特权CBF教师的安全行为转移到RGB-only学生过滤器中，来提升动态环境中的安全性。学生仅需RGB观察和机器人速度即可进行安全决策。

技术框架：整体架构包括教师和学生两个模块。教师使用真实的机器人和障碍物状态构建安全约束，而学生则通过映射RGB历史、机器人速度和名义控制动作来生成安全动作。

关键创新：最重要的创新在于教师构建的安全约束仅基于学生可观察的障碍物，且考虑了障碍物速度的不确定性，从而提高了对运动变化的鲁棒性。

关键设计：在设计中，教师通过动作增强技术使学生接触多样的安全和不安全名义动作，以更好地捕捉安全边界。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，所提方法在动态障碍物运动下的安全性显著提升，超越了现有视觉CBF基线，具体性能数据未提供，但提升幅度明显，验证了方法的有效性。

🎯 应用场景

该研究的潜在应用领域包括自主机器人、无人驾驶汽车和智能家居等动态环境中的导航系统。通过提高RGB-only导航策略的安全性，能够在更复杂的环境中实现更可靠的自主决策，具有重要的实际价值和未来影响。

📄 摘要（原文）

RGB-only end-to-end visual navigation policies remain vulnerable to collisions in real-world dynamic environments, motivating a dedicated safety layer. Existing visual Control Barrier Function (CBF) approaches seek to provide safety from RGB observations, but often rely on real-time rendering or explicit scene reconstruction and are primarily designed for static scenes, limiting their practicality for onboard deployment. We propose a teacher-student visual distillation framework that transfers the safety behavior of a privileged CBF teacher to an RGB-only student filter for dynamic environments. The student maps a short RGB history, robot velocity, and a nominal control action directly to a safe action, while the teacher uses ground-truth robot and obstacle states in a real-to-sim dynamic Gaussian Splatting environment. To reduce the teacher-student information gap, the teacher constructs safety constraints only from obstacles observable within the student's RGB history. It also accounts for obstacle-velocity uncertainty to improve robustness to motion variations, while action augmentation exposes the student to diverse safe and unsafe nominal actions to better capture the safety boundary. At deployment, the student requires only RGB observations and robot velocity, without explicit 3D reconstruction or online rendering. Experiments show that the proposed method outperforms visual CBF baselines and improves the safety of RGB-based navigation policies under dynamic obstacle motion. Project page: https://syeon-yoo.github.io/distill-cbf-site/.