LEAP-NBV: Lightweight Edge Active-Perception for Foundation-Model Next-Best-View Planning
作者: Boxun Hu, Jiawei Ge, Axel Krieger, Peng Wang, Tinoosh Mohsenin
分类: cs.AI
发布日期: 2026-09-21
💡 一句话要点
提出LEAP-NBV以解决边缘设备上实时主动感知问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱六：视频提取与匹配 (Video Extraction) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 主动感知 边缘计算 模型蒸馏 视觉感知 实时规划
📋 核心要点
- 现有的基础模型在边缘设备上运行时面临体积和功耗的挑战，限制了实时性能。
- 本文提出LEAP-NBV框架，通过模型蒸馏和量化技术，实现了轻量级的主动感知和NBV规划。
- 实验结果表明，LEAP-NBV在延迟和能耗上显著优于未压缩模型，同时保持了较高的任务质量。
📝 摘要（中文）
基础模型赋予自主系统更强的智能，使其能够通过视觉感知更全面地理解环境。人类网格恢复（HMR）是一个典型示例，它提供目标的3D姿态和形状估计，能为战术任务提供帮助。然而，这类模型的体积和功耗要求使其难以在边缘平台上运行，限制了实时性能，尤其是在主动感知场景中。本文提出了LEAP-NBV，一个轻量级的主动感知框架，能够在边缘设备上进行基础模型驱动的下一个最佳视图（NBV）规划。通过蒸馏技术，将大型HMR教师模型压缩为32M的学生模型，并对视觉编码器进行FP16量化，评估了其在设备上的准确性和延迟。实验结果显示，蒸馏技术在测试集上恢复了6-7mm的平均每顶点位置误差，并实现了2.0倍的速度提升和3.0倍的能耗降低。
🔬 方法详解
问题定义：本文旨在解决基础模型在边缘设备上运行时的体积和功耗问题，尤其是在主动感知任务中，实时性能至关重要。现有方法无法满足战术边缘部署的需求，导致计算无法在受限通信条件下进行。
核心思路：论文提出的LEAP-NBV框架通过蒸馏和量化技术，将大型HMR模型压缩为适合边缘设备的小型模型，从而实现实时的NBV规划。此设计旨在降低计算资源需求，同时保持感知精度。
技术框架：LEAP-NBV框架包括模型蒸馏、视觉编码器量化和主动感知循环等模块。首先，使用离线网格目标进行模型蒸馏，然后对视觉编码器进行FP16量化，最后在边缘设备上实现闭环控制。
关键创新：最重要的创新在于通过蒸馏技术显著减小了模型体积，同时保持了感知精度。与现有方法相比，LEAP-NBV在边缘设备上实现了高效的实时NBV规划。
关键设计：在模型蒸馏过程中，采用了特定的损失函数以优化学生模型的学习效果。此外，量化过程确保了在降低精度损失的情况下，视觉编码器的计算效率得以提升。
🖼️ 关键图片
📊 实验亮点
实验结果显示，LEAP-NBV在NVIDIA Jetson Xavier NX上实现了约12ms的延迟，闭环运行频率为3.6 FPS，每帧能耗为2.6 J。与未压缩模型相比，LEAP-NBV实现了2.0倍的速度提升和3.0倍的能耗降低，同时几乎保持了下游任务的质量。
🎯 应用场景
LEAP-NBV框架在自主机器人、无人机和其他边缘计算设备的实时环境感知中具有广泛的应用潜力。其轻量级设计使得在复杂和动态环境中进行高效的主动感知成为可能，能够支持战术任务、搜索与救援等多种场景，具有重要的实际价值和未来影响。
📄 摘要（原文）
Foundation models are endowing autonomous systems with greater intelligence, enabling a more comprehensive understanding of the environment through visual perception. A representative example is Human Mesh Recovery (HMR), which provides useful estimates of a target's 3D pose and shape that can benefit tactical missions. However, the size and power demands of such models make them difficult to run on edge platforms and limit their real-time performance, undermining the requirements of tactical edge deployment - especially for active perception, where a mobile robot must plan its next-best view on-board and cannot offload computation under contested communications. We present LEAP-NBV, a lightweight active-perception framework that runs foundation-model-driven Next-Best-View (NBV) planning on-board an edge device. To this end, we distill a family of large HMR teachers, each into a compact 32M student, with an offline mesh objective, then quantize the vision encoder to FP16 and characterize its on-device accuracy and latency. Within an occlusion-aware active perception loop, we evaluate all configurations on the same held-out benchmark and deploy the end-to-end pipeline on an NVIDIA Jetson Xavier NX, reporting measured on-device latency and energy. Distillation recovers 6-7 mm of Procrustes-aligned mean per-vertex position error (PA-MPVPE) over the undistilled student on the test set. Selecting the edge-optimal compression model brings the HMR engine to ~12 ms at a small accuracy cost and runs the full closed loop at 3.6 FPS and 2.6 J per frame, achieving a 2.0x speedup and 3.0x lower energy than the uncompressed model while nearly matching downstream task quality.