EdgeVLN: Runtime-Aware Deployment Ready Quantized Vision Language Navigation Model

📄 arXiv: 2609.35570v1 📥 PDF

作者: Rithvik Jonna, Man Namgung, Aakash Gurram, Tinoosh Mohsenin

分类: cs.RO, cs.CV

发布日期: 2026-09-28

💡 一句话要点

提出EdgeVLN以解决边缘设备上VLN模型部署问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉语言导航 边缘计算 模型量化 实时导航 轻量级变换器 能量效率 内存优化

📋 核心要点

  1. 现有的视觉语言导航模型通常依赖于计算资源丰富的平台，限制了其在边缘设备上的应用。
  2. 本文提出EdgeVLN模型，结合量化的StreamVLN和LATTE模块，以实现高效的实时导航和停止行为。
  3. 实验结果显示，LATTE在4位量化模型上实现了58.02%的成功率，且在延迟和能量消耗上优于BF16基线。

📝 摘要（中文）

视觉语言导航（VLN）模型在计算资源丰富的平台上表现良好，但在内存和功耗受限的边缘设备上部署受到限制。仅仅进行压缩无法确保VLN模型在保持导航行为的同时适应边缘平台的内存、延迟和能量预算。为此，本文提出了EdgeVLN，一个运行时感知的、适合部署的量化VLN模型，结合了量化的StreamVLN模型和轻量级因果变换器LATTE，以提高实时停止的能力。通过在NVIDIA Jetson Orin NX 16 GB上进行评估，LATTE在部署的4位模型上实现了58.02%的成功率，超越了BF16基线，且每个导航步骤仅增加0.013秒的延迟。

🔬 方法详解

问题定义：本文旨在解决视觉语言导航模型在边缘设备上部署时面临的内存、延迟和能量预算问题。现有方法往往无法在保持导航性能的同时满足这些限制。

核心思路：论文提出的EdgeVLN模型通过量化和运行时感知设计，优化了模型的内存使用和计算效率，确保在边缘设备上有效运行。

技术框架：EdgeVLN结合了量化的StreamVLN模型和LATTE模块，LATTE是一个轻量级的因果变换器，负责实时停止行为的预测。整体架构通过llama.cpp VLN驱动程序进行管理，重建流式上下文并修剪内存令牌。

关键创新：LATTE模块的引入是本研究的核心创新，它利用量化释放的预算重用主干隐藏状态，避免了额外的视觉编码器或前向传递，显著提高了效率。

关键设计：在实验中，研究评估了六种主干精度和七种候选停止头，使用BF16和IQ4 NL进行比较，确保在不同的量化精度下优化性能和资源使用。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在实验中，LATTE模块在部署的4位模型上实现了58.02%的成功率，超越了BF16基线，且每个导航步骤仅增加0.013秒的延迟。此外，使用IQ4 NL的模型在内存占用和能量消耗上表现出色，运行速度比BF16快20.8倍，能量消耗减少13.3倍。

🎯 应用场景

EdgeVLN模型的设计使其适用于各种边缘计算场景，尤其是在机器人导航、智能家居和无人驾驶等领域。其高效的内存和能量管理能力使得在资源受限的环境中实现复杂的视觉语言导航成为可能，具有广泛的实际应用价值。

📄 摘要（原文）

Vision-language navigation (VLN) models perform well but target compute-rich platforms, limiting deployment on memory- and power-constrained robotic edge devices. Compression alone does not establish whether a VLN model fits the memory, latency, and energy budgets of an edge platform while preserving navigation behavior. We introduce EdgeVLN, a runtime-aware, deployment-ready quantized VLN model that closes this gap. EdgeVLN combines a quantized StreamVLN model with Latent Trajectory Termination Extractor (LATTE), a lightweight causal transformer that improves real-time stopping by predicting a Stop Action verifier rank. Both execute through our llama.cpp VLN driver, which reconstructs streaming context and prunes memory tokens on-board. We characterize a pretrained StreamVLN backbone across weight quantization from 8 to 2 bits and multiple inference runtimes to identify a feasible operating point. LATTE reuses backbone hidden states within the budget freed by quantization, requiring neither a second vision encoder nor an additional backbone forward pass. We evaluate six backbone precisions and seven candidate stop heads on BF16 and IQ4 NL across all 1,839 R2R VLN-CE val-unseen episodes. We measure success rate (SR) in simulation and latency, energy, and resident memory on an NVIDIA Jetson Orin NX 16 GB. LATTE achieves our highest SR, 58.02 percent on the deployed 4-bit model, exceeding the BF16 baseline with only 0.013 s additional latency per navigation step. Four-bit formats achieve nearly identical SR, but step energy varies 36.8 times by execution path. Only IQ4 NL under our VLN driver fits the board, using 11.35 GB resident memory while running 20.8 times faster and using 13.3 times less energy than storage-streamed BF16. INT2 collapses. Runtime selection, memory-token pruning, and quantization are essential for efficient edge deployment.