Seeing the Invisible: Physics-Guided Visual Prompting for Temperature- and Radiation-Aware VLA Navigation

📄 arXiv: 2610.07558v1 📥 PDF

作者: Hojoon Son, Fan Zhang

分类: cs.RO, cs.AI, cs.LG

发布日期: 2026-10-06

备注: 8 pages, 7 figures, 2 tables

💡 一句话要点

提出物理引导视觉提示以解决温度和辐射风险导航问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉-语言-行动 物理引导 动态视觉提示 隐形风险 多模态感知 导航安全性 机器人技术

📋 核心要点

  1. 现有的视觉-语言-行动模型在处理隐形风险（如辐射和温度）时存在局限性，无法通过RGB相机检测，且处理成本高。
  2. 本文提出物理引导视觉提示（PG-VP），通过物理引导风险评估，动态叠加虚拟障碍物，帮助导航模型规避隐形危险。
  3. PG-VP在OmniNav上测试时，成功引导政策向低风险行为转向的比例达到84.9%和83.2%，且在实际机器人测试中显著提高了安全性。

📝 摘要（中文）

视觉-语言-行动（VLA）模型已成为视觉与语言导航（VLN）的主要范式。然而，在安全关键设施中，RGB相机无法检测到辐射或温度激增等隐形风险，处理这些风险的成本高昂，需要新的编码器、新数据和模型重训练。本文提出物理引导视觉提示（PG-VP），作为一种即插即用的多模态感知模块，重用冻结的VLA模型的能力，避免可见障碍物。PG-VP根据近端辐射或热源进行物理引导风险评估，确定规避方向，并在连续帧上叠加相应的虚拟障碍物。实验结果表明，PG-VP在OmniNav上的表现良好，能够有效避免隐形危险，提升安全性。

🔬 方法详解

问题定义：本文旨在解决在安全关键环境中，现有视觉-语言-行动模型无法检测和规避隐形风险（如辐射和温度变化）的问题。现有方法需要昂贵的模型重训练和新数据，无法灵活应对多种隐形危险。

核心思路：提出物理引导视觉提示（PG-VP），通过物理模型评估隐形风险，动态生成虚拟障碍物，帮助导航模型规避这些风险，避免了重训练的需求。

技术框架：PG-VP模块与现有的VLA模型结合，首先进行风险评估，然后在连续帧中动态叠加虚拟障碍物，导航策略根据这些提示进行调整。整个流程包括风险检测、障碍物生成和导航策略调整三个主要阶段。

关键创新：PG-VP的创新在于其物理引导的动态视觉提示机制，能够在不改变现有模型结构的情况下，灵活应对不同类型的隐形风险，显著提高了导航的安全性。

关键设计：PG-VP的设计中，虚拟障碍物的生成基于物理模型，确保其在不同场景下的有效性。同时，保持视觉提示模式的固定性，使得随着传感器的增加，系统仍能稳定运行。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，PG-VP在OmniNav上引导政策向低风险行为转向的成功率分别为84.9%和83.2%，相较于基线模型，导航成功率下降仅6.8和7.9个百分点。在实际机器人测试中，PG-VP在面对热源和辐射源时，最差10%的平均轨迹安全性分别提高了63.45%和32.59%。

🎯 应用场景

该研究的潜在应用领域包括工业自动化、危险环境下的机器人导航以及智能家居系统等。通过有效规避隐形风险，PG-VP能够提高机器人在复杂环境中的安全性和可靠性，具有广泛的实际价值和未来影响。

📄 摘要（原文）

Vision-Language-Action (VLA) models have become a major paradigm for Vision-and-Language Navigation (VLN). However, in safety-critical facilities, invisible risks such as radiation or temperature spikes cannot be detected by an RGB camera, and handling each risk is expensive, requiring a new encoder, new data, and model retraining. We propose Physics-Guided Visual Prompting (PG-VP), a plug-and-play multimodal perception module that instead reuses what a frozen VLA model already does well: avoiding visible obstacles. Given a proximal radiation or thermal source, PG-VP performs a physics-guided risk assessment to determine the avoidance direction and overlays a corresponding virtual obstacle that moves across consecutive frames (Dynamic Visual Prompting). The navigation policy then naturally detours around this invisible hazard. The identical virtual obstacle is used regardless of hazard type, so the visual prompting pattern remains fixed as sensors are added. When no hazard is detected, nothing is rendered, and the policy behaves exactly as it would without PG-VP. We evaluate PG-VP on OmniNav using the val-unseen splits of R2R-CE and RxR-CE, where it guides the policy toward intended low-risk actions in 84.9% and 83.2% of cases, at a cost of 6.8 and 7.9 percentage points in navigation success rate. We further test it with distinct scenarios on a real robot in the presence of actual thermal and radiation sources, all without any retraining. The real test shows that PG-VP effectively avoids these invisible hazards, improving worst-10% average trajectory safety by 63.45% and 32.59% against thermal and radiation sources, respectively.