Perceives but Doesn't Brake: A Perception-Action Binding Gap in Reasoning Driving VLAs
作者: Matteo Cercola, Katie Z Luo, Simone Formentin, Marco Pavone
分类: cs.RO, cs.AI
发布日期: 2026-10-20
💡 一句话要点
提出一种方法以解决驾驶模型中的感知-行动绑定缺口问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 感知-行动绑定 视觉-语言-行动 自动驾驶 安全决策 轨迹生成 能量注入 交通安全
📋 核心要点
- 现有的推理增强视觉-语言-行动驾驶模型在感知危险时，未能有效转化为安全的驾驶行为，导致潜在的安全隐患。
- 论文提出了一种通过注入危险条件能量的方法，旨在弥补感知与行动之间的绑定缺口，从而改善模型的决策能力。
- 实验结果表明，该方法显著降低了碰撞风险，足迹侵入率从58.1%降至14.5%，并在适当条件下实现了安全刹车。
📝 摘要（中文）
增强推理的视觉-语言-行动（VLA）驾驶模型能够感知安全关键的危险，但未能将这些信息转化为安全的行动。我们将这种失败称为感知-行动绑定缺口：尽管模型内部存在危险信息，但对轨迹生成的控制不足。通过匹配的模拟反事实和驾驶重放日志，我们展示了路径中的危险实际上在视觉表示中被编码，但纵向规划主要受自我速度历史的主导，对危险接近度或模型自身推理痕迹的响应较弱。进一步分析表明，轨迹生成器能够刹车，但有时由于感知-行动绑定缺口而未能做到。我们在不重新训练或修改任何权重的情况下，将危险条件能量注入冻结的流匹配采样器，恢复了生成时缺失的耦合。通过精确的障碍几何，指导将足迹侵入率从58.1%降低到14.5%，并在足够的停车距离下恢复安全刹车，完全消除碰撞。
🔬 方法详解
问题定义：本论文旨在解决驾驶模型中的感知-行动绑定缺口问题。现有方法在感知到危险信息后，未能有效地将其转化为安全的行动，导致潜在的安全风险。
核心思路：论文的核心解决思路是通过在不修改模型权重的情况下，向流匹配采样器注入危险条件能量，从而增强模型对危险信息的响应能力，改善轨迹生成的安全性。
技术框架：整体架构包括视觉信息的提取、危险信息的编码、轨迹生成模块和能量注入机制。首先，模型通过视觉输入识别危险，然后生成相应的轨迹，最后通过注入能量来调整生成的轨迹以确保安全。
关键创新：最重要的技术创新点在于提出了一种简单有效的能量注入机制，能够在不重新训练模型的情况下，恢复感知与行动之间的耦合。这与现有方法的本质区别在于，现有方法通常依赖于模型的重训练或复杂的参数调整。
关键设计：在设计中，关键参数包括危险条件能量的注入强度和轨迹生成的反馈机制。损失函数考虑了安全性和轨迹的平滑性，确保生成的轨迹既安全又自然。
🖼️ 关键图片
📊 实验亮点
实验结果显示，采用新方法后，轨迹生成的足迹侵入率从58.1%降低至14.5%，并在足够的停车距离下实现了安全刹车，完全消除了碰撞。这表明该方法在提升驾驶安全性方面具有显著效果。
🎯 应用场景
该研究的潜在应用领域包括自动驾驶汽车、智能交通系统和机器人导航等。通过改善模型的安全决策能力，能够显著降低交通事故风险，提高行驶安全性，具有重要的实际价值和社会影响。
📄 摘要（原文）
Reasoning-augmented vision-language-action (VLA) driving models can perceive and reason about safety-critical hazards yet fail to translate that evidence into safe actions. We characterize this failure as a perception-action binding gap: hazard information is available inside the model but exerts insufficient control over trajectory generation. Using matched simulated counterfactuals and logged driving replay, we show that in-path hazards are actually encoded in the visual representation, but longitudinal plans are dominated by ego-speed history and respond only weakly to hazard proximity or the model's own reasoning trace. Further analysis shows that the trajectory generator is capable of braking but sometimes fails to do so due to the perception-action binding gap. Without retraining or modifying any weights, we inject a hazard-conditioned energy into the frozen flow-matching sampler of Alpamayo-1.5, restoring the missing coupling at generation time. With exact obstacle geometry, guidance cuts footprint intrusion from 58.1% to 14.5% and recovers safe braking whenever sufficient stopping distance remains, eliminating collisions entirely in our braking-relevant closed-loop battery. It also reverses the diagnosed dependence of the plan, from tracking ego speed to responding to obstacle range. These results separate hazard perception from hazard control in driving VLAs, show that unsafe behavior can arise even when the model has both the evidence and the ability to act on it, and propose a simple fix for bridging this binding gap.