S-squared-VLA: Decoupling Semantic and Spatial Streams in Vision-Language-Action Models for Autonomous Driving

📄 arXiv: 2607.13926v1 📥 PDF

作者: Jianguo Yu, Rukang Wang, Duanfeng Chu, Chen Wang, Renju Feng, Liping Lu

分类: cs.RO

发布日期: 2026-07-15

💡 一句话要点

提出S-squared-VLA以解决语义与空间流解耦问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉-语言模型 自动驾驶 语义流 空间流 多模态融合 深度学习 机器人导航

📋 核心要点

  1. 现有的视觉-语言-动作（VLA）架构在语义与空间表示上存在严重的崩溃，影响了安全导航的能力。
  2. S-squared-VLA通过解耦语义流和空间流，利用层次化桥接提取多尺度特征，提升意图推理的鲁棒性。
  3. 在NAVSIM基准测试中，S-squared-VLA实现了87.1的PDMS和98.4的无碰撞率，树立了VLA模型的新标杆。

📝 摘要（中文）

视觉-语言模型（VLMs）在自动驾驶中的高层推理表现出色，但在生成精确的低层控制动作方面存在困难。这一限制源于语义与物理之间的差距，导致离散语言符号与连续轨迹规划之间的不匹配。为了解决这一问题，本文提出了S-squared-VLA，通过显式解耦语义流和空间流，增强了模型的意图推理能力和空间特征保留。实验结果表明，该模型在NAVSIM基准测试中取得了87.1的预测驾驶模型分数（PDMS），并在所有评估方法中实现了98.4的最高无碰撞率，显著优于传统VLA模型。

🔬 方法详解

问题定义：本文旨在解决现有视觉-语言-动作（VLA）模型在生成低层控制动作时的语义与物理之间的差距，导致的空间表示崩溃问题。这种崩溃影响了模型的导航安全性和精确性。

核心思路：S-squared-VLA通过显式解耦语义流和空间流，分别处理意图推理和空间特征保留。语义流利用层次化桥接提取多尺度特征，而空间流则直接保留视觉编码器的未压缩空间特征，从而绕过自回归语言瓶颈。

技术框架：该模型的整体架构包括两个主要流：语义流和空间流。语义流负责意图推理，空间流则专注于空间特征的保留。最后，使用双流规划适配器将高层语义意图与精确空间约束结合，通过级联注意力机制实现信息融合。

关键创新：S-squared-VLA的核心创新在于其解耦设计，使得语义流和空间流能够独立优化，避免了传统VLA模型中存在的空间表示崩溃问题。这种设计使得模型在处理复杂场景时更加高效和安全。

关键设计：在模型设计中，采用了层次化桥接机制和辅助感知监督，以增强空间流的特征保留能力。此外，级联注意力机制用于融合语义和空间信息，确保模型在决策时考虑到丰富的空间几何先验。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在NAVSIM基准测试中，S-squared-VLA实现了87.1的预测驾驶模型分数（PDMS），并在所有评估方法中达到了98.4的无碰撞率，显著优于传统VLA模型，展示了其在低层控制任务中的卓越性能。

🎯 应用场景

该研究的潜在应用领域包括自动驾驶、机器人导航和智能交通系统。通过提升模型在复杂环境中的决策能力，S-squared-VLA能够为安全驾驶和高效交通管理提供重要支持，未来可能对智能交通领域产生深远影响。

📄 摘要（原文）

Vision-Language Models (VLMs) have demonstrated remarkable potential for high-level reasoning in autonomous driving, yet they fundamentally struggle to generate precise, low-level control actions. This limitation is rooted in a semantic-physical gap caused by the inherent mismatch between discrete language tokens and continuous trajectory planning. While Vision-Language-Action (VLA) architectures attempt to bridge this gap by unifying perception and control into a single policy, this entanglement creates a new bottleneck. Standard VLAs experience a severe spatial representation collapse, which irreversibly degrades the fine-grained spatial and geometric priors essential for safe, boundary-aware navigation. To address this limitation, we propose the S-squared-VLA, which explicitly decouples the semantic and spatial streams in Vision-Language-Action models. The semantic stream leverages hierarchical bridging to extract multi-scale VLM features for robust intent reasoning. In parallel, an independent spatial stream bypasses the autoregressive language bottleneck, directly preserving uncompressed spatial features from the visual encoder. By integrating auxiliary perception supervision, this stream explicitly equips the model with rich spatial and geometric priors. Finally, a dual-stream planning adapter fuses high-level semantic intent with precise spatial constraints via cascaded attention mechanisms. Evaluations on the NAVSIM closed-loop benchmark show that S-squared-VLA achieves a Predictive Driver Model Score (PDMS) of 87.1, establishing a new state-of-the-art for VLA models under a purely supervised fine-tuning (SFT) setting. By mitigating the spatial representation collapse of traditional VLMs, our framework significantly outperforms baselines, achieving the highest No Collision (NC) rate of 98.4 among all evaluated methods.