sensVLA: Spatially-Grounded Vision-Language-Action Model for Autonomous Wheel Loader

📄 arXiv: 2609.17021v1 📥 PDF

作者: Gopi Krishna Erabati, Bjarne Johannsen, Angus Stewart, Vardeep Singh Sandhu

分类: cs.CV, cs.RO

发布日期: 2026-09-15

备注: Accepted at ICRA 2026: From Data to Decisions: VLA Pipelines for Real Robots

💡 一句话要点

提出sensVLA以解决自主轮式装载机控制问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱六：视频提取与匹配 (Video Extraction) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 自主控制 视觉-语言模型 动作预测 空间基础 多模态融合 重型设备 容错能力

📋 核心要点

  1. 现有的自主轮式装载机控制方法在任务语义和空间信息的联合推理上存在不足，导致控制精度不高。
  2. 论文提出的sensVLA架构通过结合视觉-语言模型和可训练的动作专家，解耦空间基础与语言推理，提高了决策的准确性。
  3. 实验结果表明，sensVLA在真实数据集上显著降低了纵向速度和位移误差，并在摄像头流受损时表现出更好的容错能力。

📝 摘要（中文）

自主轮式装载机的控制需要对任务语义、自我中心视觉、身体感知和三维场景几何进行联合推理。我们提出了sensVLA，这是一种视觉-语言-动作（VLA）架构，结合了Qwen3-2B视觉-语言模型（VLM）和通过流匹配速度回归训练的完全可训练的变换器动作专家。sensVLA通过专用的交叉注意力路径将从融合的前后激光雷达提取的鸟瞰图（BEV）特征直接路由到动作专家，同时VLM消耗前后RGB视图以提供任务条件的语义上下文。这种设计将空间基础与语言推理解耦，同时在决策时保持两者之间的交互。该专家预测六个动作维度：纵向速度、转向、机身框架位移、臂速和铲斗速率。在来自轮式装载机的真实世界数据集上，sensVLA在每步聚合上达到了强大的仅摄像头基线的平衡，并在以装载为中心的场景中将纵向速度均方根误差降低了28%，位移误差降低了9%。当摄像头流被破坏或移除时，其性能下降幅度也减少了29%，证明了显式空间基础提高了重型设备自主性的准确性和容错性。

🔬 方法详解

问题定义：论文要解决的问题是如何在自主轮式装载机控制中有效地结合任务语义与空间信息。现有方法在处理复杂场景时，往往无法充分利用空间几何信息，导致控制精度不足。

核心思路：论文的核心思路是通过sensVLA架构，将视觉-语言模型与动作专家结合，利用交叉注意力机制实现空间信息与语言信息的有效融合，从而提高决策的准确性和鲁棒性。

技术框架：sensVLA的整体架构包括两个主要模块：视觉-语言模型（VLM）和动作专家。VLM处理前后RGB视图以提取任务相关的语义信息，而动作专家则基于鸟瞰图特征进行动作预测。

关键创新：最重要的技术创新点在于通过专用的交叉注意力路径将鸟瞰图特征直接传递给动作专家，从而实现空间基础与语言推理的解耦。这种设计显著提高了模型在复杂场景中的表现。

关键设计：在模型设计中，采用了流匹配速度回归作为损失函数，确保动作专家能够准确预测六个动作维度。此外，模型的训练过程充分利用了来自真实世界数据集的多模态信息，增强了模型的泛化能力。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

实验结果显示，sensVLA在真实世界数据集上达到了与强大的仅摄像头基线相当的每步聚合性能，纵向速度均方根误差降低了28%，位移误差降低了9%。此外，当摄像头流受到干扰时，sensVLA的性能下降幅度减少了29%，显示出其在复杂环境下的鲁棒性。

🎯 应用场景

该研究的潜在应用领域包括自动化建筑、矿业和农业等重型设备的自主控制。通过提高自主轮式装载机的控制精度和容错能力，sensVLA有望在实际操作中显著提升工作效率和安全性，推动智能化重型设备的发展。

📄 摘要（原文）

Autonomous wheel-loader control requires joint reasoning over task semantics, egocentric vision, proprioception, and 3D scene geometry. We present sensVLA, a Vision-Language-Action (VLA) architecture that combines a Qwen3-2B Vision-Language Model (VLM) with a fully trainable transformer action expert trained by flow-matching velocity regression. sensVLA routes Bird's-Eye-View (BEV) features, extracted from fused front and rear lidar, directly to the action expert through a dedicated cross-attention pathway, while the VLM consumes front and rear RGB views to provide task-conditioned semantic context. This design decouples spatial grounding from linguistic reasoning while preserving interaction between both streams at decision time. The expert predicts six action dimensions: longitudinal velocity, steering, body-frame displacement, arm rate, and bucket rate. On a real-world dataset from a wheel loader, sensVLA reaches aggregate per-step parity with a strong camera-only baseline and reduces longitudinal velocity RMSE by 28% and displacement error by 9% on loading centric scenarios. It also degrades 29% less when the camera stream is corrupted or removed, evidencing that explicit spatial grounding improves accuracy and fault-tolerance for heavy equipment autonomy.