STRIDE: Evaluating Spatiotemporal Reasoning in Driving Edge Cases

📄 arXiv: 2610.22795v1 📥 PDF

作者: Lieqi Liu, Rui gao, Jia-Chen Gu, Wenbo Hu, Zhaobin Mo, Ahmadreza Moradipari, Nejib Ammar, Wei Wang, Nanyun Peng

分类: cs.CV, cs.AI

发布日期: 2026-10-16

备注: Project page: https://pluslabnlp.github.io/STRIDE/

💡 一句话要点

提出STRIDE以解决自动驾驶中的时空推理问题

🎯 匹配领域: 支柱八：物理动画 (Physics-based Animation)

关键词: 时空推理 自动驾驶 视觉问答 复杂场景 安全评估 基准测试 模型评估

📋 核心要点

  1. 现有方法在评估自动驾驶时空推理能力时，往往忽视复杂场景，导致安全隐患。
  2. 本文提出STRIDE基准，专注于长尾、安全关键的驾驶场景，涵盖多种时空推理任务。
  3. 实验结果显示，最佳模型的多项选择准确率仅为43.4%，揭示了模型在时空推理方面的局限性。

📝 摘要（中文）

在自动驾驶中，仅仅感知周围物体是不够的，理解它们如何随时间移动和相互作用至关重要。现有基准测试往往通过基本的感知问题或简单场景来评估边缘案例，未能充分探讨复杂的时空推理。为此，本文提出了STRIDE（驾驶边缘案例中的时空推理），这是一个面向长尾、安全关键驾驶场景的对象中心基准。STRIDE涵盖六个任务家族，包括空间感知、空间理解、时间记忆、时间外推、轨迹预测和场景上下文意识。通过多项选择题和自由形式的视觉问答（VQA）相结合，STRIDE优先考虑异常物体行为和复杂交通互动的场景，确保注释质量。实验表明，即使是表现最佳的模型，其准确率也仅为43.4%，远低于随机选择的20%。

🔬 方法详解

问题定义：本文旨在解决自动驾驶中时空推理不足的问题，现有方法多集中于基本感知，未能有效评估复杂场景下的推理能力。

核心思路：STRIDE通过设计多项选择题和自由形式的视觉问答相结合，评估模型在复杂交通场景中的时空推理能力，强调异常行为和复杂互动。

技术框架：STRIDE基准包括六个任务家族，分别为空间感知、空间理解、时间记忆、时间外推、轨迹预测和场景上下文意识，采用结构化数据注释生成参考答案。

关键创新：STRIDE的创新在于其对象中心的设计和对复杂场景的关注，填补了现有基准在时空推理评估方面的空白。

关键设计：在注释过程中，采用有限的语言模型辅助和人工验证，以确保注释质量，且生成的参考答案来自结构化数据集注释。实验中，模型的表现与描述场景的能力并不完全对应，揭示了其在重建物体运动方面的困难。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，最佳模型GPT-6-Astra在多项选择题中的平均准确率为43.4%，相比随机选择的约20%有显著提升。这表明STRIDE基准有效揭示了模型在时空推理方面的不足，尤其是在重建物体运动方面的挑战。

🎯 应用场景

STRIDE基准的提出为自动驾驶系统的安全性评估提供了新的工具，能够更好地识别和理解复杂交通场景中的潜在风险。未来，该研究可促进更智能的驾驶决策系统的发展，提升自动驾驶技术的安全性和可靠性。

📄 摘要（原文）

In autonomous driving, perceiving surrounding objects is not enough: failing to understand how they move and interact over time can lead to dangerous decisions. Evaluating vision-language models (VLMs) therefore requires testing whether they connect past spatial observations to future consequences. Yet existing benchmarks often assess edge cases through basic perception questions or test temporal understanding in simple scenarios, leaving complex spatiotemporal reasoning underexplored. We introduce STRIDE (SpatioTemporal Reasoning In Driving Edge Cases), an object-centric benchmark for long-tail, safety-critical driving scenarios. STRIDE covers six task families: spatial perception, spatial understanding, temporal memory, temporal extrapolation, trajectory prediction, and scene-context awareness. It pairs multiple-choice questions probing individual spatiotemporal judgments with related free-form visual question answering (VQA) requiring detailed scene explanations and justifications of driving decisions. We prioritize scenes with unusual object behaviors and complex traffic interactions, generate reference answers from structured dataset annotations through automated procedures, and use limited language-model assistance and human verification to ensure annotation quality. Across 12 proprietary, open-weight, and driving-specialized models, even the best performer, GPT-6-Astra, achieves only 43.4% average multiple-choice accuracy, versus an approximately 20% random-choice baseline. Further analysis reveals that strong performance in describing driving scenes does not necessarily translate to accurate safety-critical judgments, and that models struggle more with reconstructing object motion than recalling past positions. STRIDE thus exposes spatiotemporal driving limitations that aggregate VQA scores can conceal.