Multimodal Scenario Similarity Search for Autonomous Driving
作者: Tamás Matuszka, András Tamásy, Balázs Szolár
分类: cs.CV, cs.LG
发布日期: 2026-07-10
💡 一句话要点
提出多模态框架以提升自动驾驶场景检索效率
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多模态检索 自动驾驶 场景相似性 轨迹表示 视觉信息 数据挖掘 对比学习
📋 核心要点
- 现有的场景检索方法通常依赖单一模态，难以充分利用视觉和运动信息的互补性。
- 本文提出的多模态框架结合了视觉和轨迹表示，通过统一的检索流程提升了场景检索的效率和准确性。
- 实验结果显示，结合多模态信息后，检索性能显著提升，特别是在运动中心事件的检索中表现突出。
📝 摘要（中文）
随着自动驾驶数据集规模的扩大，如何高效检索相似场景成为一大挑战。现有方法多依赖视觉或运动描述，难以比较其优劣。本文提出了一种多模态框架，将视觉和轨迹表示结合在统一的检索流程中。研究了两种轨迹基础方法：Exo-Trajectory和ScenarioFormer，并与强大的视觉基线进行了比较。实验结果表明，轨迹表示在运动相关事件中表现优异，而视觉嵌入在外观信息丰富时更具优势。最重要的是，结合视觉和轨迹信息显著提升了检索质量，展示了多模态检索系统在自动驾驶数据挖掘和场景验证中的潜力。
🔬 方法详解
问题定义：本文旨在解决自动驾驶场景检索中现有方法的局限性，尤其是单一模态导致的信息丢失和检索效率低下的问题。
核心思路：提出一种多模态框架，结合视觉和轨迹表示，利用两者的互补性来提高检索性能。通过对比不同模态的表现，探索最佳组合方式。
技术框架：整体架构包括数据预处理、特征提取、检索模块和结果评估。特征提取阶段分别处理视觉和轨迹数据，检索模块则基于提取的特征进行相似性计算。
关键创新：最重要的创新在于引入Exo-Trajectory和ScenarioFormer两种轨迹表示方法，前者基于周围代理的运动进行显式匹配，后者则通过对比学习从物体轨迹中学习表示。
关键设计：在模型设计中，使用了对比损失函数来优化ScenarioFormer的学习过程，并在Exo-Trajectory中设计了基于运动的匹配策略，以提高检索的准确性和效率。实验中还对比了不同参数设置对性能的影响。
🖼️ 关键图片
📊 实验亮点
实验结果表明，结合视觉和轨迹信息的多模态检索方法在运动中心事件的检索中表现优异，检索性能相比于单一模态提升了显著的幅度，尤其在切入、转弯和交通排队等场景中表现突出。
🎯 应用场景
该研究的潜在应用领域包括自动驾驶数据集的管理与优化、场景验证以及智能交通系统的开发。通过提升场景检索效率，可以加速自动驾驶系统的训练与测试，推动智能交通技术的进步。
📄 摘要（原文）
Large-scale autonomous-driving datasets contain vast numbers of recorded scenarios, creating a need for efficient retrieval methods that can identify situations similar to a given query. Existing approaches typically rely on either visual representations or motion-based descriptions, making it difficult to understand their relative strengths and limitations for scenario retrieval. In this work, we present a multimodal framework for autonomous-driving scenario retrieval that combines visual and trajectory-based representations within a unified retrieval pipeline. We investigate two trajectory-based approaches: Exo-Trajectory, an explicit matching method based on surrounding-agent motion, and ScenarioFormer, a transformer-based representation learned from object trajectories using contrastive learning. We compare these approaches against strong vision-based baselines and analyze their behavior across a diverse set of driving scenarios. Experimental results show that trajectory representations provide strong retrieval performance for motion-centric events such as cut-ins, turning maneuvers, and traffic queueing, while visual embeddings excel when appearance cues are informative. Most importantly, combining visual and trajectory information consistently improves retrieval quality, yielding the best overall performance. These findings demonstrate that appearance and motion capture are complementary notions of scenario similarity and motivate multimodal retrieval systems for autonomous-driving data mining, dataset curation, and scenario-based validation.