Do LiDAR Language Models Really Understand Spatio-temporal Relationships?
作者: Runyi Yang, Murat Akkoyun, Di Wen, Ruiping Liu, Yufan Chen, Junwei Zheng, Xiaoye Wang, Kailun Yang, Danda Pani Paudel, Luc Van Gool, Kunyu Peng
分类: cs.CV, cs.AI, cs.RO
发布日期: 2026-09-21
🔗 代码/项目: GITHUB
💡 一句话要点
提出LiDAR-Hallu基准以评估时空关系理解能力
🎯 匹配领域: 支柱七：动作重定向 (Motion Retargeting)
关键词: 时空推理 LiDAR 语言模型 基准测试 自动驾驶 机器人导航 多模态学习
📋 核心要点
- 现有的4D LiDAR语言模型在推理物体及其时空关系时存在准确性不足的问题。
- 论文提出了LiDAR-Hallu基准，通过10,000个问题系统评估模型的时空推理能力。
- 实验结果显示，模型在时空关系理解上存在显著缺陷，尤其是在相对运动和时间定位方面。
📝 摘要（中文）
近年来的4D LiDAR语言模型旨在推理物体及其不断变化的空间关系。然而，在我们的评估中，始终选择相同选项的准确率几乎与两个B4DL派生配置的多项选择准确率相匹配。我们引入了LiDAR-Hallu，一个几何参考基准和诊断协议，包含150个nuScenes场景中的10,000个问题，涵盖物体存在、相对位置、距离排序、相对运动和时间定位等方面。我们的协议结合了固定答案和候选内容控制、具有相同提示但相反参考答案的跨场景对以及特定关系的召回分析。对100,000个记录响应的分析揭示了被聚合准确性掩盖的失败。候选持续时间使得时间答案在不观察LiDAR的情况下可预测。在配对问题中，模型经常对需要相反答案的场景给出相同答案。特定关系分析进一步表明，两种配置在所有测试条件下都错过了每个正向侧向运动案例。时间洗牌对比解码提供的净改进有限，修复大部分被新错误抵消，主要失败依然存在。这些结果表明，评估时空推理需要测试模型是否区分查询的物理关系，而不仅仅依赖于单个答案的准确性。
🔬 方法详解
问题定义：本论文旨在解决现有4D LiDAR语言模型在时空关系理解上的不足，尤其是模型在多项选择任务中的表现不佳，无法有效区分相对运动和时间定位等物理关系。
核心思路：论文提出LiDAR-Hallu基准，通过设计一套系统的评估协议，涵盖多种时空关系问题，旨在深入分析模型的推理能力，而不仅仅依赖于准确率。
技术框架：整体架构包括问题设计、数据收集和评估分析三个主要模块。问题设计涵盖物体存在、相对位置等多个方面，数据收集通过150个nuScenes场景进行，评估分析则通过对100,000个响应的统计分析进行。
关键创新：最重要的技术创新在于引入了几何参考的基准和诊断协议，能够有效揭示模型在时空推理中的具体缺陷，与现有方法相比，提供了更为细致的评估标准。
关键设计：在设计中，采用了固定答案和候选内容控制的组合，跨场景对比分析，以及特定关系的召回分析，确保评估的全面性和准确性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，模型在时空关系理解上存在显著缺陷，尤其在相对运动和时间定位方面的表现不佳。具体而言，模型在面对需要相反答案的场景时，常常给出相同答案，显示出其推理能力的不足。这些发现强调了评估时空推理时需要关注物理关系的区分能力，而非单一的准确率。
🎯 应用场景
该研究的潜在应用领域包括自动驾驶、机器人导航和智能监控等，能够帮助提升模型在复杂环境中的时空推理能力，进而推动相关技术的发展与应用。未来，LiDAR-Hallu基准有望成为评估时空推理模型的重要标准，促进更高效的模型设计与优化。
📄 摘要（原文）
Recent 4D LiDAR language models aim to reason about objects and their evolving spatial relationships. Yet, in our evaluation, always selecting the same option nearly matches the multiple-choice accuracy of two B4DL-derived configurations. We introduce LiDAR-Hallu, a geometry-referenced benchmark and diagnostic protocol with 10,000 questions across 150 nuScenes scenes. It covers object existence, ego-relative position, distance ordering, relative motion, and temporal localization, with explicit rules for selecting objects, comparing times, and determining reference answers. Our protocol combines fixed-answer and candidate-content controls, cross-scene pairs with identical prompts but opposite reference answers, and relation-specific recall. Analysis of 100,000 recorded responses reveals failures hidden by aggregate accuracy. Candidate duration alone makes temporal answers predictable without observing LiDAR. On paired questions, the models frequently give the same answer to scenes requiring opposite answers. Relation-specific analysis further shows that both configurations miss every positive lateral-motion case across all tested conditions. Temporal-shuffle contrastive decoding provides little net improvement, as repairs are largely offset by new errors and the main failures persist. These results show that evaluating spatio-temporal reasoning requires testing whether models distinguish the queried physical relationships, rather than relying on individual-answer accuracy alone. The source code, checkpoints, and data are released at https://github.com/Awesome4D/4DMLLM_Hallucination_Bench.