SAT: Dynamic Spatial Aptitude Training for Multimodal Language Models

📄 arXiv: 2412.07755v3 📥 PDF

作者: Arijit Ray, Jiafei Duan, Ellis Brown, Reuben Tan, Dina Bashkirova, Rose Hendrix, Kiana Ehsani, Aniruddha Kembhavi, Bryan A. Plummer, Ranjay Krishna, Kuo-Hao Zeng, Kate Saenko

分类: cs.CV, cs.AI, cs.GR, cs.RO

发布日期: 2024-12-10 (更新: 2025-12-04)

备注: Accepted to COLM 2025. Project webpage: https://arijitray.com/SAT/

💡 一句话要点

提出SAT数据集，用于动态空间推理的多模态语言模型训练。

🎯 匹配领域: 支柱六：视频提取与匹配 (Video Extraction) 支柱七：动作重定向 (Motion Retargeting) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态语言模型 空间推理 动态空间 合成数据 3D模拟 机器人 视觉问答

📋 核心要点

  1. 多模态语言模型在空间推理方面存在不足，尤其是在动态空间和运动理解方面。
  2. 论文提出SAT数据集，利用3D模拟器生成大量静态和动态空间推理的问答对，用于训练模型。
  3. 实验表明，使用SAT训练的模型在真实图像和视频上的空间推理能力显著提升，优于现有方法。

📝 摘要（中文）

本文提出了一种名为SAT的模拟空间能力训练数据集，旨在提升多模态语言模型（MLM）对动态空间和运动的推理能力。现有研究主要关注静态空间关系，忽略了自我中心运动和物体运动对空间关系的影响。手动标注此类运动成本高昂。SAT利用3D模拟器构建，包含17.5万个问答对和2万个场景，涵盖静态和动态空间推理。此外，还构建了一个小型（150个图像-问答对）但具有挑战性的真实图像动态空间测试集。通过SAT数据集和6个现有静态空间基准，系统地研究了提升静态和动态空间感知能力的方法。结果表明，模拟数据在赋予MLM空间能力方面非常有效，并能迁移到真实图像。在模拟环境中进行完美标注比伪标注真实图像更有效。例如，SAT训练使LLaVA-13B模型在多个空间基准上平均提升11%，LLaVA-Video-7B模型平均提升8%，甚至优于一些大型专有模型。虽然静态关系推理可以通过合成训练数据得到改善，但动态推理问题仍有很大的改进空间。

🔬 方法详解

问题定义：现有的多模态语言模型在空间推理方面表现不佳，尤其是在理解物体和相机运动如何影响空间关系方面。手动标注真实世界的动态空间数据成本高昂，限制了模型在这方面的学习能力。因此，需要一种有效的方法来训练模型，使其能够理解和推理动态空间关系。

核心思路：论文的核心思路是利用3D模拟器生成大量的合成数据，用于训练多模态语言模型。模拟数据可以提供完美的标注，并且可以控制各种因素，从而使模型能够更好地学习动态空间关系。通过在合成数据上训练的模型，可以迁移到真实世界的图像和视频上，从而提高模型在实际应用中的空间推理能力。

技术框架：整体框架包括两个主要部分：数据集生成和模型训练。数据集生成阶段，使用3D模拟器创建包含静态和动态空间关系的场景，并生成相应的问答对。模型训练阶段，使用生成的数据集对多模态语言模型进行训练，使其能够学习空间推理能力。此外，还使用真实世界的图像和视频对模型进行评估，以验证其泛化能力。

关键创新：最重要的技术创新点是提出了SAT数据集，这是一个大规模的、包含动态空间推理的合成数据集。与现有的静态空间数据集相比，SAT数据集更加关注物体和相机运动对空间关系的影响，从而使模型能够更好地学习动态空间推理能力。此外，论文还证明了使用合成数据进行训练可以有效地提高模型在真实世界图像和视频上的空间推理能力。

关键设计：SAT数据集包含17.5万个问答对和2万个场景。场景包括各种物体和相机运动，例如平移、旋转和缩放。问答对涵盖各种空间关系，例如位置、方向和距离。论文使用了LLaVA-13B和LLaVA-Video-7B模型进行实验，并使用了交叉熵损失函数进行训练。实验中，对比了使用SAT数据集训练的模型与使用其他数据集训练的模型，以及使用伪标注真实图像训练的模型。结果表明，使用SAT数据集训练的模型在多个空间基准上取得了显著的提升。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，使用SAT数据集训练的LLaVA-13B模型在多个空间基准上平均提升11%，LLaVA-Video-7B模型平均提升8%。在真实图像动态测试集上，SAT训练的模型也取得了显著的提升，甚至优于一些大型专有模型。这表明，模拟数据在赋予MLM空间能力方面非常有效，并能迁移到真实图像。

🎯 应用场景

该研究成果可应用于机器人导航、自动驾驶、视频监控、增强现实等领域。通过提升模型对动态空间关系的理解能力，可以使机器人在复杂环境中更好地感知和交互，从而实现更智能化的应用。例如，机器人可以根据物体的运动轨迹预测其未来的位置，从而避免碰撞或更好地完成任务。

📄 摘要（原文）

Reasoning about motion and space is a fundamental cognitive capability that is required by multiple real-world applications. While many studies highlight that large multimodal language models (MLMs) struggle to reason about space, they only focus on static spatial relationships, and not dynamic awareness of motion and space, i.e., reasoning about the effect of egocentric and object motions on spatial relationships. Manually annotating such object and camera movements is expensive. Hence, we introduce SAT, a simulated spatial aptitude training dataset utilizing 3D simulators, comprising both static and dynamic spatial reasoning across 175K question-answer (QA) pairs and 20K scenes. Complementing this, we also construct a small (150 image-QAs) yet challenging dynamic spatial test set using real-world images. Leveraging our SAT datasets and 6 existing static spatial benchmarks, we systematically investigate what improves both static and dynamic spatial awareness. Our results reveal that simulations are surprisingly effective at imparting spatial aptitude to MLMs that translate to real images. We show that perfect annotations in simulation are more effective than existing approaches of pseudo-annotating real images. For instance, SAT training improves a LLaVA-13B model by an average 11% and a LLaVA-Video-7B model by an average 8% on multiple spatial benchmarks, including our real-image dynamic test set and spatial reasoning on long videos -- even outperforming some large proprietary models. While reasoning over static relationships improves with synthetic training data, there is still considerable room for improvement for dynamic reasoning questions.