Feeling the Space: Egomotion-Aware Video Representation for Efficient and Accurate 3D Scene Understanding
作者: Shuyao Shi, Kang G. Shin
分类: cs.CV
发布日期: 2026-03-18
💡 一句话要点
Motion-MLLM：利用运动信息增强多模态大模型，实现高效精准的3D场景理解
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱七：动作重定向 (Motion Retargeting) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多模态大模型 3D场景理解 运动信息融合 关键帧选择 IMU数据 机器人导航 自动驾驶
📋 核心要点
- 现有MLLM在3D场景理解中依赖高成本的3D表示或缺乏物理基础，导致尺度模糊和计算效率低。
- Motion-MLLM通过融合IMU运动数据，利用级联滤波选择关键帧，并通过非对称跨模态融合将运动信息注入视觉表示。
- 实验表明，Motion-MLLM在3D场景理解任务中，以更低的计算成本实现了与SOTA方法相当甚至更高的精度。
📝 摘要（中文）
最近的多模态大型语言模型(MLLM)在3D场景的空间推理方面显示出巨大的潜力。然而，它们通常依赖于计算成本高的3D表示，如点云或重建的鸟瞰图(BEV)地图，或者缺乏物理基础来解决尺度和大小的模糊性。本文通过惯性测量单元(IMU)与视频同步捕获的运动模态数据，显著增强了MLLM。特别地，我们提出了一个名为Motion-MLLM的新框架，引入了两个关键组件：(1)一个级联的运动-视觉关键帧过滤模块，利用IMU数据和视觉特征来高效地选择一个稀疏但具有代表性的关键帧集合；(2)一个非对称的跨模态融合模块，其中运动tokens作为中介，将运动线索和跨帧视觉上下文传递到视觉表示中。通过将视觉内容置于物理运动轨迹中，Motion-MLLM可以推理场景中的绝对尺度和空间关系。大量的评估表明，Motion-MLLM在各种与3D场景理解和空间推理相关的任务中取得了显著的改进。与基于视频帧和显式3D数据的最先进(SOTA)方法相比，Motion-MLLM表现出相似甚至更高的精度，但开销显著降低(即，成本效益分别提高了1.40倍和1.63倍)。
🔬 方法详解
问题定义：现有基于视觉的多模态大模型在进行3D场景理解时，要么依赖于计算量大的3D数据表示（如点云、BEV），要么缺乏对场景尺度的物理感知，导致推理精度受限且效率低下。尤其是在处理视频数据时，如何有效地利用时序信息和运动信息是一个挑战。
核心思路：Motion-MLLM的核心思路是将视觉信息与IMU提供的运动信息进行融合，从而为视觉内容提供物理世界的尺度和空间关系。通过运动信息引导关键帧的选择，减少计算量，并通过跨模态融合将运动信息注入到视觉表示中，增强模型对3D场景的理解能力。
技术框架：Motion-MLLM框架主要包含两个核心模块：1) 级联的运动-视觉关键帧过滤模块：该模块首先利用IMU数据进行运动剧烈程度的初步筛选，然后利用视觉特征进一步筛选出最具代表性的关键帧。2) 非对称跨模态融合模块：该模块将运动信息编码为运动tokens，并将其作为视觉表示的桥梁，将运动线索和跨帧视觉上下文传递到视觉表示中。整个流程是先进行关键帧选择，然后进行跨模态特征融合，最后输入到MLLM中进行推理。
关键创新：Motion-MLLM的关键创新在于将IMU运动数据引入到多模态大模型中，并设计了级联滤波和非对称融合机制。与传统方法相比，它避免了对高成本3D数据的依赖，同时通过运动信息增强了模型对场景尺度的感知能力。非对称融合方式也避免了简单拼接带来的信息冗余问题。
关键设计：在关键帧选择模块中，IMU数据的阈值设置和视觉特征的选择（例如，使用预训练的视觉模型提取特征）是重要的设计参数。在非对称融合模块中，运动tokens的设计和如何有效地将运动信息融入到视觉特征中是关键。损失函数的设计也需要考虑如何平衡运动信息和视觉信息对最终任务的影响。
🖼️ 关键图片
📊 实验亮点
Motion-MLLM在3D场景理解任务中取得了显著的性能提升，并且具有更高的成本效益。与基于视频帧的SOTA方法相比，Motion-MLLM的成本效益提高了1.40倍；与基于显式3D数据的SOTA方法相比，成本效益提高了1.63倍。这表明Motion-MLLM在保证精度的同时，显著降低了计算开销。
🎯 应用场景
Motion-MLLM在机器人导航、自动驾驶、增强现实等领域具有广泛的应用前景。它可以帮助机器人更好地理解周围环境，实现更精确的定位和导航。在自动驾驶领域，可以提高车辆对复杂场景的感知能力，提升驾驶安全性。在增强现实领域，可以实现更逼真的虚拟物体与真实场景的融合。
📄 摘要（原文）
Recent Multimodal Large Language Models (MLLMs) have shown high potential for spatial reasoning within 3D scenes. However, they typically rely on computationally expensive 3D representations like point clouds or reconstructed Bird's-Eye View (BEV) maps, or lack physical grounding to resolve ambiguities in scale and size. This paper significantly enhances MLLMs with egomotion modality data, captured by Inertial Measurement Units (IMUs) concurrently with the video. In particular, we propose a novel framework, called Motion-MLLM, introducing two key components: (1) a cascaded motion-visual keyframe filtering module that leverages both IMU data and visual features to efficiently select a sparse yet representative set of keyframes, and (2) an asymmetric cross-modal fusion module where motion tokens serve as intermediaries that channel egomotion cues and cross-frame visual context into the visual representation. By grounding visual content in physical egomotion trajectories, Motion-MLLM can reason about absolute scale and spatial relationships across the scene. Our extensive evaluation shows that Motion-MLLM makes significant improvements in various tasks related to 3D scene understanding and spatial reasoning. Compared to state-of-the-art (SOTA) methods based on video frames and explicit 3D data, Motion-MLLM exhibits similar or even higher accuracy with significantly less overhead (i.e., 1.40$\times$ and 1.63$\times$ higher cost-effectiveness, respectively).