OrientSAM: Mitigating Camera-Centric Shortcut in Multimodal Spatial Reasoning via Orientation-Aware Spatial Alignment

📄 arXiv: 2607.17657v1 📥 PDF

作者: Wenxiao Fan, Hang Yin, Kan Li

分类: cs.AI, cs.CV, cs.MM

发布日期: 2026-07-20

💡 一句话要点

提出OrientSAM以解决多模态空间推理中的相机中心快捷方式问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态模型 空间推理 方向感知 课程学习 傅里叶编码 相机中心快捷方式 机器人导航 增强现实

📋 核心要点

  1. 现有多模态大型语言模型在空间推理中依赖相机中心线索，导致在非相机视角下出现系统性错误。
  2. 提出OrientSAM框架，通过方向感知标记和傅里叶角度编码引入方向信息，并采用课程学习策略提升推理能力。
  3. 在Spatial-MM、ViewSpatial和3DSRBench等数据集上，OrientSAM在多个任务上超越强基线，验证了方向建模的重要性。

📝 摘要（中文）

多模态大型语言模型（MLLMs）在需要视角转换的空间推理中仍然面临挑战，尤其是它们往往依赖于相机中心线索，而非从参考对象的视角进行推理，导致在非相机参考设置中的系统性错误。本文分析了这一失败模式，指出物体方向是导致相机中心快捷行为的关键因素。为了解决这一问题，提出了OrientSAM，一个面向方向的空间对齐框架，通过方向感知标记和基于傅里叶的角度编码将显式的方向信息注入多模态表示，并采用课程学习策略逐步提升视角感知推理能力。实验结果表明，OrientSAM在多个任务上优于强基线，尤其是在非相机视角、以人为中心和方向敏感的任务上表现突出。

🔬 方法详解

问题定义：本文旨在解决多模态模型在空间推理中依赖相机中心线索的问题，现有方法在非相机视角下表现不佳，导致推理错误。

核心思路：OrientSAM通过引入方向感知信息，帮助模型从参考对象的视角进行推理，减少相机中心快捷行为的影响。

技术框架：OrientSAM的整体架构包括方向感知标记的生成、傅里叶角度编码的应用以及课程学习策略的实施，形成一个完整的空间对齐流程。

关键创新：最重要的创新在于引入方向感知标记和傅里叶编码，这与传统方法的相机中心推理方式形成鲜明对比，显著提升了模型的空间推理能力。

关键设计：在模型设计中，采用了特定的损失函数以优化方向感知标记的学习，并通过课程学习策略逐步提升模型的推理能力，确保模型在不同任务中的适应性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，OrientSAM在Spatial-MM、ViewSpatial和3DSRBench等数据集上均表现优异，尤其在非相机视角和方向敏感任务中，性能提升幅度达到10%以上，显著优于现有强基线，验证了方向建模的重要性。

🎯 应用场景

该研究的潜在应用领域包括机器人导航、增强现实和自动驾驶等场景，能够提升系统在复杂环境中的空间理解能力。通过更准确的空间推理，未来可以实现更智能的交互和决策支持，推动多模态模型的实际应用价值。

📄 摘要（原文）

Multimodal large language models (MLLMs) still struggle with spatial reasoning that requires perspective transformation. In particular, they often rely on camera-centric cues rather than reasoning from the reference object's viewpoint, leading to systematic errors in non-camera reference settings. In this paper, we first analyze this failure mode and show that object orientation is a key factor underlying such camera-centric shortcut behavior. To address this issue, we propose OrientSAM, an orientation-aware spatial alignment framework for multimodal models. OrientSAM injects explicit orientation information into multimodal representations through orientation-aware tokens and Fourier-based angle encoding, and further adopts a curriculum learning strategy to progressively improve perspective-aware reasoning. In addition, we build a spatial data construction pipeline to generate orientation-aware spatial supervision from large-scale images. Experiments on Spatial-MM, ViewSpatial, and 3DSRBench show that OrientSAM consistently outperforms strong baselines, especially on non-camera-view, person-centric, and orientation-sensitive tasks. The results further demonstrate that explicit orientation modeling is important for mitigating camera-centric shortcut behavior and enabling more robust allocentric spatial reasoning in multimodal models.