Spatial-OPSD: Self-Improving Spatial Reasoning via Label-Free Self-Distillation

📄 arXiv: 2609.37055v1 📥 PDF

作者: Zhenyu Liu, Zhangquan Chen, Keyi Chen, Mingze Sun, Xiang An, Haodong Jing, Ruqi Huang

分类: cs.CV

发布日期: 2026-09-29

🔗 代码/项目: GITHUB

💡 一句话要点

提出Spatial-OPSD框架以解决空间推理中的标签依赖问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 空间推理 无标签学习 自我蒸馏 视觉语言模型 深度学习

📋 核心要点

  1. 现有空间推理方法依赖真实答案或特定监督，限制了模型的自我改进能力。
  2. Spatial-OPSD框架通过无标签自我蒸馏，利用空间先验信息实现模型的自我提升。
  3. 在四个VLM家族的实验中，Spatial-OPSD显著提高了空间推理基准的平均性能，达到开源模型中的最佳结果。

📝 摘要（中文）

随着视觉语言模型（VLMs）在具身和空间基础设置中的应用日益增加，准确理解深度、视角和三维关系变得至关重要。然而，现有的空间推理方法通常依赖于真实答案或任务特定的监督。本文提出了Spatial-OPSD，一个无标签自我改进框架，利用感知和重建工具自然可获得的空间结构。在训练过程中，特权教师接收自动获取的空间先验信息，而学生仅观察原始的视觉语言输入。通过自我采样的轨迹，教师提供密集的标记级监督，使学生能够在没有真实标签的情况下内化空间知识。实验结果表明，Spatial-OPSD在多个VLM家族中显著提升了空间推理性能。

🔬 方法详解

问题定义：本文旨在解决空间推理中对真实标签的依赖问题，现有方法通常需要真实答案或特定的监督信号，限制了模型的灵活性和自我改进能力。

核心思路：Spatial-OPSD框架通过无标签自我蒸馏，利用感知和重建工具提供的空间先验信息，允许模型在没有真实标签的情况下进行自我提升。

技术框架：该框架包括两个主要模块：特权教师和学生。教师利用自动获取的空间先验信息进行训练，而学生仅依赖原始输入进行学习。通过自我采样的轨迹，教师提供密集的标记级监督。

关键创新：最重要的创新在于采用无标签自我蒸馏的方法，使得学生能够在没有真实标签的情况下内化空间知识，同时通过回合递归训练机制实现持续的自我改进。

关键设计：在训练过程中，教师在每一回合保持冻结状态，以提供稳定的学习目标。每个回合结束后，改进的学生将初始化教师和学生，确保信息的不对称性和有效的学习过程。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在四个视觉语言模型家族的实验中，Spatial-OPSD在五个基准测试中平均提升了性能，经过三轮训练后，模型在开源领域达到了最佳平均水平，并在三个空间推理基准上取得了最佳结果。

🎯 应用场景

该研究的潜在应用领域包括机器人导航、增强现实和自动驾驶等需要空间理解的场景。通过提高模型的空间推理能力，Spatial-OPSD能够在实际应用中实现更高的智能化水平，推动相关技术的发展。

📄 摘要（原文）

Vision-language models (VLMs) increasingly operate in embodied and spatially grounded settings, where accurate understanding of depth, viewpoint, and three-dimensional relations is essential. However, improving spatial reasoning typically relies on ground-truth answers, answer-derived rewards, or other forms of task-specific supervision. We introduce Spatial-OPSD, a label-free self-improvement framework that instead exploits spatial structure naturally available from perception and reconstruction tools. During training, a privileged teacher receives automatically obtainable spatial priors, such as depth, reconstructed 3D relations, and camera geometry, while the student observes only the original visual-language input. On trajectories sampled by the student itself, the teacher provides dense token-level supervision, allowing the student to internalize spatial knowledge without ground-truth answer labels or privileged information at inference time. To extend this supervision beyond a single round, we adopt a round-wise recursive training scheme: the teacher remains frozen within each round to provide a stable learning target, and the improved student initializes both teacher and student in the next round, where privileged spatial priors re-establish an informative teacher--student asymmetry. This enables repeated self-improvement while avoiding a rapidly moving teacher during optimization. Across four VLM families, a single round of Spatial-OPSD consistently improves the five-benchmark average, while three rounds further push a strong spatially specialized model to the open-source frontier, achieving the highest average among the open models and the best results on three of five spatial reasoning benchmarks. Our code is available at https://github.com/vermouth599/Spatial-OPSD.