Seeing, Saying, but Not Using: From Reportable Spatial Facts to Usable States in Multimodal Large Language Models
作者: Jinchang Zhang, Guoyu Lu
分类: cs.CV
发布日期: 2026-10-02
💡 一句话要点
提出Operational State Supervision以解决多模态大语言模型的空间状态利用问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多模态大语言模型 空间推理 操作状态监督 空间状态 机器学习
📋 核心要点
- 现有多模态大语言模型虽然能报告空间事实，但在后续推理中未能有效利用这些事实，存在可用性与利用性之间的差距。
- 本文提出操作状态监督（OSS），通过监督空间状态及其转换轨迹，旨在提升模型对空间状态的利用能力。
- 实验结果表明，OSS在匹配判断的准确性上有显著提升，尤其是在依赖于组织和使用状态的层面上。
📝 摘要（中文）
多模态大语言模型能够正确报告空间事实，但并不一定能在后续推理中有效利用这些事实。为此，本文引入了 extsc{SpaceConflict}基准，包含23,196个输入，旨在研究空间状态的构建与使用。通过统一的支持/矛盾/未知判断接口，涵盖了局部事实绑定、关系组合、跨观察一致性和状态判断等多个层面。研究发现，模型在恢复初始状态时表现良好，但在需要驱动转换时却失败。为此，提出了操作状态监督（OSS），该方法通过监督任务相关的空间状态及其转换轨迹，提升了模型在空间推理中的准确性。
🔬 方法详解
问题定义：本文旨在解决多模态大语言模型在空间推理中存在的可用性与利用性差距问题。现有方法在恢复空间状态时表现良好，但在需要利用这些状态进行推理时却常常失败。
核心思路：提出操作状态监督（OSS），通过监督与任务相关的空间状态及其转换轨迹，确保模型不仅能看到和报告空间事实，还能在后续计算中有效利用这些事实。
技术框架：OSS的整体架构包括输入空间事实的提取、状态的构建与监督、以及状态转换的跟踪与评估。主要模块包括空间状态识别、状态转换监督和结果评估。
关键创新：OSS的核心创新在于通过监督空间状态的转换轨迹，提升了模型在复杂推理任务中的表现。这一方法与传统的仅依赖于事实报告的方式有本质区别。
关键设计：在OSS中，设计了特定的损失函数来优化空间状态的监督，确保模型在不同上下文中对共享事实的对齐。同时，参数设置经过调优，以适应不同层次的空间推理任务。
🖼️ 关键图片
📊 实验亮点
实验结果显示，对于Qwen3.5-9B模型，100个序列中有50个在正确恢复初始状态后未能完成全转换，但通过显式提供状态后，所有50个序列均成功完成。OSS显著提高了在L3和L4层面的准确性，表明其在空间推理中的有效性。
🎯 应用场景
该研究的潜在应用领域包括机器人导航、增强现实和智能助手等，能够提升这些系统在复杂环境中的空间推理能力。通过改进模型对空间状态的利用，未来可能推动多模态交互技术的发展，提升用户体验。
📄 摘要（原文）
A multimodal large language model that correctly reports a spatial fact does not necessarily use that fact in subsequent reasoning. To study this distinction, we introduce \textsc{SpaceConflict}, a benchmark of 23{,}196 inputs for the construction and use of spatial state. Under a unified Supported/Contradictory/Unknown judgment interface, it covers local fact binding (L1), relational composition (L2), cross-observation consistency (L3), and state judgment under transformation (L4). Posing a direct-state query, a full-transformation query, and an explicit-initial-state query on the same world reveals an availability--utilization gap: models recover the initial state from visual evidence yet fail when that state must drive a transformation. For Qwen3.5-9B, 50 of 100 sequences with a correctly recovered initial state fail the full transformation, and supplying the state explicitly repairs all 50; the gap narrows with scale but does not close. We therefore propose Operational State Supervision (OSS), which supervises task-relevant spatial states and their transformation trajectories and aligns shared facts across contexts. OSS improves paired accuracy on matched judgments most on L3 and L4, the levels that depend on organizing and using state. Evaluating multimodal spatial reasoning thus requires asking not only whether a model can see and state a spatial fact, but whether that fact becomes a usable state in subsequent computation.