R$^3$L: Reasoning 3D Layouts from Relative Spatial Relations

📄 arXiv: 2605.06758v1 📥 PDF

作者: Zhifeng Gu, Yuqi Wang, Bing Wang

分类: cs.CV, cs.AI, cs.LG, cs.RO

发布日期: 2026-05-07

备注: ICML 2026

🔗 代码/项目: GITHUB

💡 一句话要点

提出R$^3$L框架，通过不变空间分解与一致性想象解决3D布局生成中的多跳空间推理难题。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 3D布局生成 空间推理 多模态大模型 参考系转换 位姿优化 计算机视觉

📋 核心要点

  1. 现有基于MLLM的3D布局生成方法在处理多跳空间推理时，因反复的参考系转换导致误差累积，产生严重的语义与度量漂移。
  2. R$^3$L框架通过不变空间分解解耦关系链，并利用“想象-修正”循环机制，显著提升了空间推理的自洽性与物理可行性。
  3. 实验证明该方法在多样化场景中表现优异，有效解决了复杂空间指令下的布局生成难题，提升了生成结果的逻辑一致性。

📝 摘要（中文）

相对空间关系是3D布局生成的空间结构基础。近期研究利用多模态大模型（MLLMs）推断这些关系，但推断结果往往不可靠，且通常依赖事后启发式处理。本文提出R$^3$L，一个旨在提升3D布局生成中相对空间推理可靠性与一致性的通用框架。核心动机在于多跳推理需要反复进行参考系转换，这会导致推断关系中误差累积，引发语义与度量漂移。为缓解此问题，我们提出不变空间分解以打破耦合关系链，并引入一致性空间想象，通过“想象-修正”循环促进自洽性。此外，我们引入支持性空间优化，通过全局到局部的坐标重参数化简化位姿优化。在多种场景与指令下的实验表明，R$^3$L生成的布局在物理可行性与语义一致性上表现更优，验证了解决参考系诱导的不一致性对于多跳空间推理至关重要。

🔬 方法详解

问题定义：论文旨在解决3D布局生成中多跳空间推理的可靠性问题。现有方法在处理复杂空间关系时，由于频繁的参考系转换，导致推断出的空间关系存在误差累积，最终引发生成布局的语义偏差和度量漂移。

核心思路：核心思想是消除参考系转换带来的不确定性。通过将复杂的耦合关系链分解为不变的空间分量，并引入闭环的自我修正机制，确保空间推理在多跳过程中保持逻辑与几何的一致性。

技术框架：框架包含三个核心阶段：首先是“不变空间分解”，将复杂关系拆解；其次是“一致性空间想象”，通过迭代的想象与修正循环优化空间布局；最后是“支持性空间优化”，通过全局到局部的坐标重参数化，将空间约束转化为高效的位姿优化问题。

关键创新：最重要的创新在于提出了不变空间分解策略，打破了传统方法中依赖单一参考系转换的局限，从根本上降低了误差传播。同时，引入的“想象-修正”循环是提升生成结果物理可行性的关键。

关键设计：技术细节包括采用全局到局部的坐标重参数化技术，该设计有效简化了非线性位姿优化过程。此外，通过引入自洽性约束损失函数，强制模型在推理过程中保持空间逻辑的连贯性，从而提升了生成质量。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验在多种复杂场景与指令集上进行了广泛评估。结果显示，R$^3$L在物理可行性指标上显著优于现有基线模型，有效减少了物体间的碰撞与重叠。定性分析表明，该方法在处理多跳空间推理任务时，能够保持极高的语义一致性，证明了解决参考系诱导不一致性对提升生成质量的核心作用。

🎯 应用场景

该研究在室内设计自动化、机器人环境建模、虚拟现实内容生成及游戏场景构建等领域具有重要价值。通过提升AI对复杂空间指令的理解与执行能力，可显著降低人工设计成本，并为机器人提供更符合物理规律的语义地图构建支持。

📄 摘要（原文）

Relative spatial relations provide a compact representation of spatial structure and are fundamental to relative spatial reasoning in 3D layout generation. Recent works leverage Multimodal Large Language Models (MLLMs) to infer such relations, but the inferred relations are often unreliable and are typically handled with post-hoc heuristics. In this paper, we propose R$^3$L, a general framework that improves the reliability and consistency of relative spatial reasoning for 3D layout generation. Our key motivation is that multi-hop reasoning requires repeated reference-frame transformations, which accumulate errors in inferred relations and lead to semantic and metric drift. To mitigate this, we propose invariant spatial decomposition to break coupled relation chains, and consistent spatial imagination to promote self-consistency through an imagine-and-revise loop. We further introduce supportive spatial optimization to ease pose optimization via global-to-local coordinate re-parameterization. Extensive experiments across diverse scene types and instructions demonstrate that R$^3$L produces more physically feasible and semantically consistent layouts. Notably, our analysis shows that resolving frame-induced inconsistencies is crucial for reliable multi-hop relative spatial reasoning. The code is available at https://github.com/Neal2020GitHub/R3L.