Unlocking Spatial Grounding in Flow-Matching Models via SNR Tuning

📄 arXiv: 2610.29581v1 📥 PDF

作者: Martin Thißen, Elke Hergenröther

分类: cs.CV, cs.LG

发布日期: 2026-10-21

备注: Accepted at BMVC 2026 (Oral)

💡 一句话要点

通过SNR调优解锁流匹配模型中的空间定位能力

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 空间定位 信噪比调优 流匹配模型 图像合成 计算机视觉 几何原件 布局遵循性 多模态学习

📋 核心要点

  1. 现有的生成模型在实现细粒度空间控制方面存在显著挑战，通常需要复杂的结构适配器。
  2. 论文提出通过调整信噪比（SNR）分布来优化流匹配模型的空间定位能力，特别关注高噪声阶段的训练。
  3. 实验结果显示，采用高噪声训练阶段后，布局遵循性从25.9%提升至80.8%，并在COCO数据集上验证了该方法的有效性。

📝 摘要（中文）

尽管基础模型在图像合成方面取得了成功，但实现细粒度的空间控制仍然是一个重大挑战，通常需要辅助结构适配器或复杂的推理时间引导。现代视觉语言文本编码器具备表示空间坐标的潜在能力，但生成模型往往未能有效利用这些信息。我们证明信噪比（SNR）分布是流匹配模型中空间定位的关键决定因素。通过引入新的几何原件合成基准，我们将结构力学与自然图像中固有的纹理复杂性分离，并提出了一种严格的颜色感知布局度量来量化空间保真度。我们发现，训练在中心SNR分布上导致布局遵循性较差（25.9%），而将训练重点转向高噪声阶段则能显著提高布局遵循性至80.8%。这些发现还在COCO数据集上得到了验证，表明仅通过分布调优即可解锁最先进的布局遵循性。

🔬 方法详解

问题定义：本论文旨在解决生成模型在图像合成中实现细粒度空间控制的不足，现有方法通常依赖复杂的结构适配器，难以有效利用空间坐标信息。

核心思路：论文的核心思路是通过调整信噪比（SNR）分布，特别是聚焦于高噪声阶段的训练，来增强流匹配模型的空间定位能力。这样的设计旨在利用SNR的变化来改善模型对空间信息的理解和应用。

技术框架：整体架构包括一个流匹配模型，结合了SNR调优的训练过程。首先，构建一个合成基准以隔离结构力学和纹理复杂性，然后引入颜色感知布局度量来评估空间保真度。

关键创新：最重要的技术创新在于识别高噪声阶段作为“关键学习阶段”，并将训练重心转向这些阶段，从而显著提高布局遵循性。这一方法与传统的中心SNR训练方式形成鲜明对比。

关键设计：在训练过程中，采用了特定的噪声调度策略，并设计了新的损失函数以优化布局遵循性。此外，模型的参数设置和网络结构经过精心调整，以适应不同的分辨率和长宽比变化。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，采用高噪声训练阶段后，布局遵循性从25.9%显著提升至80.8%，接近83.6%的重建上限。此外，在COCO数据集上，模型的平均精度从1.0提升至57.3，验证了分布调优的有效性。

🎯 应用场景

该研究的潜在应用领域包括图像合成、计算机视觉中的场景理解以及人机交互等。通过优化空间定位能力，生成模型能够在更复杂的场景中实现更高的准确性和灵活性，未来可能推动虚拟现实、增强现实等技术的发展。

📄 摘要（原文）

Despite the success of foundation models in image synthesis, achieving fine-grained spatial control remains a significant challenge, typically requiring auxiliary structural adapters or complex inference-time steering. While modern vision-language (VLM) text encoders possess the latent capacity to represent spatial coordinates, generative models often fail to leverage this information. We demonstrate that the signal-to-noise ratio (SNR) distribution is a critical determinant of spatial grounding in flow-matching models. Using a novel synthetic benchmark of geometric primitives, we isolate structural mechanics from textural complexity inherent in natural imagery and introduce a rigorous color-aware layout metric to quantify spatial fidelity. We show that training on a centered SNR distribution results in poor layout adherence (25.9%). Instead, we identify high-noise regimes as a "critical learning phase" for spatial grounding. Shifting the training focus toward these stages increases layout adherence to 80.8%, effectively reaching the 83.6% reconstruction ceiling of the underlying variational autoencoder. We find that the necessity for this shift scales with resolution and aspect ratio variance, and that the conservative noise schedules employed by models like FLUX.1 are insufficient for precise layout adherence. Finally, we show that these findings translate to real-world imagery via the COCO dataset (1.0 vs. 57.3 Average Precision), where state-of-the-art layout adherence is unlocked through distribution tuning alone, without architectural modifications.