REVISION: Rendering Tools Enable Spatial Fidelity in Vision-Language Models

📄 arXiv: 2408.02231v1 📥 PDF

作者: Agneet Chatterjee, Yiran Luo, Tejas Gokhale, Yezhou Yang, Chitta Baral

分类: cs.CV

发布日期: 2024-08-05

备注: Accepted to ECCV 2024. Project Page : https://agneetchatterjee.com/revision/

💡 一句话要点

REVISION框架通过渲染工具提升视觉-语言模型中的空间保真度

🎯 匹配领域: 支柱七：动作重定向 (Motion Retargeting) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉-语言模型 空间保真度 3D渲染 合成图像 空间推理 文本到图像 多模态学习

📋 核心要点

  1. 现有的视觉-语言模型在空间关系推理方面存在不足，无法准确理解和生成符合空间逻辑的图像。
  2. REVISION框架利用3D渲染技术生成空间精确的合成图像，为视觉-语言模型提供额外的空间信息指导。
  3. 实验表明，REVISION框架能有效提升T2I模型在空间一致性方面的表现，并在多个基准测试中取得优异成绩。

📝 摘要（中文）

本文提出了REVISION框架，旨在提升视觉-语言模型中的空间保真度。现有的文本到图像（T2I）和多模态大型语言模型（MLLM）在空间关系推理方面存在不足。REVISION是一个基于3D渲染的流程，它根据文本提示生成空间上精确的合成图像。该框架具有可扩展性，目前支持100多个3D资产和11种空间关系，并提供多样化的相机视角和背景。通过将REVISION生成的图像作为额外的指导，以一种无训练的方式，可以持续提高T2I模型在所有空间关系上的空间一致性，并在VISOR和T2I-CompBench基准测试中取得有竞争力的性能。此外，本文还设计了RevQA问答基准，用于评估MLLM的空间推理能力，发现当前最先进的模型在对抗性设置下对复杂的空间推理并不鲁棒。研究结果表明，利用基于渲染的框架是开发具有空间感知能力的生成模型的有效方法。

🔬 方法详解

问题定义：现有的文本到图像（T2I）和多模态大型语言模型（MLLM）在处理涉及空间关系的视觉任务时，常常无法准确理解和生成符合空间逻辑的图像。这些模型缺乏对物体之间空间位置、方向和相对大小等信息的精确建模能力，导致生成图像的空间布局不合理，影响了模型的实用性和可靠性。

核心思路：REVISION框架的核心思路是利用3D渲染技术生成具有精确空间信息的合成图像，并将这些图像作为额外的指导信号，注入到现有的视觉-语言模型中。通过这种方式，模型可以学习到更强的空间推理能力，从而提高生成图像的空间保真度。这种方法无需对现有模型进行重新训练，具有很强的灵活性和可扩展性。

技术框架：REVISION框架主要包含以下几个模块：1) 3D资产库：包含100+ 3D模型，涵盖各种常见物体。2) 空间关系定义：支持11种常见的空间关系，如“在...之上”、“在...之下”等。3) 渲染引擎：根据文本提示和空间关系定义，生成具有精确空间布局的合成图像，并提供多样化的相机视角和背景。4) 指导模块：将生成的合成图像作为额外的指导信号，输入到现有的T2I模型中，以提高其空间一致性。

关键创新：REVISION框架的关键创新在于利用3D渲染技术生成空间精确的合成图像，并将其作为一种无训练的指导信号，注入到现有的视觉-语言模型中。这种方法避免了对现有模型进行大规模重新训练的需求，同时能够有效地提高模型的空间推理能力。此外，RevQA问答基准的提出，为评估MLLM的空间推理能力提供了一个新的工具。

关键设计：REVISION框架的关键设计包括：1) 3D资产库的多样性，确保能够覆盖各种常见的物体和场景。2) 空间关系定义的完备性，涵盖了常见的空间位置、方向和相对大小等信息。3) 渲染引擎的真实感，尽可能地模拟真实世界的视觉效果。4) 指导模块的有效性，确保合成图像能够有效地指导T2I模型生成具有空间一致性的图像。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，REVISION框架能够显著提高T2I模型在空间一致性方面的表现。在VISOR和T2I-CompBench基准测试中，REVISION框架取得了有竞争力的性能。此外，RevQA问答基准的评估结果表明，当前最先进的MLLM在对抗性设置下对复杂的空间推理并不鲁棒，这为未来的研究提供了新的方向。

🎯 应用场景

REVISION框架具有广泛的应用前景，例如可以用于生成具有精确空间布局的室内设计图、机器人导航场景、游戏场景等。此外，该框架还可以用于提高自动驾驶系统对周围环境的感知能力，以及辅助医疗影像分析等任务。未来，REVISION框架有望成为开发具有空间感知能力的生成模型的重要工具。

📄 摘要（原文）

Text-to-Image (T2I) and multimodal large language models (MLLMs) have been adopted in solutions for several computer vision and multimodal learning tasks. However, it has been found that such vision-language models lack the ability to correctly reason over spatial relationships. To tackle this shortcoming, we develop the REVISION framework which improves spatial fidelity in vision-language models. REVISION is a 3D rendering based pipeline that generates spatially accurate synthetic images, given a textual prompt. REVISION is an extendable framework, which currently supports 100+ 3D assets, 11 spatial relationships, all with diverse camera perspectives and backgrounds. Leveraging images from REVISION as additional guidance in a training-free manner consistently improves the spatial consistency of T2I models across all spatial relationships, achieving competitive performance on the VISOR and T2I-CompBench benchmarks. We also design RevQA, a question-answering benchmark to evaluate the spatial reasoning abilities of MLLMs, and find that state-of-the-art models are not robust to complex spatial reasoning under adversarial settings. Our results and findings indicate that utilizing rendering-based frameworks is an effective approach for developing spatially-aware generative models.