Can Learning to Answer Spatial Questions Improve Novel-View Generation?

📄 arXiv: 2610.20610v1 📥 PDF

作者: Jahyeok Koo, Hyeonseo Yu, Seungho Jang, Jaewoo Jung, Jiwon Kang, Seokju Cho, Seungryong Kim

分类: cs.CV

发布日期: 2026-10-14

备注: Project Page: https://cvlab-kaist.github.io/Ask4NV/

💡 一句话要点

提出Ask4NV以解决新视图生成中的空间理解问题

🎯 匹配领域: 支柱七：动作重定向 (Motion Retargeting) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 新视图生成 3D语言理解 多模态学习 几何一致性 混合变换器

📋 核心要点

  1. 现有的新视图生成方法在建模高层语义和空间属性方面存在不足，难以有效保留物体间关系。
  2. 本文提出的Ask4NV模型结合了3D语言理解与新视图生成，通过联合自注意力机制提升生成效果。
  3. 实验结果显示，Ask4NV在图像质量和几何一致性上表现优异，且在3D语言理解任务中具有竞争力。

📝 摘要（中文）

生成新视图需要在有限观察中保留场景的外观和空间结构。尽管现有方法利用细粒度几何线索，但未能显式建模高层语义和空间属性，如物体身份、属性及物体间关系。本文探讨3D语言理解是否能为新视图生成提供补充监督。我们提出了基于预训练统一多模态模型的Ask4NV，采用混合变换器架构。该模型将相机几何信息融入VAE和ViT表示，并通过联合自注意力和模态感知注意力掩蔽策略在生成过程中利用理解特征。实验结果表明，新视图生成的图像质量和几何一致性强，同时3D语言理解表现竞争力。进一步分析显示，联合训练改善了VAE表示中的跨视图对应关系和3D感知特征空间的相似性。

🔬 方法详解

问题定义：本文旨在解决新视图生成中对空间结构和高层语义理解不足的问题。现有方法多依赖细粒度几何线索，未能有效建模物体身份及其关系，导致生成效果受限。

核心思路：论文提出的Ask4NV模型通过引入3D语言理解，利用联合自注意力机制来增强新视图生成过程中的特征理解，从而提升生成质量和空间一致性。

技术框架：Ask4NV基于预训练的统一多模态模型，采用混合变换器架构。模型将相机几何信息整合到变分自编码器（VAE）和视觉变换器（ViT）表示中，并在生成过程中通过模态感知注意力掩蔽策略进行特征理解。

关键创新：最重要的创新在于将3D语言理解与新视图生成相结合，通过联合训练提升了生成模型的空间理解能力，显著改善了跨视图对应关系。

关键设计：模型设计中，采用了混合变换器架构，结合了VAE和ViT的优点。损失函数设计考虑了生成图像的几何一致性和语义相似性，确保生成结果在视觉和空间上均具备高质量。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，Ask4NV在新视图生成任务中实现了显著的图像质量提升，几何一致性得到了有效保证。与基线方法相比，模型在3D语言理解任务中表现出竞争力，进一步验证了联合训练的有效性。

🎯 应用场景

该研究的潜在应用领域包括虚拟现实、增强现实和计算机图形学等。通过提升新视图生成的质量和空间理解能力，能够为用户提供更真实的场景体验，推动相关技术的发展与应用。

📄 摘要（原文）

Generating novel views from limited observations requires preserving both the appearance and spatial structure of a scene. Although recent approaches exploit fine-grained geometric cues, they do not explicitly model high-level semantic and spatial properties such as object identity, attributes, and inter-object relationships. In this work, we investigate whether 3D language understanding can provide complementary supervision for novel-view generation. We introduce Ask4NV, built on a pretrained unified multimodal model with a Mixture-of-Transformers (MoT) architecture. Our model incorporates camera geometry into both VAE and ViT representations and leverages understanding features during generation through joint self-attention with a modality-aware attention masking strategy. Experiments demonstrate strong image quality and geometric consistency in novel-view generation, alongside competitive 3D language understanding. Further analysis shows that joint training improves cross-view correspondence in VAE representations and similarity in a 3D-aware feature space.