UniView: Enhancing Novel View Synthesis From A Single Image By Unifying Reference Features
作者: Haowang Cui, Rui Chen, Tao Luo, Rui Li, Jiaze Wang
分类: cs.CV
发布日期: 2025-09-05
备注: Submitted to ACM TOMM
💡 一句话要点
UniView：通过统一参考特征增强单图像的新视角合成
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 新视角合成 单图像重建 参考图像 多模态大语言模型 特征融合 注意力机制 视图生成
📋 核心要点
- 单图像新视角合成面临未观测区域信息缺失的挑战，现有方法易产生失真。
- UniView利用相似对象的参考图像提供先验信息，辅助新视角的生成。
- 实验结果表明，UniView显著提升了新视角合成的性能，超越了现有最佳方法。
📝 摘要（中文）
单图像新视角合成任务具有高度不适定性，因为未观察到的区域存在多种可能的解释。现有方法倾向于从模糊先验和输入视图附近的插值生成未见区域，这通常导致严重的失真。为了解决这个限制，我们提出了一种名为UniView的新模型，它可以利用来自相似对象的参考图像，在视图合成过程中提供强大的先验信息。更具体地说，我们构建了一个检索和增强系统，并采用多模态大型语言模型（MLLM）来辅助选择满足我们要求的参考图像。此外，我们引入了一个带有多级隔离层的即插即用适配器模块，以动态生成目标视图的参考特征。而且，为了保留原始输入图像的细节，我们设计了一种解耦的三重注意力机制，可以有效地对齐和整合多分支特征到合成过程中。大量的实验表明，我们的UniView显著提高了新视角合成性能，并在具有挑战性的数据集上优于最先进的方法。
🔬 方法详解
问题定义：单图像新视角合成旨在从单个图像生成同一场景或对象在不同视角下的图像。现有方法主要依赖于从输入图像进行插值和外推，这在遮挡区域或复杂几何结构下容易产生模糊和失真。缺乏外部知识的引入是现有方法的痛点。
核心思路：UniView的核心思路是利用来自相似对象的参考图像作为外部知识，为新视角合成提供更强的先验信息。通过检索与输入图像相似的参考图像，并提取其特征，可以有效地补充未观测区域的信息，从而减少合成过程中的不确定性。
技术框架：UniView包含以下主要模块：1) 检索与增强系统：使用多模态大型语言模型（MLLM）检索与输入图像相似的参考图像。2) 适配器模块：一个即插即用的适配器模块，带有多个隔离层，用于动态生成目标视图的参考特征。3) 解耦三重注意力机制：用于对齐和整合来自输入图像和参考图像的多分支特征。整体流程是，首先检索参考图像，然后通过适配器模块生成参考特征，最后使用解耦三重注意力机制将输入图像特征和参考特征融合，生成新视角的图像。
关键创新：UniView的关键创新在于引入了参考图像作为外部知识，并设计了适配器模块和解耦三重注意力机制来有效地利用这些参考信息。与现有方法相比，UniView不再仅仅依赖于输入图像本身的信息，而是通过引入外部知识来提高合成的准确性和真实感。
关键设计：适配器模块采用多级隔离层，以控制参考特征的影响程度，避免过度依赖参考图像而丢失输入图像的细节。解耦三重注意力机制分别对输入图像特征、参考特征和上下文信息进行注意力加权，从而实现更精细的特征融合。损失函数方面，可能采用了像素级损失、感知损失和对抗损失等，以保证合成图像的质量和真实感（具体损失函数细节未知）。
🖼️ 关键图片
📊 实验亮点
UniView在具有挑战性的数据集上显著提高了新视角合成的性能，优于现有最先进的方法。具体性能数据和对比基线未知，但摘要强调了其在性能上的显著提升。该方法通过引入参考图像和设计精巧的特征融合机制，有效地解决了单图像新视角合成中的模糊性和失真问题。
🎯 应用场景
UniView技术可应用于三维重建、虚拟现实、增强现实、游戏开发等领域。例如，用户只需提供一张照片，即可生成该物体在不同视角下的图像，从而实现更逼真的三维模型展示和交互体验。该技术还可以用于修复老旧照片，恢复缺失的信息，具有重要的实际应用价值。
📄 摘要（原文）
The task of synthesizing novel views from a single image is highly ill-posed due to multiple explanations for unobserved areas. Most current methods tend to generate unseen regions from ambiguity priors and interpolation near input views, which often lead to severe distortions. To address this limitation, we propose a novel model dubbed as UniView, which can leverage reference images from a similar object to provide strong prior information during view synthesis. More specifically, we construct a retrieval and augmentation system and employ a multimodal large language model (MLLM) to assist in selecting reference images that meet our requirements. Additionally, a plug-and-play adapter module with multi-level isolation layers is introduced to dynamically generate reference features for the target views. Moreover, in order to preserve the details of an original input image, we design a decoupled triple attention mechanism, which can effectively align and integrate multi-branch features into the synthesis process. Extensive experiments have demonstrated that our UniView significantly improves novel view synthesis performance and outperforms state-of-the-art methods on the challenging datasets.