Look Before You Edit: Attention-Guided Camera Placement and Multi-View Alignment for 3D Gaussian Splatting Editing

📄 arXiv: 2607.19777v1 📥 PDF

作者: Jaeyeon Park, Taeho Kang, Youngki Lee

分类: cs.CV

发布日期: 2026-07-22

💡 一句话要点

提出LB-Edit以解决3D场景编辑中的相机放置与视图一致性问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 3D场景编辑 注意力机制 多视图对齐 扩散模型 用户偏好 编辑一致性 虚拟现实 游戏开发

📋 核心要点

  1. 现有的3D场景编辑方法依赖固定相机，限制了编辑的灵活性和空间覆盖。
  2. LB-Edit框架通过注意力引导相机放置和多视图注意力对齐来解决编辑一致性和局部性问题。
  3. 实验结果显示，LB-Edit在用户偏好、编辑一致性和局部性方面显著优于现有方法，且延迟减少了7倍。

📝 摘要（中文）

基于文本驱动的3D场景编辑通常依赖于固定训练相机渲染的视图，这限制了编辑的空间覆盖和用户对复杂场景中特定对象的选择自由。本文提出LB-Edit框架，解决了两个相互关联的问题：如何为局部编辑放置编辑相机，以及如何使每个视图的编辑保持一致，从而在微调后保持3D场景的一致性。首先，注意力引导的编辑相机放置（ACP）通过在多个候选相机距离上探测扩散模型的自注意力和交叉注意力，找到关注区域内的最佳距离。其次，多视图注意力对齐（MAA）在两个轴上引导编辑器实现一致的编辑，抑制外观和空间漂移。实验表明，该方法在指令保真度、多视图一致性和编辑局部性方面获得了最高的用户偏好。

🔬 方法详解

问题定义：本文旨在解决3D场景编辑中相机放置和视图一致性的问题。现有方法通常使用固定相机，导致编辑效果受限，无法满足用户对复杂场景的需求。

核心思路：LB-Edit框架通过引入注意力机制来优化相机放置，并通过多视图对齐技术确保编辑的一致性，从而提升编辑的灵活性和效果。

技术框架：该框架主要包括两个模块：注意力引导的编辑相机放置（ACP）和多视图注意力对齐（MAA）。ACP模块通过分析扩散模型的注意力特征来选择最佳相机位置，而MAA模块则通过对齐不同视图的编辑结果来保持一致性。

关键创新：该研究的创新点在于结合了注意力机制与多视图对齐技术，显著提高了编辑的局部性和一致性，解决了传统方法中存在的空间和外观漂移问题。

关键设计：在ACP中，模型通过自注意力和交叉注意力特征选择相机位置，MAA则通过共享自注意力特征和提升交叉注意力图来实现视图间的一致性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，LB-Edit在用户偏好方面表现优异，指令保真度和多视图一致性均达到最高水平。使用仅5个编辑视图时，延迟减少了高达7倍，相比于现有方法显著提升了编辑效率。

🎯 应用场景

LB-Edit框架在虚拟现实、游戏开发和影视制作等领域具有广泛的应用潜力。通过提供更灵活和一致的3D场景编辑能力，能够提升用户体验和创作效率，推动相关技术的发展与应用。

📄 摘要（原文）

Text-driven 3D scene editing with 3D Gaussian Splatting (3DGS) typically applies a 2D diffusion editor to views rendered from fixed training cameras, limiting both the spatial coverage of edits and the user's freedom to target specific objects in complex scenes. We present LB-Edit, a framework that addresses two coupled problems: where to place editing cameras for localized edits, and how to make per-view edits agree with one another so that the 3D scene remains consistent after fine-tuning. First, Attention-Guided Editing Camera Placement (ACP) probes the diffusion model's self- and cross-attention at multiple candidate camera distances to find where attention is well-contained in the region of interest, then places a compact, geometrically diverse editing camera set at that attention-optimal distance. Second, Multi-view Attention Alignment (MAA) steers the editor toward the same edit across views along two axes: it aligns appearance by sharing self-attention features via token-level correspondence, and aligns spatial location by lifting cross-attention maps onto the 3D Gaussians as a shared 3D attention field, suppressing both appearance and spatial drift. Experiments on multi-object and single-object scenes show that our method achieves the highest user preference in instruction fidelity, multi-view consistency, and editing locality, using as few as 5 editing views and reducing latency by up to 7x over existing methods.