View Matters: Keyframe-Guided Text-Driven 3D Gaussian Editing

📄 arXiv: 2610.08179v1 📥 PDF

作者: Kaizhe Zhang, Yijie Zhou, Weizhan Zhang, Xuanyu Wang, Feng Lei, Sha Gong

分类: cs.CV, cs.GR

发布日期: 2026-10-06

备注: 14 pages, 11 figures, including appendices

💡 一句话要点

提出视图重要性感知框架以优化文本驱动的3D高斯编辑

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 3D高斯编辑 文本驱动 关键帧 视图重要性 机器学习 计算机视觉 优化算法

📋 核心要点

  1. 现有的文本驱动3D高斯编辑方法未能有效区分不同视图的编辑可靠性，导致编辑效果不均。
  2. 本文提出的View Matters框架通过关键帧重要性估计和引导编辑，优化了编辑过程，确保了可靠视图的优先级。
  3. 在23个场景-提示对的实验中，View Matters实现了最高的文本-图像相似度和方向相似度，显著提升了编辑效果。

📝 摘要（中文）

文本驱动的3D高斯编辑通常未能区分渲染视图的编辑可靠性，而不同视角提供的监督质量差异显著。本文提出了View Matters框架，围绕可靠的关键帧进行编辑。关键帧重要性估计（KIE）利用几何可见性、语义独特性和编辑相关性来识别可靠视图。关键帧引导编辑（KGE）将编辑信号不对称地传播到非关键帧，避免噪声反向影响，同时重要性感知优化（IAO）在3DGS优化过程中保持这种可靠性偏好。实验结果显示，View Matters在23个场景-提示对中实现了最高的CLIP文本-图像相似度0.2822和方向相似度0.2564，编辑时间为四分钟。

🔬 方法详解

问题定义：本文旨在解决文本驱动3D高斯编辑中不同视图编辑可靠性未被区分的问题。现有方法在处理视图时未考虑其信息量，导致编辑效果不理想。

核心思路：论文提出的View Matters框架通过识别和利用可靠的关键帧，优化编辑过程。通过对关键帧的重视，确保编辑信号的有效传播，减少噪声影响。

技术框架：该框架主要包括三个模块：关键帧重要性估计（KIE）、关键帧引导编辑（KGE）和重要性感知优化（IAO）。KIE负责识别可靠视图，KGE则将编辑信号从关键帧传播到非关键帧，IAO在优化过程中保持可靠性偏好。

关键创新：最重要的创新在于引入了视图重要性感知机制，通过几何可见性、语义独特性和编辑相关性来评估关键帧的可靠性，这与现有方法的均匀处理方式形成了鲜明对比。

关键设计：在设计中，KIE使用了多种特征来评估视图的重要性，KGE采用了不对称传播策略以减少噪声影响，而IAO则在损失函数中引入了可靠性偏好，以确保优化过程的有效性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在实验中，View Matters在23个场景-提示对中实现了0.2822的CLIP文本-图像相似度和0.2564的方向相似度，均为评估方法中的最高值，且编辑时间仅为四分钟，显示出显著的性能提升。

🎯 应用场景

该研究的潜在应用领域包括虚拟现实、游戏开发和影视特效制作等，能够显著提升3D场景编辑的质量和效率。通过优化编辑过程，未来可能在实时渲染和交互式应用中发挥重要作用，推动相关技术的发展。

📄 摘要（原文）

Text-driven 3D Gaussian editing commonly does not distinguish the editing reliability of rendered views, although different viewpoints provide supervision of substantially different quality. Views that clearly show the scene and match the edit instruction provide reliable guidance, while less informative views may weaken the edit when all views are treated equally. We present View Matters, a view-importance-aware framework that conducts editing around reliable keyframes. Keyframe Importance Estimation (KIE) identifies reliable views using geometric visibility, semantic distinctiveness, and edit relevance. Keyframe-Guided Editing (KGE) then propagates their editing signals asymmetrically to non-keyframes without noisy reverse influence, while Importance-Aware Optimization (IAO) preserves this reliability preference during 3DGS optimization. Across 23 scene-prompt pairs, View Matters achieves the highest average CLIP text-image similarity of 0.2822 and directional similarity of 0.2564 among the evaluated methods, with a four-minute editing time. Additional adjacent-view analysis indicates that the fidelity-oriented editing process maintains cross-view coherence.