PlenoCI: Plenoptic CharacterIstics for View Dependence Aware Change Classification

📄 arXiv: 2609.28930v1 📥 PDF

作者: Jason Lai, Chamuditha Jayanga Galappaththige, Niko Suenderhauf, Dimity Miller, Donald G. Dansereau

分类: cs.CV

发布日期: 2026-09-24

备注: 15 pages, 9 figures

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出PlenoCI以解决视依赖变化分类问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 变化检测 辐射场表示 全光特征 3D高斯散射 视觉理解 机器学习 计算机视觉

📋 核心要点

  1. 现有的辐射场表示方法在处理视依赖性和遮挡等复杂视觉现象时存在欠约束的问题，导致重建结果不一致。
  2. 论文提出PlenoCI特征，通过从3D高斯散射表示中推导全光导数，直接捕捉视觉行为，增强了对变化的检测能力。
  3. 在实验中，PlenoCI在CL-Splats数据集上实现了25.7%的mIoU提升，并在变化分类任务中表现出与最佳基线相当的准确率。

📝 摘要（中文）

辐射场表示如3D高斯散射（3DGS）能够自然编码复杂的视觉现象，如遮挡和视依赖性，但其本质上是欠约束的。独立优化的重建在未变化区域收敛到不同的原始配置。我们提出了Plenoptic CharacterIstics（PlenoCI），这是一个基于这些表示近似的全光场构建的新特征。PlenoCI直接捕捉丰富的视觉行为，同时忽略兰伯特纹理。通过从3DGS表示中推导出封闭形式的解析全光导数，我们有效地检测这些5D结构。我们的方案在构造上对欠约束表示具有鲁棒性，报告的独立重建未变化场景之间的假阳性减少了两个数量级。我们展示了PlenoCI在变化分类中的实用性，首先通过实例感知的3DGS管道检测变化，在CL-Splats上实现了领先的结果，相较于最强竞争者提高了25.7%的mIoU，同时在更具挑战性的PASLCD基准上保持竞争力。利用PlenoCI，我们将变化分类为几何或外观基础，平衡准确率为0.735，接近最佳基线。我们相信全光导数和PlenoCI为在视觉复杂环境中进行视依赖理解开辟了新方向。

🔬 方法详解

问题定义：本论文旨在解决现有辐射场表示在变化检测中的欠约束问题，导致在未变化区域的重建结果不一致，影响分类精度。

核心思路：提出PlenoCI特征，通过分析全光场的导数，捕捉丰富的视觉信息，忽略不必要的纹理干扰，从而提高变化检测的准确性和鲁棒性。

技术框架：整体方法包括三个主要阶段：首先，利用3D高斯散射生成辐射场表示；其次，推导全光导数以提取PlenoCI特征；最后，基于提取的特征进行变化分类。

关键创新：PlenoCI特征的引入是本研究的核心创新，能够有效捕捉视依赖性变化，显著减少假阳性率，提升变化检测的可靠性。

关键设计：在模型设计中，采用封闭形式的解析全光导数，确保特征提取的高效性；同时，优化损失函数以平衡几何和外观变化的分类精度。通过这些设计，PlenoCI在复杂场景中表现出色。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在实验中，PlenoCI在CL-Splats数据集上实现了25.7%的mIoU提升，相较于最强竞争者表现出显著优势。同时，在PASLCD基准测试中，PlenoCI保持了竞争力，证明了其在变化分类任务中的有效性。

🎯 应用场景

该研究的潜在应用领域包括自动驾驶、监控系统和环境监测等，能够有效识别和分类场景中的变化，提升系统的智能化水平。未来，PlenoCI可能在动态环境理解和人机交互等领域发挥重要作用，推动相关技术的发展。

📄 摘要（原文）

Radiance field representations such as 3D Gaussian Splatting (3DGS) natively encode complex visual phenomena such as occlusions and view dependence, but they are inherently underconstrained. Independently optimized reconstructions converge to different primitive configurations, even in unchanged regions. We introduce Plenoptic CharacterIstics (PlenoCI), a novel feature built from the plenoptic field these representations approximate. PlenoCI directly captures rich visual behaviors while ignoring Lambertian textures. By deriving closed-form analytic plenoptic derivatives from a 3DGS representation, we efficiently detect these 5D structures. Our approach is robust to underconstrained representations by construction, reporting two orders of magnitude fewer false positives between independent reconstructions of unchanged scenes than concurrent work. We demonstrate PlenoCI's utility on change classification. First, we detect changes with an instance-aware 3DGS pipeline, achieving state-of-the-art results on CL-Splats with a 25.7% mIoU gain over the strongest competitor, while remaining competitive on the more challenging PASLCD benchmark. Leveraging PlenoCI, we classify changes as geometric or appearance-based with a balanced accuracy of 0.735, comparable to the best performing baseline. We believe plenoptic derivatives and PlenoCI open new directions for view dependence aware understanding in visually complex environments. Code and data are available at https://js0n-lai.github.io/plenoci.