Matisse: Evidence-Space Reasoning for Active 3D Reconstruction
作者: Xihang Yu, Kaichen Zhou, Lorenzo Shaikewitz, Clément Jambon, Xiao Zhan, Rajat Talak, Luca Carlone
分类: cs.CV, cs.RO
发布日期: 2026-09-30
备注: 20 pages, 7 figures, 7 tables. Project page: https://xihangyu630.github.io/matisse/
💡 一句话要点
提出Matisse以解决有限计算预算下的主动3D重建问题
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 主动3D重建 证据空间推理 关键帧选择 生成模型 不确定性估计
📋 核心要点
- 现有的主动视图获取方法在推理未见结构时存在局限性，且长时间重建方法常保留冗余观察。
- Matisse通过利用预训练的生成3D模型，提出了一种无训练的框架，统一了主动重建和关键帧选择。
- 在GSO30、YCB-V和Replica数据集上，Matisse分别减少了12.7%、3.8%和9.2%的Chamfer距离，并在GSO30上实现了1.50倍的端到端加速。
📝 摘要（中文）
如何在有限的计算预算下，从部分视图中获取和保留有用信息以理解场景几何？现有的主动视图获取方法通常仅估计已观察或实例化几何体的不确定性，限制了对未见结构的推理能力。本文提出Matisse，一个无训练的框架，通过利用预训练的生成3D模型提供的证据，统一了主动重建和关键帧选择。Matisse从与3D潜在标记相关的交叉注意证据中估计证据不确定性，并推导出证据信息增益，以指导视图获取和关键帧选择。Matisse支持多物体场景，通过考虑遮挡和物体平衡聚合来传播不确定性，从而避免在规划过程中进行完整重建。
🔬 方法详解
问题定义：本文旨在解决在有限计算预算下，如何从部分视图中有效获取和保留场景几何信息的问题。现有方法在推理未见结构时存在局限性，且长时间重建方法常保留冗余观察，导致效率低下。
核心思路：Matisse的核心思路是利用预训练的生成3D模型提供的证据，估计证据不确定性，并通过推导证据信息增益来指导视图获取和关键帧选择。这种设计使得系统能够在不进行完整重建的情况下，优化信息获取过程。
技术框架：Matisse的整体架构包括证据不确定性估计、证据信息增益推导、视图获取和关键帧选择等主要模块。通过交叉注意机制，系统能够有效整合多物体场景中的信息。
关键创新：Matisse的主要创新在于其无训练的框架和通过证据信息增益指导视图获取的能力。这与现有方法的本质区别在于，后者通常依赖于冗余观察或仅关注已观察的几何体。
关键设计：Matisse采用了遮挡感知和物体平衡聚合的设计，以支持多物体场景，并通过中间潜在标记传播不确定性，避免在规划过程中进行完整重建。
🖼️ 关键图片
📊 实验亮点
Matisse在GSO30、YCB-V和Replica数据集上分别减少了12.7%、3.8%和9.2%的Chamfer距离，相较于最佳基线显著提升。同时，在GSO30的端到端速度上，Matisse实现了1.50倍的加速，展示了其在效率和精度上的优势。
🎯 应用场景
Matisse的研究成果在机器人导航、自动驾驶、虚拟现实等领域具有广泛的应用潜力。通过高效的3D重建，系统能够在复杂环境中更好地理解和适应，从而提升智能体的决策能力和交互体验。未来，Matisse可能推动更高效的场景理解和人机协作技术的发展。
📄 摘要（原文）
How can a 3D reconstruction system acquire and retain useful information to understand the geometry of a scene from partial views under a limited computation budget? Existing active view acquisition methods typically estimate uncertainty over observed or instantiated geometry, limiting their ability to reason about unseen structure, while long-horizon reconstruction methods often retain redundant observations. We introduce Matisse, a training-free framework that unifies active reconstruction and keyframe selection by leveraging evidence provided by a pretrained generative 3D model. Matisse estimates Evidential Uncertainty from cross-attention evidence associated with 3D latent tokens and derives an Evidential Information Gain to guide both view acquisition and keyframe selection based on the expected reduction in posterior entropy. Matisse supports multi-object scenes through occlusion-aware, object-balanced aggregation and propagates uncertainty through intermediate latents to avoid full reconstruction during planning. Matisse reduces Chamfer distance by 12.7%, 3.8%, and 9.2% on GSO30, YCB-V, and Replica, respectively, relative to the best baseline on each dataset, and achieves a $1.50\times$ end-to-end speedup over the best active reconstruction baseline on GSO30 with the same reconstruction backend. In the GSO30 keyframe selection experiment for long-horizon reconstruction, Matisse achieves comparable Chamfer distance using 14% of the input views compared with Stream3D.