E-M3RF: An Equivariant Multimodal 3D Re-assembly Framework

📄 arXiv: 2511.21422v1 📥 PDF

作者: Adeela Islam, Stefano Fiorini, Manuel Lecha, Theodore Tsesmelis, Stuart James, Pietro Morerio, Alessio Del Bue

分类: cs.CV

发布日期: 2025-11-26

💡 一句话要点

提出E-M3RF，一种用于多模态3D重组的等变框架，提升几何重建精度。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知 (Perception & SLAM)

关键词: 3D重组 多模态融合 等变网络 几何特征 颜色特征 SE(3)流匹配 文物修复

📋 核心要点

  1. 现有3D重组方法主要依赖几何特征，在处理几何信息不足或模糊的碎片时表现不佳。
  2. E-M3RF框架结合几何和颜色信息，利用等变网络提取旋转一致的几何特征，并使用Transformer编码颜色特征。
  3. 实验结果表明，E-M3RF在真实数据集上显著降低了重组误差，验证了多模态融合的有效性。

📝 摘要（中文）

本文提出了一种等变多模态3D重组框架E-M3RF，旨在解决仅依赖几何特征进行3D重组时遇到的困难，尤其是在处理小型、腐蚀或对称碎片时。E-M3RF以破碎碎片的点云（包含点位置和颜色）作为输入，并使用SE(3)流匹配预测重组所需的变换。每个碎片都由几何和颜色特征表示：3D点位置通过旋转等变编码器编码为旋转一致的几何特征，而每个3D点的颜色则使用Transformer进行编码。然后，将这两个特征集合并以形成多模态表示。在四个数据集（两个合成数据集Breaking Bad和Fantastic Breaks，以及两个真实世界文化遗产数据集RePAIR和Presious）上的实验表明，E-M3RF在RePAIR数据集上将旋转误差降低了23.1%，平移误差降低了13.2%，并且Chamfer距离减少了18.4%，优于其他方法。

🔬 方法详解

问题定义：现有的3D重组方法，尤其是基于深度学习的方法，过度依赖几何特征。当碎片较小、受到腐蚀或具有对称性时，仅凭几何信息难以准确重组。此外，现有方法通常不显式地施加物理约束，可能导致重叠的重组结果。

核心思路：E-M3RF的核心思路是将几何信息和颜色信息融合，形成多模态表示，从而提高重组的准确性和鲁棒性。通过引入颜色信息，可以有效区分几何相似但颜色不同的碎片，解决仅依赖几何特征时遇到的歧义性问题。同时，利用SE(3)流匹配，学习碎片之间的变换关系，实现精确重组。

技术框架：E-M3RF框架主要包含以下几个模块：1) 几何特征编码器：使用旋转等变网络提取每个碎片点云的几何特征，保证特征对旋转变换的鲁棒性。2) 颜色特征编码器：使用Transformer网络对每个3D点的颜色信息进行编码，提取颜色特征。3) 多模态特征融合：将几何特征和颜色特征进行融合，形成每个碎片的综合表示。4) SE(3)流匹配：利用融合后的特征，学习碎片之间的变换关系，预测重组所需的旋转和平移。

关键创新：E-M3RF的关键创新在于多模态特征融合和旋转等变几何特征提取。通过融合几何和颜色信息，可以有效提高重组的准确性和鲁棒性。旋转等变几何特征保证了特征对旋转变换的不变性，提高了模型的泛化能力。

关键设计：几何特征编码器采用等变卷积神经网络，保证特征的旋转不变性。颜色特征编码器使用Transformer网络，能够捕捉颜色信息之间的长程依赖关系。损失函数包括重组误差和物理约束项，其中物理约束项用于防止碎片重叠。

📊 实验亮点

E-M3RF在RePAIR数据集上取得了显著的性能提升，旋转误差降低了23.1%，平移误差降低了13.2%，Chamfer距离减少了18.4%。这些结果表明，多模态特征融合和旋转等变几何特征提取能够有效提高3D重组的准确性和鲁棒性。实验结果验证了E-M3RF在真实场景下的有效性。

🎯 应用场景

E-M3RF框架可应用于文物修复、考古学、机器人抓取等领域。在文物修复中，可以帮助专家将破碎的文物碎片进行精确重组，恢复其原始形态。在机器人抓取中，可以用于识别和重组散落在工作台上的零件，提高自动化装配的效率。该研究的未来影响在于推动三维重建技术的发展，为相关领域提供更可靠的解决方案。

📄 摘要（原文）

3D reassembly is a fundamental geometric problem, and in recent years it has increasingly been challenged by deep learning methods rather than classical optimization. While learning approaches have shown promising results, most still rely primarily on geometric features to assemble a whole from its parts. As a result, methods struggle when geometry alone is insufficient or ambiguous, for example, for small, eroded, or symmetric fragments. Additionally, solutions do not impose physical constraints that explicitly prevent overlapping assemblies. To address these limitations, we introduce E-M3RF, an equivariant multimodal 3D reassembly framework that takes as input the point clouds, containing both point positions and colors of fractured fragments, and predicts the transformations required to reassemble them using SE(3) flow matching. Each fragment is represented by both geometric and color features: i) 3D point positions are encoded as rotationconsistent geometric features using a rotation-equivariant encoder, ii) the colors at each 3D point are encoded with a transformer. The two feature sets are then combined to form a multimodal representation. We experimented on four datasets: two synthetic datasets, Breaking Bad and Fantastic Breaks, and two real-world cultural heritage datasets, RePAIR and Presious, demonstrating that E-M3RF on the RePAIR dataset reduces rotation error by 23.1% and translation error by 13.2%, while Chamfer Distance decreases by 18.4% compared to competing methods.