SARe: Structure-Aware Large-Scale 3D Fragment Reassembly
作者: Hanze Jia, Chunshi Wang, Yuxiao Yang, Zhonghua Jiang, Yawei Luo, Shuainan Ye, Tan Tang
分类: cs.CV
发布日期: 2026-03-23
备注: 18 pages, 4 figures
💡 一句话要点
提出结构感知重组(SARe)框架，解决大规模三维碎片重组中邻接关系推理的难题。
🎯 匹配领域: 支柱七：动作重定向 (Motion Retargeting)
关键词: 三维碎片重组 结构感知 接触建模 生成式模型 推理时细化
📋 核心要点
- 现有三维碎片重组方法在碎片数量增多时，由于接触关系推理不准确，容易出现级联错误，导致重组失败。
- SARe框架通过显式建模碎片间的接触关系，并结合生成式模型和推理时细化策略，提高了重组的稳定性和准确性。
- 实验结果表明，SARe在合成、模拟和真实断裂数据上均优于现有方法，尤其在大规模碎片重组中表现出更强的鲁棒性。
📝 摘要（中文）
本文提出了一种结构感知的重组框架(SARe)，用于恢复无序碎片点云或网格的刚性姿态，以重建完整形状。随着碎片数量的增加，该问题变得极具挑战性，因为目标形状未知且碎片提供的语义线索较弱。现有的端到端方法容易因不可靠的接触推理而导致级联失败，尤其是不准确的碎片邻接关系。SARe包含用于欧几里得空间组装生成的SARe-Gen和用于推理时细化的SARe-Refine，并显式地建模接触关系。SARe-Gen联合预测断裂表面token概率和碎片间接触图，以定位接触区域并推断候选邻接关系。它采用基于查询点的条件方案，并从冻结的几何编码器中提取查询位置对齐的局部几何token，从而产生可查询的结构表示，而无需额外的结构预训练。此外，引入推理时细化阶段SARe-Refine。通过几何一致性检查验证候选接触边，它选择可靠的子结构并重新采样剩余的不确定区域，同时保持已验证的部分固定，从而在多碎片情况下实现更稳定和一致的组装。在三个设置下评估SARe，包括合成断裂、扫描真实对象的模拟断裂和真实物理断裂扫描。结果表明，SARe具有最先进的性能，并且随着具有挑战性的大规模重组中碎片数量的增加，其性能下降更为平缓，成功率更高。
🔬 方法详解
问题定义：论文旨在解决大规模三维碎片重组问题，即给定一组无序的碎片点云或网格，如何恢复它们在原始物体中的相对姿态，从而重建出完整的物体形状。现有方法的痛点在于，当碎片数量较多时，由于缺乏全局信息和语义线索，接触关系的推理变得非常困难，导致重组结果出现级联错误，最终失败。
核心思路：论文的核心思路是显式地建模碎片之间的接触关系，并利用生成式模型预测碎片间的邻接关系。通过引入一个推理时细化阶段，对预测的邻接关系进行验证和修正，从而提高重组的稳定性和准确性。这种方法避免了直接预测碎片姿态，而是先确定碎片间的连接关系，再进行姿态估计，从而降低了问题的复杂度。
技术框架：SARe框架包含两个主要模块：SARe-Gen和SARe-Refine。SARe-Gen负责生成碎片间的邻接关系，它首先使用一个冻结的几何编码器提取每个碎片的局部几何特征，然后基于查询点机制预测断裂表面token概率和碎片间接触图。SARe-Refine则在推理时对SARe-Gen生成的邻接关系进行细化，通过几何一致性检查验证候选接触边，选择可靠的子结构，并重新采样剩余的不确定区域。
关键创新：论文的关键创新在于：1) 显式地建模碎片间的接触关系，避免了直接预测碎片姿态，降低了问题的复杂度；2) 提出了SARe-Gen和SARe-Refine两个模块，分别负责邻接关系的生成和细化，提高了重组的稳定性和准确性；3) 采用基于查询点的条件方案和冻结的几何编码器，实现了可查询的结构表示，无需额外的结构预训练。
关键设计：SARe-Gen使用Transformer网络预测断裂表面token概率和碎片间接触图。SARe-Refine使用几何一致性检查（如ICP）验证候选接触边，并根据验证结果选择可靠的子结构。损失函数包括断裂表面token预测损失和接触图预测损失。网络结构细节和参数设置在论文中有详细描述，例如Transformer的层数、隐藏层维度等。
🖼️ 关键图片
📊 实验亮点
SARe在三个不同的数据集上进行了评估，包括合成断裂、模拟断裂和真实物理断裂扫描。实验结果表明，SARe在所有数据集上均取得了最先进的性能。尤其是在大规模碎片重组中，SARe的性能下降更为平缓，成功率更高。例如，在真实物理断裂扫描数据集上，SARe的成功率比现有方法提高了显著百分比（具体数值未知）。
🎯 应用场景
该研究成果可应用于文物修复、考古学、计算机辅助设计、机器人操作等领域。例如，可以帮助考古学家自动重组破碎的文物碎片，恢复其原始形态；也可以用于机器人操作，使机器人能够自动组装由多个部件组成的复杂物体。此外，该技术还可以应用于3D打印，实现对复杂物体的拆解和重组。
📄 摘要（原文）
3D fragment reassembly aims to recover the rigid poses of unordered fragment point clouds or meshes in a common object coordinate system to reconstruct the complete shape. The problem becomes particularly challenging as the number of fragments grows, since the target shape is unknown and fragments provide weak semantic cues. Existing end-to-end approaches are prone to cascading failures due to unreliable contact reasoning, most notably inaccurate fragment adjacencies. To address this, we propose Structure-Aware Reassembly (SARe), a generative framework with SARe-Gen for Euclidean-space assembly generation and SARe-Refine for inference-time refinement, with explicit contact modeling. SARe-Gen jointly predicts fracture-surface token probabilities and an inter-fragment contact graph to localize contact regions and infer candidate adjacencies. It adopts a query-point-based conditioning scheme and extracts aligned local geometric tokens at query locations from a frozen geometry encoder, yielding queryable structural representations without additional structural pretraining. We further introduce an inference-time refinement stage, SARe-Refine. By verifying candidate contact edges with geometric-consistency checks, it selects reliable substructures and resamples the remaining uncertain regions while keeping verified parts fixed, leading to more stable and consistent assemblies in the many-fragment regime. We evaluate SARe across three settings, including synthetic fractures, simulated fractures from scanned real objects, and real physically fractured scans. The results demonstrate state-of-the-art performance, with more graceful degradation and higher success rates as the fragment count increases in challenging large-scale reassembly.