AssemState: Manual and Physical-State-Guided Reasoning for Zero-shot Furniture Assembly

📄 arXiv: 2610.08446v1 📥 PDF

作者: Zhiyuan Qi, Jierui Li, Yifan Shen, Cheng Qian, Jiateng Liu

分类: cs.AI

发布日期: 2026-10-06

💡 一句话要点

提出AssemState以解决零-shot家具组装中的空间推理问题

🎯 匹配领域: 支柱七：动作重定向 (Motion Retargeting) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 家具组装 空间推理 多模态学习 零-shot学习 物理状态引导

📋 核心要点

  1. 现有方法在家具组装中难以实现精确的3D空间推理，尤其是在物理环境交互方面存在挑战。
  2. 本文提出的AssemState框架通过锚点引导的边界组装状态和迭代反馈细化，解决了手册操作与物理状态的结合问题。
  3. 实验结果显示，AssemState在组装树恢复和部件操作的评估上均有显著提升，验证了其有效性。

📝 摘要（中文）

多模态大型语言模型（MLLMs）在视觉理解方面取得了显著进展，但与物理环境结合的精确3D空间推理仍然困难。家具组装不仅需要从图示手册中恢复逐步操作，还需将语义附加关系转化为6D姿态更新，以使部件与环境及已组装组件物理交互。为研究此问题，本文提出了AssemState，一个用于手动和物理状态引导的零-shot家具组装框架。该框架首先采用锚点引导的边界组装状态，将手册页面分解为单个部件操作，并恢复组装树。然后，通过迭代的后状态反馈细化来指导后续的SE(3)更新和修正，并通过基于仿真的释放测试验证其物理合理性。实验结果表明，与最强的先前基线相比，AssemState在组装树恢复的F1从38.58%提高到62.80%，树精确匹配从28.24%提高到53.92%。

🔬 方法详解

问题定义：本文旨在解决家具组装中的空间推理问题，现有方法在将图示手册与物理环境结合时存在不足，导致操作恢复和物理交互的准确性不足。

核心思路：AssemState框架的核心思路是通过锚点引导的边界组装状态，将手册内容分解为单个部件操作，并利用迭代反馈细化来实现物理状态的更新和修正。这样的设计旨在提高组装过程中的操作精度和物理合理性。

技术框架：该框架包括两个主要模块：首先是手册页面的分解与组装树的恢复，其次是基于仿真的后状态反馈细化。通过这两个模块的协同工作，AssemState能够有效地指导家具组装过程。

关键创新：AssemState的主要创新在于其零-shot学习能力和物理状态引导的迭代反馈机制，这与现有方法的单一依赖于手册指令的方式有本质区别。

关键设计：在设计中，采用了锚点引导的边界状态来分解操作，并通过SE(3)更新来实现姿态调整。此外，使用了仿真测试来验证物理合理性，确保生成的姿态在实际操作中可行。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，AssemState在组装树恢复的F1分数从38.58%提升至62.80%，树精确匹配率从28.24%提升至53.92%。在243个独立评估的部件操作中，迭代细化使得接受的操作从0%提高至5.3%，并将平均Chamfer距离从5.4111降低至1.7744，显示出显著的性能提升。

🎯 应用场景

该研究的潜在应用领域包括家具组装机器人、智能家居系统以及增强现实（AR）应用等。通过提高家具组装的自动化和准确性，AssemState能够显著提升用户体验，减少人工干预，推动智能家居技术的发展。

📄 摘要（原文）

Multimodal large language models (MLLMs) have made significant progress in visual understanding, but precise 3D spatial reasoning integrated with physical environment remains difficult. Furniture assembly requires not only recovering step-level operations from diagrammatic manuals, but also translating semantic attachment relations into 6D pose updates that enable parts to physically interact with the environment and previously assembled components. To study this problem, we propose AssemState, a zero-shot framework for manual and physical-state-guided furniture assembly. It firstly employs anchor-guided boundary assembly states to decompose manual pages into single-part operations and recover an assembly-tree. Then, it uses iterative after-state feedback refinement to guide successive (SE(3)) updates and corrections, and validates their physical plausibility through simulation-based release tests. Experiments show that compared with the strongest prior baseline, AssemState improves F1 from 38.58\% to 62.80\% and Tree Exact Match from 28.24\% to 53.92\% for assembly-tree recovery. On 243 independently evaluated part-level operations, our proposed iterative refinement improves judge-accepted operations from 0 to 5.3\% and reduces mean Chamfer distance from 5.4111 to 1.7744. However, visually plausible candidate poses may still suffer from collision, floating, mirror-orientation errors, incomplete seating, and wrong-side attachment. These results show that AssemState improves operation-structure recovery and selected local pose metrics, while MLLMs remain limited for spatial relationship reasoning.