AffordCraft: Scalable Construction of Task-Ready Simulation Assets from Single Images
作者: Haoyun Yang, Xueyang Zhou, Ziyi Xie, Yongchao Chen
分类: cs.RO, cs.AI, cs.CV
发布日期: 2026-10-05
备注: 33 pages, 14 figures, 17 tables. Project page: https://affordcraft.github.io Code: https://github.com/AffordCraft/AffordCraft
💡 一句话要点
提出AffordCraft以解决机器人学习中的物体建模问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control)
关键词: 机器人学习 仿真资产 物体建模 检索方法 生成模型 物理有效性 资产库扩展
📋 核心要点
- 现有方法在处理每张图像时需要重新生成物体结构，效率低且稳定性差。
- AffordCraft通过检索方式，从单张图像和任务指令中构建物理有效的仿真资产，避免了生成模型的不足。
- 实验表明，AffordCraft在处理有效资产时的性能显著优于现有生成方法，且库的扩展性强。
📝 摘要（中文）
机器人在仿真中的学习依赖于模拟器提供的物体。许多任务需要具有独立部件、可运动关节和在接触下保持有效的物理属性的物体。现有方法对每张图像重新恢复这种结构，生成模型预测的部件和关节往往无法在仿真中稳定或移动，而通用代理需要对每张照片进行长时间的模型调用。AffordCraft通过检索而非生成，从单张RGB图像和任务指令构建这样的资产：它定位物体及其操作部件，从关节资产库中选择匹配条目，并在保持其部件和关节完整的同时将其适配到图像中。AffordCraft在31个类别的2000张照片中，有1703张生成了物理有效的资产，而五种生成方法最多只能处理45%的相同照片，且在中位数情况下需要10到78倍的GPU时间。将库从141个条目扩展到11372个条目无需更改方法，类别覆盖率从46%提升至100%，请求标签的选择比例从18%提升至51%。
🔬 方法详解
问题定义：论文要解决的问题是如何从单张图像中高效构建物理有效的仿真资产。现有方法在每张图像上都需要重新生成物体结构，导致效率低下且生成的部件和关节往往无法在仿真中有效使用。
核心思路：论文的核心解决思路是通过检索而非生成，利用单张RGB图像和任务指令来构建资产。具体而言，AffordCraft定位物体及其操作部件，并从一个预先构建的关节资产库中选择匹配条目，以确保生成的资产在物理上有效。
技术框架：整体架构包括三个主要模块：物体定位模块、关节资产检索模块和资产适配模块。物体定位模块负责识别图像中的物体，关节资产检索模块从库中选择合适的资产，资产适配模块则将选定资产与图像进行整合。
关键创新：最重要的技术创新点在于通过检索方式构建物理有效的资产，而不是依赖生成模型。这种方法显著提高了生成资产的稳定性和有效性，尤其是在处理复杂场景时。
关键设计：在设计中，AffordCraft采用了高效的检索算法以快速匹配资产，并确保所选资产的部件和关节在适配过程中保持完整。此外，论文中还提到了一些参数设置和损失函数的设计细节，以优化检索和适配过程。
🖼️ 关键图片
📊 实验亮点
实验结果显示，AffordCraft在处理2000张照片中成功生成了1703个物理有效的资产，而五种对比生成方法最多仅处理了45%的相同照片。扩展资产库后，类别覆盖率从46%提升至100%，请求标签的选择比例从18%提升至51%，显示出显著的性能提升。
🎯 应用场景
该研究的潜在应用领域包括机器人操作、虚拟现实和增强现实等场景。通过高效构建物理有效的仿真资产，AffordCraft可以显著提升机器人在复杂环境中的学习能力和适应性，推动智能机器人技术的发展。未来，该方法可能在自动化制造、智能家居等领域发挥重要作用。
📄 摘要（原文）
Robot learning in simulation depends on the objects the simulator offers. Many tasks need objects with separate parts, joints that allow the required motion, and physical properties that remain valid under contact. Existing methods recover this structure anew for every image: generative models predict parts and joints that mostly fail to settle or move in simulation, and general-purpose agents need a long session of model calls for each photograph. AffordCraft builds such an asset from a single RGB image and a task instruction by retrieval instead of generation: it locates the object and the part to operate, selects a matching entry from a library of articulated assets, and fits it to the image while keeping its parts and joints intact. Without any box or mask marking the object, AffordCraft produces a physically valid asset for 1,703 of 2,000 photographs from 31 categories. Five generative methods pass on at most 45% of the same photographs and, at the median, need 10 to 78 times our GPU time per valid asset. On 50 cluttered images, 162 of 237 annotated objects pass the same physical test after automatic detection. Growing the library from 141 to 11,372 entries needs no change to the method and raises category coverage from 46% to 100% and the share of selections with the requested label from 18% to 51%. We also build manipulation tasks from the constructed assets, both with single objects and in composed scenes; policies trained on scripted demonstrations complete both kinds of tasks from initial states unseen in training.