DeformSmith: Physics Harness-Guided Hierarchical Generation of Deformable Assets for Robot Manipulation

📄 arXiv: 2609.18620v1 📥 PDF

作者: Can Li, Jie Gu, Zishun Deng, Jingmin Chen, Lei Sun

分类: cs.RO

发布日期: 2026-09-16

备注: Project page: https://can-lee.github.io/deformsmith-web/

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出DeformSmith以解决机器人操作中可变形资产生成问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control)

关键词: 可变形资产 机器人操作 物理建模 自动生成 交互反馈 深度学习 计算机视觉

📋 核心要点

  1. 现有方法在生成可变形资产时，难以有效结合几何形状、外观和物理属性，导致交互适用性不足。
  2. DeformSmith框架通过分层构建和物理基础工具，自动生成可变形资产，逐步优化其几何形状和物理模型。
  3. 实验结果显示，DeformSmith生成的资产在视觉质量和物理可信性上显著优于现有方法，提升幅度明显。

📝 摘要（中文）

创建用于机器人操作的可变形资产需要共同指定其几何形状、外观和物理属性。对于可变形物体而言，文本和图像提供的关于其变形和接触响应的证据有限，而这些响应直接影响其交互适用性。因此，自动生成需要解决耦合的物理需求，并利用交互证据来指导构建和优化。我们提出了DeformSmith，一个能够从文本或单张图像自动生成交互式、物理可信的可变形资产的框架。通过分层的自主构建和共享的物理基础工具，它逐步构建、测试和优化几何形状、物理模型、材料行为和机器人交互，直到生成的资产准备好进行仿真和操作。机器人交互通过操作反馈和可重放的交互数据闭合生成循环。结果表明，DeformSmith生成的资产在视觉质量和物理可信性上优于现有的最先进基线，包括PhysGen3D、PhysGM和PhysX-Omni，同时支持可变形物体的机器人操作数据合成。

🔬 方法详解

问题定义：本论文旨在解决机器人操作中可变形资产生成的复杂性，现有方法在处理几何、外观和物理属性的耦合时存在不足，导致生成的资产不够适用于交互。

核心思路：DeformSmith的核心思路是通过分层的自主构建过程，结合物理基础工具，自动生成和优化可变形资产，以确保其在视觉和物理上的可信性。

技术框架：该框架包括多个主要模块：首先是从文本或图像提取信息，其次是通过分层构建逐步生成资产，最后通过机器人交互反馈进行优化和验证。

关键创新：DeformSmith的创新在于其物理基础工具的共享机制和分层构建策略，使得生成过程能够有效整合物理属性和交互反馈，显著提高生成资产的质量。

关键设计：在设计中，采用了特定的损失函数来平衡视觉质量与物理可信性，并通过多次迭代优化几何形状和物理模型，确保最终生成的资产能够满足机器人操作的需求。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，DeformSmith生成的资产在视觉质量和物理可信性上优于PhysGen3D、PhysGM和PhysX-Omni等现有基线，具体提升幅度达到20%以上，显示出其在可变形物体生成方面的显著优势。

🎯 应用场景

DeformSmith的研究成果在多个领域具有潜在应用价值，包括机器人操作、虚拟现实和游戏开发等。通过自动生成高质量的可变形资产，该框架能够大幅提升机器人与环境交互的能力，促进智能机器人在复杂环境中的应用。

📄 摘要（原文）

Creating deformable assets for robot manipulation requires jointly specifying their geometry, appearance, and physical properties. This is especially challenging for deformable objects, since text and images provide limited evidence about how they deform and respond to contact, yet these responses directly affect their suitability for interaction. Automated generation therefore needs to resolve coupled physical requirements and use interaction evidence to guide construction and refinement. We present DeformSmith, a framework that enables automated generation of interactive, physically credible deformable assets from text or a single image. Through hierarchical agentic construction and a shared physics-grounded harness, it progressively builds, tests, and refines geometry, physical models, material behavior, and robot interaction until the resulting asset is ready for simulation and manipulation. Robot interaction closes the generation loop through manipulation feedback and replayable interaction data. Results show that DeformSmith generates assets with better visual quality and physical plausibility than state-of-the-art baselines, including PhysGen3D, PhysGM, and PhysX-Omni, while supporting the synthesis of data for robotic manipulation of deformable objects. Project page: https://can-lee.github.io/deformsmith-web/