ForceTwin: Physics-informed Digital Twins for Robotic Manipulation from Instrumented Human Interaction

📄 arXiv: 2609.21751v1 📥 PDF

作者: Tim Engelbracht, René Zurbrügg, Mayank Mittal, Marco Hutter, Marc Pollefeys, Hermann Blum, Zuria Bauer

分类: cs.RO, cs.AI

发布日期: 2026-09-18

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出ForceTwin以解决机器人操作中的物理特性识别问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control)

关键词: 数字双胞胎 机器人操作 物理特性识别 人机交互 动态估计 控制策略 机器学习

📋 核心要点

  1. 现有数字双胞胎方法无法有效识别物体的状态依赖性动力学，导致物理估计不准确。
  2. ForceTwin通过人机交互获取物体的动态信息，利用手持力传感器估计物理特性。
  3. 实验结果显示，ForceTwin在九个物体-体现对比中实现87%的目标完成率，显著优于传统方法。

📝 摘要（中文）

物体操作不仅需要理解其运动，还需掌握决定运动的物理特性。现有数字双胞胎方法主要恢复运动学或从视觉和语言先验中分配静态物理参数，导致物理估计不准确。本文提出ForceTwin系统，通过人机交互获取同步的姿态和作用力，估计关节、参数动力学及状态依赖机制力。ForceTwin显著提高了惯性参数的准确性，并在多种物体操作中表现出色，成功应用于实际的门穿越策略训练。

🔬 方法详解

问题定义：本文旨在解决现有数字双胞胎方法在物体操作中无法准确识别状态依赖性动力学的问题。现有方法主要依赖静态物理参数，导致物理估计不准确，无法反映物体的真实操作特性。

核心思路：ForceTwin通过人机交互，利用手持力传感器获取物体的姿态和作用力，从而估计物体的关节、参数动力学及状态依赖机制力。这种方法能够动态捕捉物体的物理特性，克服了传统方法的局限性。

技术框架：ForceTwin的整体架构包括数据采集模块（手持力传感器）、数据处理模块（姿态与作用力同步估计）、物理特性估计模块（关节与动力学参数估计）以及应用模块（用于控制策略训练）。

关键创新：ForceTwin的主要创新在于通过人机交互动态识别物体的物理特性，特别是状态依赖机制力的捕捉，这与传统静态参数方法有本质区别。

关键设计：在设计中，ForceTwin采用了结构化神经网络来捕捉状态依赖机制力，并通过优化损失函数来提高参数估计的准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，ForceTwin在九个物体-体现对比中实现了87%的目标完成率，相较于使用VLM先验的60%和仅依赖运动学的57%有显著提升，尤其在强机制物体的操作中表现突出。

🎯 应用场景

ForceTwin在机器人操作领域具有广泛的应用潜力，尤其是在需要精确控制和操作的场景，如工业自动化、服务机器人和智能家居等。通过提高物体操作的准确性和效率，该研究能够推动机器人技术的实际应用和发展。

📄 摘要（原文）

Manipulating objects requires understanding not only their motion, but also the physical properties that determine it. For articulated objects, these include inertia, friction, and mechanisms such as springs or door closers, whose effects can vary with configuration and velocity. Such properties are not directly observable from appearance: visually identical doors may require very different effort to manipulate. Existing digital-twin pipelines recover primarily kinematics or assign static physical parameters from visual and language priors, which can yield physically implausible estimates. As a result, state-dependent mechanism dynamics remain unidentified and are not represented in standard asset formats. We present ForceTwin, a system for identifying physics-informed digital twins of articulated objects from instrumented human interaction. A person probes an object using a handheld force-sensing gripper, providing synchronized poses and interaction forces from which we estimate the articulation, parametric dynamics including inertia, Coulomb friction, viscous damping, and a structured neural residual capturing state-dependent mechanism forces. ForceTwin nearly halves the inertial-parameter error of a VLM prior. As a feedforward dynamics model for impedance control on a Spot and a Franka FR3, ForceTwin achieves 87% goal completion across nine object-embodiment pairs, compared with 60% using VLM-prior and 57% using kinematics-only twins, with the largest gains on objects whose strong mechanisms cause both baselines to stall. We further use the identified twins to train whole-body door-traversal policies and deploy them in the real world. Project Page: https://timengelbracht.github.io/forcetwin-website/