DemoBridge: A Simulation-in-the-Loop Toolkit for Single-View Human Demonstration Retargeting
作者: Zehao Wang, Fabien Despinoy, Sergey Zakharov, Tinne Tuytelaars, Rahaf Aljundi
分类: cs.RO
发布日期: 2026-07-10
备注: RSS 2026 RoboData Workshop
💡 一句话要点
提出DemoBridge以解决单视角人类示范重定向问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)
关键词: 机器人轨迹规划 人类示范重定向 物理验证 碰撞感知 自动化控制
📋 核心要点
- 核心问题：现有方法在将单视角人类示范转化为机器人轨迹时，面临碰撞体积和示范不准确等挑战。
- 方法要点：DemoBridge通过一个碰撞感知规划器，优化整个关节轨迹，确保动态稳定性和对示范的忠实度。
- 实验或效果：在三个真实示范任务上评估了整个管道重定向，展示了该方法的有效性和可行性。
📝 摘要（中文）
我们提出了DemoBridge，一个工具包，将单视角RGB立体记录的人手示范转化为可执行的、经过物理验证的机器人臂轨迹。跨越体现差距的重定向非常困难，机器人臂的目标到达需要考虑更复杂的碰撞体积。DemoBridge的核心是一个单一的碰撞感知规划器，它同时优化整个关节轨迹，考虑替代抓取姿势、全臂与抓取物体的碰撞以及对示范路径的忠实度。物理模拟器在循环中运行，实时验证每个阶段，并在失败时进行回溯，从而确保无法重现的示范能够重新规划。最终生成的动作序列在动态上稳定，并忠实于示范操作，同时也可作为政策学习的即用模拟回放。
🔬 方法详解
问题定义：论文要解决的问题是如何将单视角的人类示范有效转化为机器人臂的可执行轨迹。现有方法在处理机器人臂的复杂碰撞体积时常常无法找到无碰撞的逆向运动学解，导致示范的重定向效果不佳。
核心思路：DemoBridge的核心思路是通过一个单一的碰撞感知规划器来同时优化整个关节轨迹，考虑替代抓取姿势和碰撞情况，从而提高轨迹的可执行性和稳定性。
技术框架：DemoBridge的整体架构包括一个物理模拟器和一个碰撞感知规划器。物理模拟器实时验证每个生成的轨迹阶段，而规划器则负责优化关节轨迹，确保其在动态上稳定。
关键创新：DemoBridge的关键创新在于其单一的碰撞感知规划器，能够同时处理多种碰撞情况和抓取姿势的优化，与现有方法相比，显著提高了轨迹的可执行性和稳定性。
关键设计：在设计中，DemoBridge采用了动态回溯机制，允许在轨迹生成失败时进行重新规划，而不是简单丢弃示范。此外，抓取时机的自动推断和可配置的感知后端也增强了系统的灵活性。
🖼️ 关键图片
📊 实验亮点
在实验中，DemoBridge在三个真实示范任务上进行了评估，展示了其在轨迹重定向方面的有效性。与基线方法相比，DemoBridge在动态稳定性和示范忠实度上均有显著提升，验证了其在实际应用中的潜力。
🎯 应用场景
该研究的潜在应用领域包括机器人操作、自动化制造和人机交互等。通过将人类示范转化为机器人可执行的轨迹，DemoBridge能够提升机器人在复杂环境中的操作能力，具有广泛的实际价值和未来影响。
📄 摘要（原文）
We present DemoBridge, an toolkit that turns a single-view RGB stereo recording of a human hand demonstration into an executable, physics-validated robot-arm trajectory. Retargeting across the embodiment gap is hard. A robot arm reaches a target with a long, articulated body whose links carry far more collision volume than a hand. Solving inverse kinematics for the mapped end-effector pose often yields no collision-free solution, and a trajectory imposes this at every waypoint. A single view adds noise, leaving the demonstrated reference inaccurate. At the core of DemoBridge is a single collision-aware planner. It optimizes the whole joint trajectory at once, reasoning jointly over alternative grasp poses, whole-arm and grasped-object collision, and fidelity to the demonstrated path. A physics simulator runs in the loop. It validates each phase as it is produced and backtracks on failure, so a demonstration that cannot be reproduced as given is re-planned rather than discarded. The resulting action sequence is dynamically stable and faithful to the demonstrated manipulation. It also doubles as a ready-to-use simulation rollout for policy learning. Grasp timing is inferred automatically, and the perception backends, robot, and pipeline stages are swappable from configuration. We evaluate whole-pipeline retargeting on three real-demonstration tasks and the planner on a controlled synthetic benchmark. Our code is available at https://gitlab.kuleuven.be/u0123974/demo-bridge/ .