Human Demonstrations as Post-Training Data for Any Robot Body: Retargeting the Object, Not the Hand
作者: Nagasrikanth Kallakuri
分类: cs.RO, cs.AI
发布日期: 2026-10-14
备注: 16 pages, 17 figures, 7 tables, 2 algorithms; 56-page supplement as ancillary file. A subset of episodes with their per-robot outcomes: https://playground.dxtr.co
💡 一句话要点
提出人类示范作为机器人后训练数据以解决目标重定向问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 人类示范 机器人后训练 目标重定向 任务导向训练 仿真评分
📋 核心要点
- 现有方法主要依赖于人类示范进行预训练，缺乏将这些数据有效应用于不同机器人身体的能力。
- 论文提出通过重定向对象的运动而非手部动作，利用人类示范作为后训练数据，解决机器人任务导向训练问题。
- 实验结果显示，在42个捕获样本中，8个机器人完成157对任务，31.2%的成功率，52.2%失败，14.0%拒绝，显示出方法的有效性与局限性。
📝 摘要（中文）
人类示范目前主要用于预训练视觉-语言-动作模型，缺乏将相同数据用于目标体现或任务导向训练的能力，这对机器人在工业和一般环境中的可扩展部署至关重要。通过简单的设备如手机记录的人类示范可以作为后训练数据，适用于与记录者身体结构和能力不同的机器人。该方法的关键在于重定向对象的运动，而非手部动作。捕获的数据提供了无身体的记录：对象的姿态随时间变化、接触间隔以及重建的3D对象。任何机器人在给定URDF和简短描述后，可以根据这些记录进行求解，并在仿真中与示范的对象运动进行评分。
🔬 方法详解
问题定义：论文要解决的问题是如何有效利用人类示范数据进行机器人后训练，尤其是当机器人身体结构与示范者不同的情况下。现有方法在这一点上存在局限，无法灵活适应不同的机器人平台。
核心思路：论文的核心思路是通过重定向对象的运动，而非手部动作，来实现人类示范数据的有效利用。这种方法使得机器人能够在不依赖于示范者身体特征的情况下，学习和执行任务。
技术框架：整体架构包括数据捕获、对象运动重定向、机器人求解和仿真评分四个主要模块。首先，通过简单设备记录人类示范，然后提取对象的运动数据，接着将这些数据应用于不同的机器人进行求解，最后在仿真环境中进行评分。
关键创新：最重要的技术创新点在于将人类示范数据转化为无身体的记录，允许任何机器人在不同的身体结构下进行学习和执行任务。这一方法与现有方法的本质区别在于不再依赖于手部运动的重定向。
关键设计：在参数设置上，使用URDF描述机器人，并通过简短描述进行求解。损失函数和网络结构的具体细节尚未公开，但实验结果表明，拒绝的案例与身体模型的准确性密切相关。
🖼️ 关键图片
📊 实验亮点
实验结果显示，在42个捕获样本中，8个机器人完成157对任务，成功率为31.2%，失败率为52.2%，拒绝率为14.0%。这些数据表明，尽管方法具有一定的有效性，但仍存在改进空间，尤其是在不同机器人模型的适应性方面。
🎯 应用场景
该研究的潜在应用领域包括工业机器人、服务机器人以及任何需要灵活适应不同操作环境的自动化系统。通过有效利用人类示范数据，机器人可以更快速地适应新任务，提高工作效率，降低人力成本，具有广泛的实际价值和未来影响。
📄 摘要（原文）
Human demonstrations are today used largely for pretraining vision-language-action models, with little ability to use the same data for target-embodiment or task-oriented training, which scalable deployment of robots in industrial and general environments depends on. A human demonstration recorded on a simple and scalable device such as a mobile phone can serve as post-training data for a robot whose body differs in structure and capability from the human who recorded it. This is made possible not by retargeting the hand's motion but the object's. A capture yields a body-free record: the object's pose over time, its contact intervals, and a reconstructed 3D object with provenance. Any robot, given as a URDF and a short descriptor, is solved against that record and scored in simulation against the demonstrated object motion as ground truth: the human-to-simulation leg of human-to-simulation-to-robot transfer, measured per robot. Each (robot, episode) pair gets one outcome: pass, failure with a named mode, or refusal, with its reason, before any motion. The method runs as a working system over a growing collection; the set analysed here is a sample of it: 42 captures solved on 8 robots, 157 pairs, of which 31.2% pass, 52.2% fail, 14.0% are refused and 2.5% are unauditable (kinematic feasibility, +/-50 mm / +/-15 deg, in simulation). Refusals held up: every pair the checks refuse on stored evidence yet ran anyway failed (13 of 13; 5 on a body whose public model welds its hand). A description file could not be shown to screen a robot: its outcomes were barely more predictable than guessing. No policy has yet been trained on the record. The record decides what a robot may post-train on; whether the policy then works on the real robot is the simulation-to-robot question, answered downstream.