KODA: Kinematics--Observation Data Alignment for Humanoid Learning from Human Egocentric Demonstration
作者: Zibo Zhou, Yueru Chen, Junsong Wu, Weiji Xie, Qingyao Xu, Sheng Yin, Shiqing Wang, Jiyuan Shi, Siheng Chen, Chenjia Bai, Xuelong Li
分类: cs.RO
发布日期: 2026-10-15
💡 一句话要点
提出KODA以解决人类自我中心演示数据对齐问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱六：视频提取与匹配 (Video Extraction) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 类人机器人 自我中心演示 运动-观察对齐 视觉-语言-动作 数据重用 控制器适应
📋 核心要点
- 现有方法在使用人类自我中心演示时，面临视图不对齐和运动线索稀疏的问题，导致训练效果不佳。
- KODA通过生成标准轨迹来指导机器人视图合成，进而将自我中心演示转换为全身VLA训练数据，优化了控制器命令。
- 在四个Unitree G1任务中，KODA在缺乏机器人数据的情况下，成功率分别提升了45.0和46.25个百分点，显示出良好的扩展潜力。
📝 摘要（中文）
训练类人机器人全身视觉-语言-动作（VLA）策略需要昂贵的机器人演示，且需对齐机器人视图观察和控制器兼容的全身状态-动作标签。人类自我中心演示提供了可扩展的监督，但存在视图不对齐和运动线索稀疏的问题。现有方法要么预训练仍需机器人数据适应，要么生成特定控制器的命令，限制了重用。本文提出KODA（运动-观察数据对齐），将自我中心RGB演示转换为全身VLA训练数据，利用可重用的标准轨迹指导机器人视图合成并生成控制器特定的全身状态-动作监督。KODA在四个Unitree G1的运动-操作任务上进行了评估，结果显示在缺乏机器人数据的条件下，成功率提升了45.0和46.25个百分点。
🔬 方法详解
问题定义：本文旨在解决类人机器人在训练过程中，如何有效利用人类自我中心演示数据的问题。现有方法往往需要昂贵的机器人数据进行适应，且生成的命令往往限制了重用性。
核心思路：KODA的核心思路是通过生成可重用的标准轨迹，来指导机器人视图的合成，并生成与控制器兼容的全身状态-动作监督，从而实现人类演示数据的有效利用。
技术框架：KODA的整体架构包括几个主要模块：首先使用稀疏跟踪器生成经过模拟器验证的全身轨迹，然后根据该轨迹确定机器人摄像头的姿态，合成相应的机器人视图观察，最后优化控制器命令以跟踪存储的运动。
关键创新：KODA的最大创新在于其可重用的标准轨迹生成方法，使得在不同控制器之间切换时，能够保留标准记录并重新生成全身状态-动作监督，这一设计显著提高了数据的重用性。
关键设计：在KODA中，关键的参数设置包括稀疏跟踪器的优化策略和命令生成的损失函数设计，确保生成的轨迹与实际运动相符，同时保持高效的计算性能。
🖼️ 关键图片
📊 实验亮点
在四个Unitree G1的运动-操作任务中，KODA在缺乏机器人数据的条件下，成功率分别提升了45.0和46.25个百分点，显示出其在利用人类演示数据方面的显著优势。这一结果表明，KODA具有良好的扩展性和应用前景。
🎯 应用场景
KODA的研究成果在类人机器人领域具有广泛的应用潜力，尤其是在需要高效学习和适应人类行为的场景中。其方法可以用于机器人教育、家庭服务机器人以及工业自动化等多个领域，未来可能推动类人机器人技术的进一步发展与普及。
📄 摘要（原文）
Training humanoid whole-body vision-language-action (VLA) policies requires costly robot demonstrations with aligned robot-view observations and controller-compatible whole-body state-action labels. Egocentric human demonstrations offer scalable supervision but have misaligned views and sparse motion cues. Existing approaches either pretrain policies that still require robot data for adaptation or generate controller-specific commands that limit reuse. Conversion also requires robot-view observations aligned with the generated whole-body motion. We present KODA (Kinematics-Observation Data Alignment), which converts egocentric RGB demonstrations into whole-body VLA training data using a reusable canonical trajectory to guide robot-view synthesis and generate controller-specific whole-body state-action supervision. KODA first generates a simulator-checked whole-body trajectory using a sparse tracker with sampling-based command optimization. This generated trajectory directly determines the onboard camera poses used to synthesize corresponding robot-view observations. The motion, observations, and task instruction form a canonical record. For each deployment controller, KODA optimizes commands to track the stored motion and records the corresponding action labels and proprioceptive states. When switching controllers, KODA retains this canonical record and regenerates whole-body state-action supervision for co-training with matching robot demonstrations. We evaluate KODA on four Unitree G1 loco-manipulation tasks using two whole-body controllers, SONIC and HEFT. With robot data held fixed, macro-average success on conditions covered by human demonstrations but absent from robot data improves by 45.0 and 46.25 percentage points, respectively. Under both controllers, this metric shows an upward trend across the evaluated human-data budgets, suggesting potential for further scaling.