KinoGen: Customizable Humanoid Loco-Manipulation References via Kinematically Grounded Video Generation
作者: Qi Wu, Lulu Zhao, Sanghyun Hahn, Rishi Yennu, Emmy Yang, Dingqi Zhang, Tao Pang, Jiuguang Wang, Kuan Fang
分类: cs.RO
发布日期: 2026-10-14
🔗 代码/项目: PROJECT_PAGE
💡 一句话要点
提出KinoGen框架以生成可定制的人形运动操控参考
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱四：生成式动作 (Generative Motion)
关键词: 人形机器人 运动生成 视频生成 运动学基础 机器人操控 虚拟现实 人机交互
📋 核心要点
- 现有方法在生成可定制的人形运动操控参考时，常常依赖于人工体模代理或重定向，导致效率低下和准确性不足。
- KinoGen框架通过运动学基础的视频生成，结合目标机器人和物体的校准渲染，直接生成符合机器人配置空间的运动参考。
- 在八个运动操控任务中，KinoGen显著降低了渗透率和脚滑动率，同时保留了高达90%的接触点，展示了其优越的性能。
📝 摘要（中文）
我们提出了KinoGen框架，通过运动学基础的视频生成技术合成可定制的人形运动操控参考。KinoGen将预训练的视频生成器与目标机器人和物体的校准渲染相结合，生成的双视角视频通过拟合相同模型来恢复参考，从而确保参考在机器人配置空间内。该方法利用身体、手和物体的先验知识初始化重建，并通过跨视角证据的直接优化进行精细调整。用户可以指定目标物体姿态，围绕编辑的关键帧重新生成视频，获得精确满足姿态的参考。在八个运动操控任务中，KinoGen的渗透率和脚滑动率低于基于视频的方法，并保留了超过90%的标注接触点，其定制参考在渗透率上显著优于直接插值。
🔬 方法详解
问题定义：本论文旨在解决生成可定制的人形运动操控参考时，现有方法依赖人工体模代理或重定向所带来的效率和准确性问题。
核心思路：KinoGen框架通过运动学基础的视频生成技术，结合目标机器人和物体的校准渲染，生成符合机器人配置空间的运动参考，避免了传统方法的局限性。
技术框架：KinoGen的整体架构包括预训练视频生成器、校准渲染模块和双视角视频生成与拟合模块。用户可以通过编辑关键帧来指定目标物体姿态，系统会围绕该关键帧重新生成视频。
关键创新：KinoGen的主要创新在于其无需人工体模代理或重定向，直接在机器人配置空间内生成运动参考，显著提高了生成的效率和准确性。
关键设计：该框架利用身体、手和物体的先验知识初始化重建，并通过跨视角证据的直接优化来精细调整生成结果，确保生成的参考与用户指定的目标姿态一致。具体的损失函数和网络结构设计在论文中进行了详细描述。
🖼️ 关键图片
📊 实验亮点
KinoGen在八个运动操控任务中表现出色，渗透率和脚滑动率均低于视频基线方法，且保留了超过90%的标注接触点。与直接插值相比，其定制参考在渗透率上显著降低，展示了其在运动生成领域的优势。
🎯 应用场景
KinoGen框架在机器人技术、虚拟现实和人机交互等领域具有广泛的应用潜力。通过生成高质量的运动操控参考，能够提升机器人在复杂环境中的操作能力，增强用户体验，并推动智能机器人技术的发展。
📄 摘要（原文）
We present KinoGen, a framework that synthesizes customizable humanoid loco-manipulation references through kinematically grounded video generation. KinoGen conditions a pretrained video generator on calibrated renders of the target robot and object in a simulated task instance and recovers the reference by fitting the same models to the generated two-view video, so that the reference lies in the robot configuration space by construction without a human body proxy or retargeting. Body, hand, and object priors initialize the reconstruction, and direct optimization against cross-view evidence refines it. Since an edited keyframe is simply another rendered state, a user can prescribe a goal object pose, regenerate the video around the edited keyframe, and obtain a reference that satisfies the pose exactly. Across eight loco-manipulation tasks, KinoGen yields lower penetration and foot skating than video-based baselines and preserves over 90% of annotated contacts, and its customized references satisfy every prescribed target with substantially less penetration than direct interpolation. Tracking policies trained on the synthesized references are deployed on a Unitree G1 humanoid with dexterous hands. Project webpage: https://kinogen-humanoid.github.io/.