KINO: A Keyframe Interface for VLM Planning and Whole-Body Control in Humanoid Loco-Manipulation

📄 arXiv: 2609.18869v1 📥 PDF

作者: Sitong Chen, Fatemeh Zargarbashi, Jin Cheng, Tianxu An, Stelian Coros

分类: cs.RO

发布日期: 2026-09-16

💡 一句话要点

提出KINO框架以解决类人机器人运动控制与任务执行问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 类人机器人 运动控制 视觉-语言模型 强化学习 关键帧 任务规划 全身运动 机器人操作

📋 核心要点

  1. 现有方法在类人机器人运动控制中难以有效整合任务指令与场景信息，导致执行效率低下。
  2. 本文提出的KINO框架通过运动关键帧作为中介，连接视觉-语言模型与强化学习控制，提升了任务执行的协调性。
  3. 实验结果表明，KINO框架在物体拾取、运输和放置任务中，成功率从44%提升至92%，并能适应训练数据之外的放置位置。

📝 摘要（中文）

类人机器人在执行运动操作时，需要理解任务指令和场景语义，同时进行协调的全身运动。本文提出了一种层次化框架，利用运动关键帧作为视觉-语言模型（VLM）规划与强化学习（RL）控制之间的中介表示。每个关键帧指定一个目标全身机器人姿态，并在适用时指定一个物体姿态。在给定语言指令、场景观察和执行反馈的情况下，VLM从预定义库中选择连续的与任务相关的关键帧。所选关键帧被重新定向到当前场景，以考虑物体姿态和尺寸。关键帧条件的全身策略随后生成关节级别的动作以达到这些目标。我们引入了一种基于显著性的关键帧采样策略，显著提高了稀疏VLM关键帧下的任务成功率，从44%提升至92%。

🔬 方法详解

问题定义：本文旨在解决类人机器人在执行复杂运动任务时，如何有效理解任务指令与场景信息的问题。现有方法往往无法高效整合这些信息，导致机器人在执行任务时表现不佳。

核心思路：KINO框架的核心思路是使用运动关键帧作为视觉-语言模型（VLM）规划与强化学习（RL）控制之间的中介，确保机器人能够在执行任务时进行有效的全身运动协调。

技术框架：该框架主要包括三个模块：1) VLM选择关键帧，2) 关键帧重定向到当前场景，3) 关键帧条件的全身策略生成关节级别动作。整个流程从接收语言指令开始，经过场景观察和反馈，最终生成执行动作。

关键创新：本文的创新点在于引入了基于显著性的关键帧采样策略，显著提高了低级策略训练的效率，提升了任务成功率。这一方法与传统的直接动作生成方法有本质区别。

关键设计：在关键帧的选择和重定向过程中，考虑了物体的姿态和尺寸，确保生成的动作能够适应不同场景。此外，采用了特定的损失函数来优化关键帧的选择过程，增强了模型的泛化能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在实验中，KINO框架在物体拾取、运输和放置任务中的成功率从44%提升至92%，展现了显著的性能提升。此外，该系统能够成功执行单手和双手的操作，并且在放置位置上具有良好的泛化能力，超出了训练参考数据的范围。

🎯 应用场景

KINO框架在类人机器人领域具有广泛的应用潜力，尤其是在服务机器人、工业自动化和人机协作等场景中。其能够有效处理复杂的运动任务，提升机器人在动态环境中的适应能力，未来可能推动智能机器人在日常生活和工作中的普及。

📄 摘要（原文）

Humanoid loco-manipulation requires robots to interpret task instructions and scene semantics while executing coordinated whole-body motions. We propose a hierarchical framework that uses motion keyframes as an intermediate representation between Vision-Language Model (VLM) planning and Reinforcement Learning (RL) control. Each keyframe specifies a target whole-body robot pose and, when applicable, an object pose. Given a language instruction, scene observations, and execution feedback, the VLM selects successive task-relevant keyframes from a predefined library. The selected keyframes are retargeted to the current scene to account for object poses and dimensions. A keyframe-conditioned whole-body policy then generates joint-level actions to reach these goals. We introduce a saliency-based keyframe sampling strategy for low-level policy training that improves end-to-end task success rate from 44% to 92% when using sparse VLM keyframes. We evaluate our framework on object pickup, transport, and placement tasks in simulation and on a Unitree G1 humanoid. The system successfully performs both one- and two-handed manipulation and generalises to placement locations beyond the training reference data.