Humanoid Loco-Manipulation With Discrete VLA Model
作者: Wenxin Shao, Siqi Chai, Kun Li, Kerou Zhang, Xinzhou Jiang, Wei Xu, Qiang Liu
分类: cs.RO
发布日期: 2026-09-28
💡 一句话要点
提出Holo-M以解决类人机器人运动与操作的高维控制问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 类人机器人 视觉-语言-动作 高维控制 动作标记 实时推理 人机协作 自动化
📋 核心要点
- 现有的视觉-语言-动作模型未能有效应对类人机器人高维且异质的整体动作空间，导致标记化和实时推理的挑战。
- Holo-M通过设计统一的动作标记器，将类人动作空间分解为四个特定身体部位的标记器，从而实现跨不同数据源的训练。
- 在SIMPLE基准测试中，Holo-M在通用和专业评估中均取得最高成功率，显著领先第二名，展示了其优越的性能。
📝 摘要（中文）
使用离散动作标记的视觉-语言-动作（VLA）模型在机器人手臂控制任务中已显示出有效性。然而，对于类人机器人而言，整体动作空间的维度更高且异质，给标记化、训练和实时推理带来了挑战。本文提出Holo-M，这是首个针对类人运动-操作的离散VLA模型，通过扩展语言模型的词汇表来内在利用动作标记。该模型设计了一个统一的动作标记器，将类人动作空间分解为四个特定身体部位的标记器，支持不同的实施和数据源。通过分组离散扩散解码满足实时控制需求，Holo-M在SIMPLE基准测试中表现优异，成功率领先其他模型。
🔬 方法详解
问题定义：本文旨在解决类人机器人在运动与操作任务中的高维控制问题。现有的视觉-语言-动作模型未能有效处理类人机器人的整体动作空间，导致在标记化、训练和实时推理方面存在显著不足。
核心思路：Holo-M通过扩展语言模型的词汇表，引入动作标记，设计了一个统一的动作标记器，将类人动作空间分解为四个特定身体部位的标记器，从而实现更有效的训练和推理。
技术框架：Holo-M的整体架构包括统一的动作标记器、四个身体部位的特定标记器（末端执行器、身体、手和运动学），以及分组离散扩散解码模块，以满足实时控制需求。
关键创新：Holo-M的主要创新在于其统一的动作标记器设计，避免了使用独立的连续动作专家所带来的知识隔离问题，提升了模型的整体性能和适应性。
关键设计：在模型设计中，采用了分组离散扩散解码技术，而非传统的自回归方法，以提高实时控制的效率。同时，模型的训练数据来源多样，包括类人遥操作、以自我为中心的人类视频和仿真数据。
🖼️ 关键图片
📊 实验亮点
在SIMPLE基准测试中，Holo-M在通用和专业评估中均取得了最高成功率，领先第二名的表现幅度显著，展示了其在类人运动-操作任务中的卓越性能和有效性。
🎯 应用场景
Holo-M的研究成果在类人机器人领域具有广泛的应用潜力，尤其是在复杂的运动与操作任务中，如人机协作、服务机器人和自动化生产线等。其高效的控制能力和实时响应能力将推动机器人技术的进一步发展，提升人机交互的自然性和智能化水平。
📄 摘要（原文）
Vision-language-action (VLA) models using discrete action tokens have proven effective for controling robotic arms on manipulation tasks. For a humanoid, however, the whole-body action space -- legs, torso, arms, and hands -- is far higher-dimensional and heterogeneous, raising tokenization, training, and real-time inference challenges that the previous VLA models do not address. We present Holo-M, to our knowledge the first discrete VLA model for humanoid loco-manipulation that intrinsically exploits the language model by extending its vocabulary with action tokens. In this model, we devise a unified action tokenizer that decomposes the humanoid action space into four body-part-specific tokenizers -- end-effector, body, hand, and kinematics -- enabling training across drastically different embodiments and data sources, including humanoid teleoperation, ego-centric human video, and simulation. By extending the language model's vocabulary with these action tokens, we avoid the knowledge-insulation problem inherent to the models that use separate continuous action experts. To meet real-time control requirements, we decode each body part's action tokens through grouped discrete diffusion decoding, rather than using autoregression on the action tokens. We have conducted extensive experiments on the SIMPLE humanoid loco-manipulation benchmark, in which Holo-M achieves the highest success rates in both the generalist and specialist evaluations, leading the second best by significant margins. We will release all the code and model weights.