Endowing GPT-4 with a Humanoid Body: Building the Bridge Between Off-the-Shelf VLMs and the Physical World

📄 arXiv: 2511.00041v1 📥 PDF

作者: Yingzhao Jian, Zhongan Wang, Yi Yang, Hehe Fan

分类: cs.RO, cs.AI

发布日期: 2025-10-28

💡 一句话要点

BiBo：赋予GPT-4人形躯体，连接VLM与物理世界

🎯 匹配领域: 支柱一：机器人控制 (Robot Control)

关键词: 人形机器人 视觉语言模型 具身智能 扩散模型 开放环境 指令编译器 运动执行器

📋 核心要点

  1. 现有方法依赖大量数据训练人形智能体，成本高昂且泛化性不足，难以应对开放环境的复杂交互。
  2. BiBo利用现成的VLM（如GPT-4）作为控制器，通过指令编译器和运动执行器实现人形智能体的控制。
  3. 实验结果表明，BiBo在开放环境中交互任务成功率达到90.2%，运动执行精度提升16.3%。

📝 摘要（中文）

人形智能体在开放环境中处理灵活多样的交互时常常面临挑战。一种常见的解决方案是收集海量数据集来训练高性能模型，但这种方法成本高昂。本文探索了一种替代方案：利用现成的视觉-语言模型（VLM，如GPT-4）来控制人形智能体，从而利用其强大的开放世界泛化能力来减少对大量数据收集的需求。为此，我们提出了BiBo（Building humanoId agent By Off-the-shelf VLMs）。它包含两个关键组件：（1）具身指令编译器，使VLM能够感知环境，并将高级用户指令（例如，“休息一下”）精确地转换为具有控制参数的低级原始命令（例如，“随意坐下，位置：（1，2），朝向：90°”）；（2）基于扩散的运动执行器，从这些命令生成类人运动，同时动态适应来自环境的物理反馈。通过这种方式，BiBo不仅能够处理基本交互，还能处理各种复杂运动。实验表明，BiBo在开放环境中实现了90.2％的交互任务成功率，并且文本引导的运动执行精度比现有方法提高了16.3％。代码将会开源。

🔬 方法详解

问题定义：现有的人形智能体控制方法通常需要大量的数据进行训练，这使得它们在开放环境中处理复杂和多样的交互时面临挑战。收集和标注这些数据成本高昂，并且训练出的模型泛化能力有限，难以适应新的环境和任务。因此，如何利用现有的、预训练的视觉-语言模型（VLM）来赋予人形智能体更强的泛化能力和交互能力是一个关键问题。

核心思路：BiBo的核心思路是利用现成的VLM（如GPT-4）的强大语言理解和推理能力，将其作为人形智能体的控制器。通过将高级用户指令转换为低级控制命令，并利用扩散模型生成类人运动，BiBo实现了人形智能体在开放环境中的灵活交互。这种方法避免了从头开始训练人形智能体控制器的需要，从而大大降低了数据收集和训练的成本。

技术框架：BiBo的整体框架包含两个主要模块：具身指令编译器和基于扩散的运动执行器。首先，具身指令编译器接收高级用户指令，并结合环境感知信息，将其转换为包含控制参数的低级原始命令。然后，基于扩散的运动执行器接收这些命令，并生成相应的类人运动。在运动执行过程中，运动执行器还会动态地适应来自环境的物理反馈，以确保运动的稳定性和自然性。

关键创新：BiBo的关键创新在于它将现成的VLM与人形智能体控制相结合，从而实现了人形智能体在开放环境中的灵活交互。与传统的基于数据驱动的方法相比，BiBo避免了大量的数据收集和训练，并且具有更强的泛化能力。此外，BiBo的具身指令编译器和基于扩散的运动执行器也具有一定的创新性，它们能够有效地将高级用户指令转换为低级控制命令，并生成类人运动。

关键设计：具身指令编译器使用提示工程（Prompt Engineering）技术，设计合适的提示语来引导VLM将高级指令分解为具体的动作参数。运动执行器使用扩散模型，通过学习大量的人体运动数据，生成自然流畅的运动。在训练过程中，使用了物理引擎来模拟环境的物理反馈，并设计了相应的损失函数来优化运动的稳定性和自然性。具体的参数设置和网络结构在论文中有详细描述。

📊 实验亮点

BiBo在开放环境中实现了90.2%的交互任务成功率，显著优于现有方法。与之前的文本引导运动执行方法相比，BiBo的运动执行精度提高了16.3%。这些结果表明，BiBo能够有效地利用现成的VLM来控制人形智能体，并在开放环境中实现灵活和自然的交互。

🎯 应用场景

BiBo具有广泛的应用前景，例如家庭服务机器人、医疗辅助机器人、教育机器人等。它可以帮助人们完成各种任务，例如清洁、烹饪、照顾老人和儿童等。此外，BiBo还可以应用于虚拟现实和增强现实等领域，为用户提供更加沉浸式的交互体验。未来，BiBo有望成为人们生活中不可或缺的一部分。

📄 摘要（原文）

Humanoid agents often struggle to handle flexible and diverse interactions in open environments. A common solution is to collect massive datasets to train a highly capable model, but this approach can be prohibitively expensive. In this paper, we explore an alternative solution: empowering off-the-shelf Vision-Language Models (VLMs, such as GPT-4) to control humanoid agents, thereby leveraging their strong open-world generalization to mitigate the need for extensive data collection. To this end, we present \textbf{BiBo} (\textbf{B}uilding humano\textbf{I}d agent \textbf{B}y \textbf{O}ff-the-shelf VLMs). It consists of two key components: (1) an \textbf{embodied instruction compiler}, which enables the VLM to perceive the environment and precisely translate high-level user instructions (e.g., {\small\itshape have a rest''}) into low-level primitive commands with control parameters (e.g., {\small\itshapesit casually, location: (1, 2), facing: 90$^\circ$''}); and (2) a diffusion-based \textbf{motion executor}, which generates human-like motions from these commands, while dynamically adapting to physical feedback from the environment. In this way, BiBo is capable of handling not only basic interactions but also diverse and complex motions. Experiments demonstrate that BiBo achieves an interaction task success rate of 90.2\% in open environments, and improves the precision of text-guided motion execution by 16.3\% over prior methods. The code will be made publicly available.