BiGym 2.0: Benchmarking Learned and Agent-Developed Policies for Humanoid Household Manipulation
作者: Zexi Zhang, Zecheng Zhu, Zidong Chen, Zulkhuu Tuya, Stephen James
分类: cs.RO, cs.LG
发布日期: 2026-10-06
🔗 代码/项目: GITHUB
💡 一句话要点
提出BiGym 2.0以解决类人机器人家庭操作的挑战
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 类人机器人 家庭操作 强化学习 模仿学习 多模态学习 虚拟现实 任务评估
📋 核心要点
- 现有的类人机器人在家庭操作中面临平衡和姿态变化的挑战，导致操作效率低下。
- BiGym 2.0通过统一的全身控制器和多摄像头视图，提供了一个全面的评估平台，支持多种学习方法的基准测试。
- 实验结果显示，视觉-语言-动作微调在九项任务中表现最佳，代理开发的程序在双手操作任务中优于其他基线方法。
📝 摘要（中文）
类人家庭操作需要机器人在平衡、步态和姿态变化的同时进行手臂操作。本文提出BiGym 2.0，针对Unitree G1的BiGym进行改进，涵盖20个家庭任务，采用统一的全身控制器进行演示和评估。该套件为每个任务提供60个本地人类虚拟现实演示，配有同步的多摄像头视图和全身执行记录。我们对视觉-语言-动作微调、模仿学习、演示驱动的强化学习和冷启动编码代理进行了基准测试。结果表明，视觉-语言-动作微调在九项任务中表现最佳，而代理开发的程序在每个演示驱动的强化学习基线中均表现优于平均水平，并在双手到达任务中领先。跨工作区堆叠仍然是一个开放问题，$π_{0.5}$在取箱任务中表现较低，而多物体运输对模仿学习、演示驱动的强化学习和编码代理来说都很困难。所有环境、人类演示和评估记录均已开源。
🔬 方法详解
问题定义：本文旨在解决类人机器人在家庭环境中进行操作时的平衡与姿态调整问题。现有方法在处理复杂任务时，往往无法有效协调身体和手臂的动作，导致操作失败或效率低下。
核心思路：BiGym 2.0通过引入统一的全身控制器和多视角的虚拟现实演示，提供了一个标准化的测试环境，以便于对不同学习方法的性能进行比较和评估。
技术框架：整体架构包括环境模拟、任务执行、数据采集和性能评估四个主要模块。环境模拟提供多种家庭任务场景，任务执行模块负责机器人操作，数据采集模块记录执行过程中的各种信息，性能评估模块则对结果进行分析。
关键创新：最大的技术创新在于引入了视觉-语言-动作微调的策略，使得机器人能够更好地理解和执行复杂的家庭操作任务。这一方法在多任务学习中表现出色，显著提高了操作的成功率。
关键设计：在参数设置上，采用了多种损失函数以优化不同任务的执行效果，网络结构则结合了卷积神经网络和递归神经网络，以处理视觉和语言信息的融合。
🖼️ 关键图片
📊 实验亮点
实验结果表明，视觉-语言-动作微调在九项任务中取得了最高的平均成绩，而代理开发的程序在双手到达任务中超越了所有演示驱动的强化学习基线，显示出显著的性能提升。
🎯 应用场景
该研究具有广泛的应用潜力，尤其是在智能家居和服务机器人领域。通过提升类人机器人的操作能力，未来可实现更高效的家庭服务和人机协作，推动智能家居技术的发展。
📄 摘要（原文）
Humanoid household manipulation requires the arms to act while the body balances, steps and changes posture. We present BiGym 2.0, an adaptation of BiGym for the Unitree G1 across 20 household tasks using a unified whole-body controller for demonstration and evaluation. The suite provides 60 native human virtual-reality demonstrations per task with synchronised multi-camera views and full-body execution records. We benchmark vision-language-action fine-tuning, imitation learning, demo-driven reinforcement learning, and cold-start coding agents given the interaction budget of online reinforcement learning. With the same onboard views, proprioception and whole-body controller for every method, vision-language-action fine-tuning has the highest nine-task mean, and agent-developed programs outperform every demo-driven reinforcement learning baseline on this mean and lead on bimanual reaching. Cross-workspace stacking remains open, $π_{0.5}$ stays low on pick-box, and multi-object transport is hard for imitation learning, demo-driven reinforcement learning and coding agents. All environments, human demonstrations, and evaluation traces are open-sourced at https://github.com/swirl-uk/BiGym2.