From Gameplay to Policy: Towards Scalable Robot Data Collection via Gamified Robot-Free Interaction
作者: Zheng Li, Liang Zhu, Junzhe Wang, Huayuan Chen, Ziyun Liu, Jiahang Cao, Xinyu Sheng, Pei Qu, Yufei Jia, Ximeng Zhang, Jiarui Xie, Zizhao Yuan, Haoang Li, Yi Cai, Jinni Zhou, Jun Ma
分类: cs.RO
发布日期: 2026-09-16
备注: 9 pages, 6 figures
💡 一句话要点
提出Project Kitchen与Game2Policy以解决机器人数据收集的可扩展性问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱三：空间感知与语义 (Perception & Semantics) 支柱六：视频提取与匹配 (Video Extraction)
关键词: 机器人操作 数据收集 游戏化 虚拟现实 可用性线索 策略学习 人机交互
📋 核心要点
- 现有的数据收集方法依赖特定的机器人硬件，限制了众包和可转移性，且标注不完整，行为多样性不足。
- 提出Project Kitchen，通过游戏化的方式收集数据，激发多样化的操作行为，独立于具体机器人硬件。
- 实验结果显示，Game2Policy在少量真实机器人演示下，成功率在模拟环境中提高10.0个百分点，真实机器人上提高18.3个百分点。
📝 摘要（中文）
学习通用的机器人操作策略需要大规模和多样化的交互数据，但收集真实世界的演示成本高且难以扩展。现有的数据收集方法依赖特定的机器人硬件，限制了众包和可转移性，或存在标注不完整和行为多样性不足的问题。为此，本文提出了Project Kitchen，一个基于虚拟现实的游戏化数据收集平台，能够独立于特定机器人硬件，激发多样化的目标导向操作。为了缩小游戏与现实之间的差距，进一步引入Game2Policy，从游戏轨迹中提取与具体实现无关的可用性线索。实验结果表明，Game2Policy在模拟环境中提高了10.0个百分点，在真实机器人上提高了18.3个百分点，展示了游戏化虚拟环境作为可扩展操作知识来源的潜力。
🔬 方法详解
问题定义：本文旨在解决大规模和多样化的机器人操作数据收集问题。现有方法往往依赖特定硬件，导致众包和转移性受限，同时存在标注不完整和行为多样性不足的挑战。
核心思路：论文提出通过游戏化的虚拟现实平台Project Kitchen来收集数据，利用游戏的吸引力来激发用户的参与，从而获得丰富的操作数据。Game2Policy则用于将游戏中的操作经验转移到真实机器人上，提取与具体实现无关的可用性线索。
技术框架：整体架构包括两个主要模块：Project Kitchen作为数据收集平台，用户在其中进行操作；Game2Policy用于从收集到的游戏数据中提取可用性线索，并与真实机器人策略进行联合微调。
关键创新：最重要的创新在于将游戏化体验与机器人操作策略学习相结合，提出了Game2Policy来提取可用性线索，解决了游戏与现实之间的转移问题。
关键设计：在模型设计上，采用了预训练的可用性模型，并在少量真实机器人演示上进行联合微调。损失函数和网络结构的具体细节未在摘要中详细说明，需参考完整论文。
🖼️ 关键图片
📊 实验亮点
实验结果表明，Game2Policy在少量真实机器人演示下，成功率在模拟环境中提高了10.0个百分点，真实机器人上提高了18.3个百分点。这一显著提升展示了游戏化数据收集的有效性和可行性。
🎯 应用场景
该研究的潜在应用领域包括机器人操作、自动化制造、智能家居等。通过游戏化的数据收集方式，可以有效降低数据收集成本，提高数据的多样性和质量，推动机器人技术的广泛应用与发展。未来，类似的虚拟环境可能会成为机器人学习的重要平台。
📄 摘要（原文）
Learning generalizable robot manipulation policies requires large-scale and diverse interaction data, yet collecting real-world demonstrations remains costly and difficult to scale. Existing approaches to data collection are either dependent on specific robot hardware that limits crowdsourcing and transferability, or suffer from incomplete annotation and limited behavioral diversity. Inspired by how games sustain long-term human engagement, we explore an alternative paradigm that turns data collection into an engaging gameplay experience and transfers the resulting human manipulation experience to real robots. We present Project Kitchen, a VR-based gamified egocentric data collection platform that elicits diverse, goal-directed manipulation while remaining independent of specific robot embodiments and hardware, making it applicable to broader and potentially large-scale deployment. To bridge the game-to-real gap, we further introduce Game2Policy, which extracts embodiment-invariant affordance cues, including contact points and sub-goal states, from gameplay trajectories. An affordance model is pre-trained on game-collected data and then jointly fine-tuned with downstream policies using only a handful of real-robot demonstrations. Experiments show that Game2Policy improves average success rates by 10.0 points in simulation and 18.3 points on real robots in the few-shot setting. User studies and quantitative analyses further show that Project Kitchen promotes diverse manipulation behaviors and provides an engaging data collection experience. These results demonstrate the potential of gamified virtual environments as a scalable source of manipulation knowledge. The platform and code will be released upon acceptance.