Player-1: Learning to Play from Synthetic Experience

📄 arXiv: 2610.20584v1 📥 PDF

作者: Mingyu Ouyang, Yiran Wang, Siyuan Hu, Xingyilang Yin, Huiqiang Sun, Guangzhi Wang, Junfu Pu, Cheng Cheng, Honghao Chen, Ying Shan, Mike Zheng Shou, Hwee Tou Ng

分类: cs.CV, cs.AI, cs.HC

发布日期: 2026-10-14

备注: Project Page: https://player-1-project.github.io/ and code: https://github.com/TencentARC/Player-1

💡 一句话要点

提出Player-1框架以解决游戏控制学习的挑战

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 游戏控制 合成经验 强化学习 多环境训练 动作空间扩展 计算机代理 智能代理

📋 核心要点

  1. 现有的游戏代理学习方法依赖于有限的演示数据，难以覆盖动态游戏状态，导致学习效果不佳。
  2. 本文提出Player-1框架，通过合成经验和扩展的动作空间，提升游戏控制能力，超越传统演示学习。
  3. 实验结果表明，Player-1-9B在MineDojo-300上的成功率达到38.33%，相比最强基线提升了25.7个百分点，展示了合成学习的有效性。

📝 摘要（中文）

计算机使用代理在屏幕解读和键鼠操作方面表现出色，但在视觉丰富且机制多样的游戏中仍面临挑战。现有的游戏代理学习方法依赖于大规模演示，覆盖动态游戏状态的能力有限。为此，本文提出Player-1框架，通过合成经验超越演示学习。我们扩展了计算机使用的动作空间，并在6,044条游戏轨迹上进行监督初始化。构建的Player-1-Gym包含16个合成环境，支持多环境强化学习。实验结果显示，Player-1-9B和Player-1-35B-A3B在MineDojo-300上的成功率分别提高了27.8和17.7个百分点，展示了合成经验在游戏控制中的显著提升。

🔬 方法详解

问题定义：本文旨在解决游戏控制学习中对动态状态覆盖不足的问题。现有方法主要依赖于大规模演示，导致在复杂游戏环境中的学习效果受到限制。

核心思路：提出Player-1框架，通过合成经验进行学习，扩展计算机使用的动作空间，包括相对指针运动、持续输入和复合动作，以增强学习的灵活性和适应性。

技术框架：整体架构包括监督初始化和多环境强化学习两个阶段。首先在6,044条游戏轨迹上进行模型微调，然后在Player-1-Gym中进行强化学习，支持多种合成环境的训练。

关键创新：最重要的创新在于通过合成经验提升游戏控制能力，尤其是引入复合动作的使用，使得代理能够同时执行多种键鼠输入，显著提高了学习效率。

关键设计：在模型训练中，采用了程序可验证的奖励机制和随机化的观察与控制动态，以支持多环境的强化学习。具体参数设置和损失函数设计未在摘要中详细说明，需参考原文获取更多技术细节。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，Player-1-9B在MineDojo-300上的成功率达到38.33%，相比最强基线的12.63%提升了25.7个百分点。此外，Player-1-35B-A3B的成功率也提高了17.7个百分点，验证了合成经验在游戏控制中的有效性。

🎯 应用场景

该研究的潜在应用领域包括游戏AI开发、自动化测试和人机交互系统。通过提升游戏控制能力，Player-1框架可以为游戏开发者提供更智能的代理，改善用户体验，并推动游戏设计的创新。未来，该方法也可能扩展到其他需要复杂控制的领域，如机器人控制和虚拟现实应用。

📄 摘要（原文）

Computer-use agents have demonstrated strong capabilities in interpreting screens and executing keyboard and mouse actions. However, games, with their visually rich worlds and diverse mechanics, remain challenging and offer a demanding next step toward general digital control. Current game-agent learning pipelines often rely on large-scale demonstrations with limited coverage of dynamic game states, while scalable environments for interactive training remain difficult to obtain. We introduce Player-1, a post-training framework for learning game control beyond demonstrations through synthetic experience. We extend the computer-use action space with relative pointer motion, sustained inputs, and composite actions. For supervised initialization, we fine-tune computer-use models on 6,044 curated gameplay trajectories that pair recorded actions with task instructions and visual reasoning. We construct Player-1-Gym, sixteen synthetic 2D and 3D environments designed around control demands shared across games. Programmatically verifiable rewards and randomized observations and control dynamics support multi-environment reinforcement learning with PPO. The resulting Player-1-9B and Player-1-35B-A3B improve MineDojo-300 success over their SFT policies by 27.8 and 17.7 percentage points, respectively. Player-1-9B reaches 38.33% success compared with 12.63% for the strongest evaluated baseline, with further gains over SFT on ViZDoom-10 and GameWorld. Further analyses show that broader synthetic environment coverage improves transfer, while the use of composite actions that combine multiple keyboard and mouse inputs increases during RL. We demonstrate that learning from synthetic experience substantially improves game control beyond supervised initialization, with gains that generalize beyond the RL training suite.