Game-Guided Skill Discovery through Self-Play for Playable Agent Control

📄 arXiv: 2609.40137v1 📥 PDF

作者: Seungeun Rho, Jeonghwan Kim, Xue Bin Peng, Sehoon Ha

分类: cs.LG, cs.AI, cs.RO

发布日期: 2026-09-30

💡 一句话要点

提出游戏引导的技能发现框架以解决可玩代理控制问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 技能发现 自我对弈 可玩代理 机器人控制 人机交互 离散技能 行为学习

📋 核心要点

  1. 现有的无监督技能发现方法难以同时实现技能的语义独特性、可解释性和表现力，限制了其在实际应用中的有效性。
  2. GGSD框架通过自我对弈的方式，在竞争性游戏中发现可玩技能，使得代理能够通过离散技能进行控制，提升了技能的表达能力。
  3. 在Ant、Franka-arm和Unitree G1环境中，GGSD生成的可玩技能使得人类能够组合这些技能解决未见任务，且无需额外训练。

📝 摘要（中文）

我们提出了游戏引导的技能发现（GGSD）框架，该框架利用自我对弈在游戏中发现可由人类直接使用的运动技能。可玩技能为控制具身代理提供了一种紧凑的抽象，允许通过一小组学习到的行为而非低级动作进行控制。为了有效，这些技能应具有语义上的独特性、可解释性和表现力，而现有的无监督技能发现方法往往无法同时实现这些属性。GGSD通过在竞争性游戏中进行技能发现来实现这些目标。一个分层代理与其过去的自我进行竞争，高级策略从小的离散技能集中选择，而技能条件的低级策略学习相应的行为。经过训练后，人类可以替换高级策略，通过相同的离散技能直接控制代理。

🔬 方法详解

问题定义：本论文旨在解决现有无监督技能发现方法在语义独特性、可解释性和表现力方面的不足，导致生成的技能难以直接用于人类控制。

核心思路：GGSD框架的核心思路是通过自我对弈的竞争性游戏环境来引导技能发现，使得技能不仅可玩且具有较高的表达能力。通过这种方式，代理能够学习到更为复杂的行为组合。

技术框架：GGSD的整体架构包括一个分层代理系统，其中高层策略从离散技能集中选择技能，低层策略则根据选定技能学习相应的行为。代理通过与其历史版本进行竞争来进行训练。

关键创新：GGSD的主要创新在于将技能发现与自我对弈结合起来，使得技能不仅在语义上独特且可直接被人类使用，这与传统方法的低级动作控制形成了鲜明对比。

关键设计：在设计上，GGSD使用了离散技能集作为高层策略的输出，并通过技能条件的低层策略来学习具体行为。此外，损失函数的设计确保了技能的可玩性和表现力。整体网络结构采用分层设计，以便于技能的选择与行为的学习。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，GGSD在多个环境中生成的可玩技能使得人类能够有效组合这些技能解决未见任务，如Maze和CubePush，且无需额外训练。相较于传统方法，GGSD在技能的表达能力和可玩性上有显著提升。

🎯 应用场景

该研究的潜在应用领域包括机器人控制、游戏代理和人机交互等。通过提供可玩技能的发现机制，GGSD能够提升代理在复杂环境中的适应能力和灵活性，具有重要的实际价值和未来影响。

📄 摘要（原文）

We present Game-Guided Skill Discovery (GGSD), a framework that uses self-play in games to discover motor skills that are directly playable by humans. Playable skills provide a compact abstraction for controlling embodied agents through a small set of learned behaviors rather than low-level actions. To be effective, these skills should be semantically distinct, interpretable, and expressive; properties that existing unsupervised skill-discovery methods often fail to achieve simultaneously. GGSD achieves these desiderata by grounding skill discovery in competitive gameplay. A hierarchical agent competes against its past selves, with a high-level policy selecting from a small discrete skill set and a skill-conditioned low-level policy learning the corresponding behaviors. After training, a human can replace the high-level policy and directly control the agent through the same discrete skills. Despite the small number of high-level actions, skill transitions give rise to emergent combo behaviors, expanding expressivity beyond individual primitives. Across Ant, Franka-arm, and Unitree G1 environments, we show that GGSD produces human-playable skills that humans can compose to solve unseen tasks, such as Maze and CubePush, without additional training. An interactive demo is available at https://ggsd-demo.github.io.