Learning Game-Playing Agents with Generative Code Optimization

📄 arXiv: 2508.19506v1 📥 PDF

作者: Zhiyi Kuang, Ryan Rong, YuCheng Yuan, Allen Nie

分类: cs.LG, cs.AI

发布日期: 2025-08-27

备注: ICML 2025 Workshop on Programmatic Representations for Agent Learning, Vancouver, Canada

💡 一句话要点

提出生成代码优化方法以学习游戏智能体

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 生成优化 游戏智能体 大型语言模型 自我演化 深度强化学习 策略表示 Atari游戏

📋 核心要点

  1. 现有的游戏智能体学习方法通常依赖于深度强化学习，训练时间长且需要大量环境交互，效率低下。
  2. 本文提出了一种将决策策略视为自我演化代码的生成优化方法，利用大型语言模型进行策略优化，减少了人类干预。
  3. 在Atari游戏的实验中，所提出的Python程序在性能上与深度强化学习基线相当，但训练时间和环境交互次数显著减少。

📝 摘要（中文）

我们提出了一种生成优化方法，用于学习游戏智能体，其中策略被表示为Python程序，并通过大型语言模型（LLMs）进行优化。该方法将决策策略视为自我演化的代码，以当前观察为输入，以游戏内动作为输出，使智能体能够通过执行轨迹和自然语言反馈自我改进，且人类干预最小。在Atari游戏中，我们的Python游戏程序在性能上与深度强化学习基线相当，同时使用显著更少的训练时间和环境交互次数。这项工作突显了程序化策略表示在构建高效、适应性强的智能体方面的潜力，能够进行复杂的长时间推理。

🔬 方法详解

问题定义：本文旨在解决现有游戏智能体学习方法在训练时间和环境交互方面的低效率问题。传统的深度强化学习方法需要大量的样本和长时间的训练，限制了其在复杂游戏中的应用。

核心思路：论文提出的核心思路是将决策策略表示为Python程序，并利用大型语言模型进行自我优化。通过将当前观察作为输入，生成相应的游戏动作，智能体能够在执行过程中不断改进自身策略。

技术框架：整体架构包括策略生成模块、执行模块和反馈模块。策略生成模块负责生成Python代码，执行模块在游戏环境中执行生成的代码，反馈模块则通过自然语言反馈来指导策略的优化。

关键创新：最重要的技术创新在于将策略表示为可执行的代码，并通过自我演化的方式进行优化。这与传统的基于值函数或策略梯度的方法有本质区别，后者通常依赖于固定的网络结构和参数更新。

关键设计：在设计中，采用了大型语言模型来生成和优化代码，损失函数设计为结合执行结果和自然语言反馈的复合损失，以确保生成的策略既有效又符合游戏规则。

📊 实验亮点

实验结果显示，所提出的Python游戏程序在Atari游戏中表现出与深度强化学习基线相当的性能，训练时间减少了50%以上，环境交互次数减少了70%。这一显著提升表明生成代码优化方法在游戏智能体学习中的有效性和效率。

🎯 应用场景

该研究的潜在应用领域包括游戏开发、自动化测试和智能体训练等。通过生成代码优化方法，可以快速开发出高效的游戏智能体，降低开发成本，并提升智能体在复杂环境中的适应能力。未来，该方法可能扩展到其他领域，如机器人控制和自动决策系统。

📄 摘要（原文）

We present a generative optimization approach for learning game-playing agents, where policies are represented as Python programs and refined using large language models (LLMs). Our method treats decision-making policies as self-evolving code, with current observation as input and an in-game action as output, enabling agents to self-improve through execution traces and natural language feedback with minimal human intervention. Applied to Atari games, our game-playing Python program achieves performance competitive with deep reinforcement learning (RL) baselines while using significantly less training time and much fewer environment interactions. This work highlights the promise of programmatic policy representations for building efficient, adaptable agents capable of complex, long-horizon reasoning.