Reflection of Episodes: Learning to Play Game from Expert and Self Experiences

📄 arXiv: 2502.13388 📥 PDF

作者: Xiaojie Xu, Zongyuan Li, Chang Lu, Runnan Qi, Yanan Ni, Lumin Jiang, Xiangbei Liu, Xuebo Zhang, Yongchun Fang, Kuihua Huang, Xian Guo, Zhanghua Wu, Zhenya Li

分类: cs.AI

发布日期: 2026-04-07

💡 一句话要点

提出基于专家和自我经验反思的ROE框架，解决LLM在复杂星际争霸2环境中的学习问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 强化学习 大型语言模型 星际争霸2 情节反思 专家经验 自我经验

📋 核心要点

  1. 大型语言模型在复杂环境中学习面临挑战，需要有效的自我反思机制。
  2. ROE框架结合专家经验和自我经验，通过关键帧选择和情节反思提升决策能力。
  3. 实验证明，该方法在星际争霸2的TextStarCraft II环境中，能够战胜Very Hard难度的机器人。

📝 摘要（中文）

本文针对大型语言模型(LLM)在复杂环境中通过自我反思进行学习的问题，提出了一个基于专家经验和自我经验的“情节反思”(Reflection of Episodes, ROE)框架。该框架首先通过关键帧选择方法获取游戏中的关键信息，然后基于专家经验和自我经验做出决策。在完成一局游戏后，它会反思之前的经验以获得新的自我经验。实验结果表明，我们的方法在TextStarCraft II中击败了Very Hard难度的机器人。我们详细分析了LLM在游戏过程中的数据，验证了其有效性。

🔬 方法详解

问题定义：现有的大型语言模型在复杂、动态的实时战略游戏（如星际争霸2）中进行学习时，面临着探索空间巨大、奖励稀疏等问题。传统的强化学习方法难以有效利用专家经验和自我经验进行学习，导致训练效率低下，难以达到理想的性能。因此，如何有效地利用专家经验和自我经验，提升LLM在复杂环境中的学习能力是一个关键问题。

核心思路：本文的核心思路是提出一个“情节反思”（Reflection of Episodes, ROE）框架，该框架通过选择关键帧来提取游戏中的关键信息，并结合专家经验和自我经验进行决策。在游戏结束后，系统会对整个游戏过程进行反思，从而产生新的自我经验。这种反思机制能够帮助LLM更好地理解游戏过程，并从中学习到更有效的策略。

技术框架：ROE框架主要包含以下几个模块：1) 关键帧选择模块：用于从游戏过程中提取关键帧，减少信息冗余，提高决策效率。2) 决策模块：基于专家经验和自我经验，利用LLM进行决策。3) 情节反思模块：在游戏结束后，对整个游戏过程进行反思，生成新的自我经验。4) 经验存储模块：用于存储专家经验和自我经验，供后续学习使用。整个流程是，游戏进行时，关键帧选择模块提取信息，决策模块进行决策，游戏结束后，情节反思模块生成新的经验，并存储起来。

关键创新：ROE框架的关键创新在于引入了情节反思机制，使得LLM能够从自身的经验中学习，并不断提升决策能力。与传统的强化学习方法相比，ROE框架能够更有效地利用专家经验和自我经验，从而提高学习效率和性能。此外，关键帧选择模块也能够有效地减少信息冗余，提高决策效率。

关键设计：关键帧选择模块的具体实现方式未知，可能采用了某种基于重要性的采样方法。决策模块中LLM的具体结构和训练方式未知，但可能使用了某种预训练模型进行微调。情节反思模块的具体实现方式也未知，但可能使用了某种基于规则或模型的推理方法。经验存储模块可能使用了某种经验回放机制，用于存储和采样经验。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，提出的ROE框架在TextStarCraft II环境中能够击败Very Hard难度的机器人，验证了该方法的有效性。通过详细分析LLM在游戏过程中的数据，进一步证明了ROE框架能够帮助LLM更好地理解游戏过程，并从中学习到更有效的策略。具体的性能提升数据未知。

🎯 应用场景

该研究成果可应用于各种复杂环境下的智能决策问题，例如机器人导航、自动驾驶、智能制造等。通过结合专家经验和自我经验，并利用反思机制不断提升决策能力，可以有效解决这些领域中的挑战性问题。此外，该研究还可以促进大型语言模型在强化学习领域的应用，为开发更智能的AI系统提供新的思路。

📄 摘要（原文）

StarCraft II is a complex and dynamic real-time strategy (RTS) game environment, which is very suitable for artificial intelligence and reinforcement learning research. To address the problem of Large Language Model(LLM) learning in complex environments through self-reflection, we propose a Reflection of Episodes(ROE) framework based on expert experience and self-experience. This framework first obtains key information in the game through a keyframe selection method, then makes decisions based on expert experience and self-experience. After a game is completed, it reflects on the previous experience to obtain new self-experience. Finally, in the experiment, our method beat the robot under the Very Hard difficulty in TextStarCraft II. We analyze the data of the LLM in the process of the game in detail, verified its effectiveness.