Factorio Learning Environment

📄 arXiv: 2503.09617v1 📥 PDF

作者: Jack Hopkins, Mart Bakler, Akbir Khan

分类: cs.MA, cs.CL, cs.LG

发布日期: 2025-03-06

💡 一句话要点

提出Factorio学习环境FLE，用于评估LLM在长期规划、程序合成和资源优化方面的能力。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 强化学习 游戏环境 长期规划 资源优化 程序合成 自动化

📋 核心要点

  1. 现有LLM基准测试已接近饱和，缺乏对长期规划和复杂任务的有效评估。
  2. 提出Factorio学习环境（FLE），利用Factorio游戏评估LLM在资源优化、程序合成和长期规划能力。
  3. 实验表明，LLM在短视距任务中表现出潜力，但在复杂环境和长期规划中存在空间推理和误差分析的局限性。

📝 摘要（中文）

大型语言模型（LLM）正迅速饱和现有基准，因此需要新的开放式评估。我们引入了Factorio学习环境（FLE），它基于Factorio游戏，用于测试智能体在长期规划、程序合成和资源优化方面的能力。FLE提供了指数级扩展的挑战——从基本自动化到每秒处理数百万资源单元的复杂工厂。我们提供了两种设置：（1）实验室模式，包含八个具有固定资源的结构化任务；（2）开放模式，具有在程序生成地图上构建最大工厂的无界任务。我们在两种设置中都表明，模型仍然缺乏强大的空间推理能力。在实验室模式中，我们发现LLM表现出有希望的短视距技能，但无法在受限环境中有效运作，反映了误差分析的局限性。在开放模式中，虽然LLM发现了改进增长的自动化策略（例如，电力驱动的钻探），但它们未能实现复杂的自动化（例如，电子电路制造）。

🔬 方法详解

问题定义：现有的大型语言模型（LLM）在现有基准测试中表现出色，但这些基准测试往往无法充分评估LLM在长期规划、程序合成和资源优化等复杂任务中的能力。现有的评估方法缺乏开放性和可扩展性，难以衡量LLM在真实世界场景中的表现。

核心思路：本研究的核心思路是利用Factorio游戏作为LLM的学习和评估环境。Factorio提供了一个复杂、动态且可扩展的环境，其中智能体需要进行长期规划、资源管理和自动化生产，以实现特定的目标。通过在Factorio中训练和评估LLM，可以更全面地了解其在复杂任务中的能力。

技术框架：Factorio学习环境（FLE）包含两个主要设置：实验室模式（lab-play）和开放模式（open-play）。实验室模式包含八个结构化任务，资源固定，用于评估LLM在特定任务中的表现。开放模式提供了一个程序生成的地图，智能体的目标是构建尽可能大的工厂，用于评估LLM在长期规划和资源管理方面的能力。FLE提供了一套API，允许LLM与游戏环境进行交互，并观察游戏状态。

关键创新：本研究的关键创新在于将Factorio游戏作为LLM的学习和评估环境。与传统的基准测试相比，Factorio提供了一个更复杂、动态和可扩展的环境，可以更全面地评估LLM在长期规划、程序合成和资源优化等方面的能力。此外，FLE提供了两种不同的设置，可以分别评估LLM在特定任务和开放式任务中的表现。

关键设计：FLE使用Lua脚本来定义游戏环境和任务。智能体通过API与游戏环境进行交互，API提供了观察游戏状态、执行动作和接收奖励的功能。在实验中，研究人员使用了不同的LLM架构，并调整了模型的超参数，以优化其在Factorio中的表现。具体的参数设置和损失函数选择取决于所使用的LLM架构和任务目标。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，LLM在实验室模式的短视距任务中表现出一定的潜力，但在开放模式的复杂自动化任务中表现不佳，例如电子电路制造。虽然LLM能够发现一些改进增长的自动化策略（例如，电力驱动的钻探），但它们在空间推理和误差分析方面存在局限性，无法有效地在受限环境中运作。

🎯 应用场景

该研究成果可应用于开发更智能的自动化系统、资源管理系统和智能制造系统。通过在类似Factorio的复杂环境中训练LLM，可以提高其在现实世界中的问题解决能力和决策能力。此外，该研究还可以促进对LLM局限性的理解，并指导未来LLM架构和训练方法的设计。

📄 摘要（原文）

Large Language Models (LLMs) are rapidly saturating existing benchmarks, necessitating new open-ended evaluations. We introduce the Factorio Learning Environment (FLE), based on the game of Factorio, that tests agents in long-term planning, program synthesis, and resource optimization. FLE provides exponentially scaling challenges -- from basic automation to complex factories processing millions of resource units per second. We provide two settings: (1) lab-play consisting of eight structured tasks with fixed resources, and (2) open-play with the unbounded task of building the largest factory on an procedurally generated map. We demonstrate across both settings that models still lack strong spatial reasoning. In lab-play, we find that LLMs exhibit promising short-horizon skills, yet are unable to operate effectively in constrained environments, reflecting limitations in error analysis. In open-play, while LLMs discover automation strategies that improve growth (e.g electric-powered drilling), they fail to achieve complex automation (e.g electronic-circuit manufacturing).