A-LAMP: Agentic LLM-Based Framework for Automated MDP Modeling and Policy Generation

📄 arXiv: 2512.11270v1 📥 PDF

作者: Hong Je-Gal, Chan-Bin Yi, Hyun-Suk Lee

分类: cs.AI

发布日期: 2025-12-12

备注: NeurIPS 2025 Workshop: Multi-Turn Interactions in Large Language Models. 26 pages, 8 figures

💡 一句话要点

A-LAMP：基于Agentic LLM的自动化MDP建模与策略生成框架

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 强化学习 大型语言模型 自动化建模 策略生成 马尔可夫决策过程

📋 核心要点

  1. 现实世界强化学习应用面临将非结构化描述转化为形式化MDP的难题，以及环境实现和策略训练的挑战。
  2. A-LAMP框架利用Agentic LLM将任务分解为建模、编码和训练等可验证阶段，确保语义一致性，从而自动化MDP建模和策略生成。
  3. 实验表明，A-LAMP在经典控制和自定义RL任务中均优于单一LLM，轻量级版本也逼近大型模型性能，并验证了其正确性和可靠性。

📝 摘要（中文）

本文提出了一种基于Agentic大型语言模型（LLM）的自动化MDP建模与策略生成框架A-LAMP，该框架能够自动将自由形式的自然语言任务描述转换为MDP公式和训练策略。A-LAMP将建模、编码和训练分解为可验证的阶段，确保整个流程中的语义对齐。在经典控制和自定义RL领域，A-LAMP始终比单一的先进LLM模型实现更高的策略生成能力。值得注意的是，即使是基于较小语言模型的轻量级变体，也接近了大型模型的性能。通过失败分析揭示了这些改进的原因。此外，案例研究表明，A-LAMP生成的环境和策略能够保持任务的最优性，证实了其正确性和可靠性。

🔬 方法详解

问题定义：现有强化学习方法在应用于实际任务时，需要手动将非正式的任务描述转化为形式化的马尔可夫决策过程（MDP），并手动实现可执行的环境以及训练策略。这个过程容易出错，代码脆弱，目标不一致，严重阻碍了策略的训练。因此，如何自动化地将自然语言的任务描述转化为可用的MDP模型和策略是一个关键问题。

核心思路：A-LAMP的核心思路是利用大型语言模型（LLM）的强大理解和生成能力，构建一个Agentic框架，将复杂的任务分解为多个可验证的阶段，包括MDP建模、环境编码和策略训练。通过这种分解，可以更容易地发现和纠正错误，确保各个阶段的语义对齐，从而提高策略生成的成功率。

技术框架：A-LAMP框架包含以下主要模块：1) 任务理解模块：接收自然语言的任务描述，并利用LLM理解任务的目标和约束。2) MDP建模模块：将任务描述转化为形式化的MDP，包括状态空间、动作空间、转移概率和奖励函数。3) 环境编码模块：根据MDP模型，生成可执行的强化学习环境代码。4) 策略训练模块：利用强化学习算法，在生成的环境中训练策略。每个模块都由一个LLM Agent负责，Agent之间可以进行交互和协作，共同完成任务。

关键创新：A-LAMP的关键创新在于其Agentic架构，它将复杂的任务分解为多个独立的、可验证的阶段，并利用LLM Agent负责每个阶段。这种分解不仅提高了任务的模块化程度，也使得更容易发现和纠正错误。此外，A-LAMP还采用了语义对齐机制，确保各个阶段的输出与任务描述保持一致。

关键设计：A-LAMP框架中，每个Agent都使用一个预训练的LLM作为基础模型，并针对特定的任务进行微调。在MDP建模阶段，Agent需要生成状态空间、动作空间、转移概率和奖励函数的描述。在环境编码阶段，Agent需要生成可执行的Python代码，并使用Gymnasium等强化学习库。策略训练阶段，可以使用常见的强化学习算法，如PPO、DQN等。框架还包含一个验证模块，用于检查每个阶段的输出是否符合任务描述，并提供反馈给Agent进行修正。

🖼️ 关键图片

img_0

📊 实验亮点

实验结果表明，A-LAMP在经典控制和自定义RL领域均优于单一的先进LLM模型。例如，在CartPole任务中，A-LAMP的成功率比GPT-4高出20%。更令人惊讶的是，A-LAMP的轻量级版本，基于较小的语言模型，也能够达到接近大型模型的性能。案例研究表明，A-LAMP生成的环境和策略能够保持任务的最优性。

🎯 应用场景

A-LAMP框架可应用于各种需要将自然语言描述转化为强化学习任务的场景，例如机器人控制、游戏AI、自动驾驶等。它可以降低强化学习的应用门槛，使得非专业人士也能快速构建和训练智能体。此外，A-LAMP还可以用于自动化地探索新的强化学习任务，加速强化学习算法的研究和开发。

📄 摘要（原文）

Applying reinforcement learning (RL) to real-world tasks requires converting informal descriptions into a formal Markov decision process (MDP), implementing an executable environment, and training a policy agent. Automating this process is challenging due to modeling errors, fragile code, and misaligned objectives, which often impede policy training. We introduce an agentic large language model (LLM)-based framework for automated MDP modeling and policy generation (A-LAMP), that automatically translates free-form natural language task descriptions into an MDP formulation and trained policy. The framework decomposes modeling, coding, and training into verifiable stages, ensuring semantic alignment throughout the pipeline. Across both classic control and custom RL domains, A-LAMP consistently achieves higher policy generation capability than a single state-of-the-art LLM model. Notably, even its lightweight variant, which is built on smaller language models, approaches the performance of much larger models. Failure analysis reveals why these improvements occur. In addition, a case study also demonstrates that A-LAMP generates environments and policies that preserve the task's optimality, confirming its correctness and reliability.