Self-Guided Plan Extraction for Instruction-Following Tasks with Goal-Conditional Reinforcement Learning

📄 arXiv: 2604.20601v1 📥 PDF

作者: Zoya Volovikova, Nikita Sorokin, Dmitriy Lukashevskiy, Aleksandr Panov, Alexey Skrynnik

分类: cs.AI, cs.CL

发布日期: 2026-04-22

💡 一句话要点

SuperIgor：基于自学习计划提取的指令跟随任务框架

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 指令跟随 强化学习 语言模型 自学习 计划提取 协同训练 机器人

📋 核心要点

  1. 现有指令跟随方法依赖预定义子任务，限制了灵活性和泛化能力，且需要大量人工标注。
  2. SuperIgor通过语言模型生成和改进高层计划，并使用强化学习智能体进行验证，实现自学习。
  3. 实验表明，SuperIgor在复杂环境中能更严格地遵循指令，并对未见指令表现出良好的泛化能力。

📝 摘要（中文）

本文提出SuperIgor，一个用于指令跟随任务的框架。与依赖预定义子任务的现有方法不同，SuperIgor使语言模型能够通过自学习机制生成和改进高层计划，从而减少了手动数据集标注的需求。该方法涉及迭代协同训练：强化学习（RL）智能体被训练以遵循生成的计划，而语言模型基于RL反馈和偏好来调整和修改这些计划。这创建了一个反馈循环，其中智能体和规划器共同改进。我们在具有丰富动态性和随机性的环境中验证了我们的框架。结果表明，SuperIgor智能体比基线方法更严格地遵循指令，同时也表现出对先前未见指令的强大泛化能力。

🔬 方法详解

问题定义：指令跟随任务旨在让智能体根据自然语言指令执行特定动作。现有方法通常依赖于预定义的子任务或动作序列，这限制了智能体的灵活性和泛化能力，并且需要大量的人工标注来构建这些子任务。此外，这些方法难以处理环境中的随机性和复杂动态。

核心思路：SuperIgor的核心思路是利用语言模型生成高层计划，并使用强化学习智能体来执行和验证这些计划。通过迭代协同训练，语言模型根据智能体的反馈不断改进计划，而智能体则学习更好地遵循这些计划。这种自学习机制减少了对人工标注的依赖，并提高了智能体在复杂环境中的适应能力。

技术框架：SuperIgor框架包含两个主要模块：语言模型（规划器）和强化学习智能体（执行器）。首先，语言模型根据给定的指令生成一个高层计划。然后，强化学习智能体尝试执行该计划。智能体的执行结果（例如，奖励信号）被反馈给语言模型，用于改进后续计划的生成。这个过程迭代进行，直到智能体能够成功地完成指令。

关键创新：SuperIgor的关键创新在于其自学习计划提取机制。与需要预定义子任务的传统方法不同，SuperIgor允许语言模型自主地生成和改进计划。这种方法不仅减少了对人工标注的依赖，而且提高了智能体在面对新的和复杂的指令时的适应能力。此外，通过强化学习的反馈，语言模型可以学习生成更易于执行的计划。

关键设计：SuperIgor的关键设计包括：1) 使用Transformer架构的语言模型作为规划器，负责生成高层计划；2) 使用强化学习算法（例如，PPO）训练智能体，使其能够根据计划执行动作；3) 设计合适的奖励函数，鼓励智能体遵循计划并完成指令；4) 使用迭代协同训练策略，交替训练语言模型和强化学习智能体，使它们能够相互适应和改进。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，SuperIgor智能体在指令遵循方面优于基线方法，尤其是在具有丰富动态性和随机性的环境中。SuperIgor智能体能够更严格地遵循指令，并且对先前未见过的指令表现出强大的泛化能力。具体性能数据和对比基线的提升幅度在论文中进行了详细展示。

🎯 应用场景

SuperIgor框架可应用于各种需要指令跟随的机器人任务，例如家庭服务机器人、自动驾驶和游戏AI。该框架的自学习能力使其能够适应不同的环境和指令，从而降低了开发和部署成本。未来，SuperIgor可以扩展到更复杂的任务，例如多步骤推理和协作任务。

📄 摘要（原文）

We introduce SuperIgor, a framework for instruction-following tasks. Unlike prior methods that rely on predefined subtasks, SuperIgor enables a language model to generate and refine high-level plans through a self-learning mechanism, reducing the need for manual dataset annotation. Our approach involves iterative co-training: an RL agent is trained to follow the generated plans, while the language model adapts and modifies these plans based on RL feedback and preferences. This creates a feedback loop where both the agent and the planner improve jointly. We validate our framework in environments with rich dynamics and stochasticity. Results show that SuperIgor agents adhere to instructions more strictly than baseline methods, while also demonstrating strong generalization to previously unseen instructions.