Iterative Policy Refinement through Semantic Rollout Analysis

📄 arXiv: 2610.01652v1 📥 PDF

作者: Feiyu Gavin Zhu, Qi Xu, Zhifei Deng, Zhigang Hua, Luke Simon, Jean Oh, Reid Simmons

分类: cs.LG, cs.AI

发布日期: 2026-10-01

💡 一句话要点

提出闭环框架通过语义回滚分析迭代优化结构化策略

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 模仿学习 结构化策略 大语言模型 回滚分析 自动优化

📋 核心要点

  1. 现有的结构生成方法依赖大量人类输入或静态知识，导致与专家演示不一致，影响模仿学习效果。
  2. 本文提出的闭环框架通过LLM指导的回滚分析，自动识别并修正策略结构中的次优性，无需人类干预。
  3. 实验结果显示，提出的方法在多个任务中提升了模仿学习性能，并显著降低了计算资源需求。

📝 摘要（中文）

结构化策略通过引入任务特定的归纳偏置，提高了模仿学习的效率、鲁棒性和可解释性。然而，现有的结构生成方法依赖于大量人类输入或静态领域知识，这可能与专家演示不一致。本文提出了一种闭环框架，通过大语言模型（LLM）指导的策略回滚分析，迭代优化结构化策略。我们将回滚记录为语义上有意义的表格数据，并提示LLM生成诊断分析代码，从而识别策略结构中的次优性并进行迭代修正。实验结果表明，该方法在汽车赛车和开门任务中，模仿学习性能提高了15%，并且在实现相同的强化学习性能时，计算需求减少了75%。

🔬 方法详解

问题定义：本文旨在解决现有模仿学习中结构生成方法的不足，特别是依赖人类输入和静态知识的问题，这导致生成的策略可能与专家演示不一致。

核心思路：通过引入闭环框架，利用LLM对策略回滚进行语义分析，自动识别和修正策略结构中的次优性，从而提高模仿学习的效率和效果。

技术框架：整体框架包括数据记录、LLM分析和策略迭代优化三个主要模块。首先记录策略回滚数据，然后通过LLM生成诊断分析代码，最后根据分析结果迭代修正策略。

关键创新：本研究的主要创新在于通过语义回滚分析提供有效的反馈信号，自动生成与专家演示一致的策略结构，显著减少了对人类输入的依赖。

关键设计：在技术细节上，采用了表格数据记录策略回滚，设计了特定的提示语以引导LLM生成分析代码，确保分析的准确性和有效性。实验中还优化了计算资源的使用，达到更高的效率。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，提出的方法在汽车赛车和开门任务中，模仿学习性能提高了15%，并且在实现相同强化学习性能时，计算需求减少了75%。这些结果展示了语义回滚分析在优化策略结构中的有效性。

🎯 应用场景

该研究的潜在应用领域包括机器人控制、自动驾驶和人机交互等场景，能够有效提升模仿学习的性能和效率。未来，该方法有望在更广泛的任务中推广应用，推动智能系统的自主学习能力。

📄 摘要（原文）

Structured policies improve efficiency, robustness, and interpretability in imitation learning by introducing task-specific inductive bias, but existing structure generation methods rely either on extensive human input or on static domain knowledge encoded in LLMs, which may be inconsistent with the expert demonstrations. We propose a closed-loop framework that iteratively refines structured policies using LLM-guided analysis of policy rollouts. By logging rollouts as semantically meaningful tabular data and prompting the LLM to generate diagnostic analysis code, our method identifies suboptimalities in the policy structure and iteratively corrects them without requiring human instruction. Experiments on car racing and door opening tasks show that our approach improves imitation learning performance by up to 15% over zero-shot LLM-generated structures and requires 75% less compute to achieve the same reinforcement learning performance. These results demonstrate that tabular rollout analysis provides an effective feedback signal to align LLM-generated policy structures with expert demonstrations, and we can utilize it to generate good policy structures automatically.