From Actions to Words: Towards Abstractive-Textual Policy Summarization in RL

📄 arXiv: 2503.10509v3 📥 PDF

作者: Sahar Admoni, Assaf Hallak, Yftah Ziser, Omer Ben-Porat, Ofra Amir

分类: cs.LG

发布日期: 2025-03-13 (更新: 2026-01-08)

备注: In Proceedings of AAMAS 2026 (The 25th International Conference on Autonomous Agents and Multi-Agent Systems)

💡 一句话要点

提出SySLLM框架，利用大语言模型实现强化学习策略的抽象文本总结

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱八：物理动画 (Physics-based Animation) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 强化学习 策略解释 文本摘要 大语言模型 人机交互

📋 核心要点

  1. 现有强化学习解释方法依赖人工设计的演示，难以揭示智能体的全局策略。
  2. SySLLM将策略解释转化为语言生成问题，利用LLM生成智能体行为的抽象文本摘要。
  3. 实验表明，SySLLM生成的摘要与人类分析高度一致，且更受用户青睐。

📝 摘要（中文）

解释强化学习智能体极具挑战，因为策略源于复杂的奖励结构和难以被人理解的神经表征。现有方法通常依赖于精心设计的演示，这些演示展示了局部行为，但对智能体的全局策略提供的洞察有限，导致用户只能从原始观察中推断意图。我们提出了SySLLM（使用大型语言模型合成总结），该框架将策略解释重新定义为语言生成问题。SySLLM没有采用视觉演示，而是将时空轨迹转换为结构化文本，并提示LLM生成连贯的摘要，描述智能体的目标、探索风格和决策模式。SySLLM可以扩展到长时程、语义丰富的环境，而无需特定于任务的微调，利用LLM的世界知识和组合推理来捕获跨策略的潜在行为结构。专家评估显示与人类分析高度一致，一项大规模用户研究发现，75.5%的参与者更喜欢SySLLM摘要，而不是最先进的基于演示的解释。总之，这些结果将抽象文本总结定位为解释复杂强化学习行为的一种范例。

🔬 方法详解

问题定义：现有强化学习策略解释方法，例如行为克隆或逆强化学习，通常依赖于人工设计的演示或观察到的行为序列。这些方法虽然可以展示智能体的局部行为，但难以揭示其全局策略和潜在意图。用户需要从大量的原始观察中进行推断，这既耗时又容易出错。因此，如何有效地总结和解释强化学习智能体的策略，特别是对于长时程和复杂环境，是一个重要的挑战。

核心思路：SySLLM的核心思路是将强化学习策略解释问题转化为一个文本摘要生成问题。通过将智能体的时空轨迹转换为结构化文本，并利用大型语言模型（LLM）的强大语言理解和生成能力，SySLLM可以生成简洁、连贯且易于理解的策略摘要。这种方法避免了直接解释复杂的神经表征，而是利用LLM的世界知识和推理能力来捕捉策略的本质。

技术框架：SySLLM框架包含以下几个主要步骤：1) 轨迹转换：将智能体的时空轨迹转换为结构化文本，例如，将状态、动作和奖励信息编码为自然语言描述。2) LLM提示：设计合适的提示语，引导LLM生成策略摘要，包括智能体的目标、探索风格和决策模式等。3) 摘要生成：利用LLM生成策略摘要。4) 评估：通过专家评估和用户研究来评估摘要的质量和有效性。

关键创新：SySLLM的关键创新在于它将强化学习策略解释问题重新定义为一个文本摘要生成问题，并利用大型语言模型的强大能力来解决这个问题。与传统的基于演示的方法相比，SySLLM可以生成更抽象、更全面的策略摘要，而无需特定于任务的微调。此外，SySLLM还利用LLM的世界知识和组合推理能力来捕捉策略的潜在行为结构。

关键设计：SySLLM的关键设计包括：1) 轨迹转换方法：如何将时空轨迹有效地转换为结构化文本，以便LLM能够理解和处理。2) LLM提示语设计：如何设计合适的提示语，引导LLM生成高质量的策略摘要。3) LLM选择：选择合适的LLM，例如GPT-3或LaMDA，以获得最佳的摘要生成效果。4) 评估指标：使用哪些指标来评估摘要的质量和有效性，例如，与人类分析的对齐程度和用户偏好。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，SySLLM生成的摘要与人类分析高度一致，并且在用户研究中，75.5%的参与者更喜欢SySLLM摘要，而不是最先进的基于演示的解释。这表明SySLLM能够有效地解释强化学习智能体的策略，并提供更易于理解和接受的解释。

🎯 应用场景

SySLLM具有广泛的应用前景，例如，可以用于解释和调试强化学习智能体，帮助用户理解智能体的行为并发现潜在的问题。此外，SySLLM还可以用于教育和培训，帮助学生和研究人员更好地理解强化学习算法。在人机协作领域，SySLLM可以帮助人类更好地理解智能体的意图，从而实现更有效的协作。未来，SySLLM可以扩展到更复杂的环境和任务，例如，自动驾驶和机器人控制。

📄 摘要（原文）

Explaining reinforcement learning agents is challenging because policies emerge from complex reward structures and neural representations that are difficult for humans to interpret. Existing approaches often rely on curated demonstrations that expose local behaviors but provide limited insight into an agent's global strategy, leaving users to infer intent from raw observations. We propose SySLLM (Synthesized Summary using Large Language Models), a framework that reframes policy interpretation as a language-generation problem. Instead of visual demonstrations, SySLLM converts spatiotemporal trajectories into structured text and prompts an LLM to generate coherent summaries describing the agent's goals, exploration style, and decision patterns. SySLLM scales to long-horizon, semantically rich environments without task-specific fine-tuning, leveraging LLM world knowledge and compositional reasoning to capture latent behavioral structure across policies. Expert evaluations show strong alignment with human analyses, and a large-scale user study found that 75.5% of participants preferred SySLLM summaries over state-of-the-art demonstration-based explanations. Together, these results position abstractive textual summarization as a paradigm for interpreting complex RL behavior.