Ask more, know better: Reinforce-Learned Prompt Questions for Decision Making with Large Language Models
作者: Xue Yan, Yan Song, Xinyu Cui, Filippos Christianos, Haifeng Zhang, David Henry Mguni, Jun Wang
分类: cs.LG, cs.AI, cs.CL
发布日期: 2023-10-27 (更新: 2024-02-29)
💡 一句话要点
提出基于强化学习的提示问题以优化大语言模型决策
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 强化学习 决策优化 提示生成 思维链推理 机器人控制 复杂任务解决
📋 核心要点
- 现有方法依赖人工设计提示，导致CoT策略难以泛化，且需要人类干预以确保低级控制器正确处理推理。
- 提出了一种领导-跟随双层框架，能够自动学习相关提示并进行推理，从而优化行动策略的学习过程。
- 实验结果显示，该框架在五个决策任务中表现优异，超越了现有的领先方法，提升了决策性能。
📝 摘要（中文）
大型语言模型（LLMs）在解决复杂实际问题中展现出潜力，结合基于行动的策略与思维链（CoT）推理。然而，高质量的提示对框架的有效性至关重要，目前这些提示依赖大量人工劳动，导致CoT策略常常无法泛化。本文提出了一种综合训练框架，将人类先验知识融入行动策略的学习中，提出了一种新的领导-跟随双层框架，能够学习提出相关问题（提示），并随后进行推理以指导行动学习。实验结果表明，该框架在五个决策任务中优于现有方法。
🔬 方法详解
问题定义：本文旨在解决现有大型语言模型在复杂任务中依赖人工提示的问题，导致策略泛化能力差和低级控制器处理不当的痛点。
核心思路：提出了一种新的领导-跟随双层框架，通过学习提出相关问题（提示），并进行推理以指导行动策略的学习，从而提高决策的有效性。
技术框架：整体架构包括提示策略和行动策略两个主要模块。提示策略负责根据历史数据进行自我修正，而行动策略则学习理解和整合CoT输出以执行具体行动。
关键创新：最重要的创新在于引入了双层框架，使得模型能够在决策过程中动态生成提示，提升了推理的针对性和有效性，与传统的静态提示方法形成鲜明对比。
关键设计：在设计中，采用了特定的损失函数来优化提示生成和行动学习的协同效果，同时在网络结构上进行了调整，以支持双层学习机制。具体参数设置和网络架构细节在实验部分进行了详细描述。
🖼️ 关键图片
📊 实验亮点
实验结果表明，提出的框架在五个决策任务中均超越了现有的领先方法，具体表现为在Overcooked和FourRoom等任务中，决策性能提升显著，展示了该方法的有效性和实用性。
🎯 应用场景
该研究的潜在应用领域包括机器人决策、智能助手和复杂系统管理等。通过优化决策过程，该框架能够在动态环境中提供更高效的解决方案，具有重要的实际价值和未来影响。
📄 摘要（原文）
Large language models (LLMs) demonstrate their promise in tackling complicated practical challenges by combining action-based policies with chain of thought (CoT) reasoning. Having high-quality prompts on hand, however, is vital to the framework's effectiveness. Currently, these prompts are handcrafted utilising extensive human labor, resulting in CoT policies that frequently fail to generalise. Human intervention is also required to develop grounding functions that ensure low-level controllers appropriately process CoT reasoning. In this paper, we propose a comprehensive training framework for complex task-solving, incorporating human prior knowledge into the learning of action policies. To that purpose, we offer a new leader-follower bilevel framework that is capable of learning to ask relevant questions (prompts) and subsequently undertaking reasoning to guide the learning of actions. The prompt policy is employed to make introspective revisions based on historical findings, leading the CoT process to consider the anticipated goals and generate outputs that lead to decisive, high-performing actions. The action policy subsequently learns to comprehend and integrate the CoT outputs to take actions. Our empirical data reveal that our framework outperforms leading methods in $5$ decision-making tasks such as Overcooked and FourRoom.