STRIDE: A Tool-Assisted LLM Agent Framework for Strategic and Interactive Decision-Making

📄 arXiv: 2405.16376v2 📥 PDF

作者: Chuanhao Li, Runhan Yang, Tiankai Li, Milad Bafarassat, Kourosh Sharifi, Dirk Bergemann, Zhuoran Yang

分类: cs.CL, cs.GT

发布日期: 2024-05-25 (更新: 2024-05-28)

备注: 39 pages, 4 figures

💡 一句话要点

STRIDE：一种工具辅助的LLM Agent框架，用于战略和交互式决策

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 多智能体决策 战略决策 工具学习 记忆增强 交互式环境 机制设计

📋 核心要点

  1. 现有LLM在战略决策中面临数学推理弱、难遵循指令、易出错等挑战，限制了其在复杂交互环境中的应用。
  2. STRIDE框架通过为LLM配备记忆和专用工具，提升其在战略决策中的能力，使其能够更好地进行长期规划和对手预测。
  3. 实验表明，STRIDE框架显著提高了LLM在双边议价、多智能体和动态机制设计等经济环境中的战略决策能力。

📝 摘要（中文）

大型语言模型（LLMs），如GPT-4，已经彻底改变了自然语言处理领域，展现出卓越的语言能力和推理能力。然而，它们在战略性多智能体决策环境中的应用受到显著限制，包括较差的数学推理能力、难以遵循指令以及产生不正确信息的倾向。这些缺陷阻碍了它们在需要遵守细致的游戏规则、长期规划、未知环境探索以及预测对手行动的战略性和交互性任务中的表现。为了克服这些障碍，本文提出了一种新颖的LLM Agent框架，该框架配备了记忆和专用工具，以增强其战略决策能力。我们将这些工具部署在一些具有重要经济意义的环境中，特别是双边议价以及多智能体和动态机制设计。我们采用定量指标来评估该框架在各种战略决策问题中的性能。我们的研究结果表明，我们增强的框架显著提高了LLMs的战略决策能力。虽然我们强调了当前LLM模型的固有局限性，但我们通过有针对性的增强展示了改进，为LLM在交互式环境中的应用提供了有希望的未来发展方向。

🔬 方法详解

问题定义：论文旨在解决大型语言模型（LLMs）在战略性多智能体决策环境中表现不佳的问题。现有LLMs在数学推理、遵循指令和避免产生错误信息方面存在不足，导致其在需要长期规划、探索未知环境和预测对手行为的复杂交互任务中表现受限。

核心思路：论文的核心思路是为LLM配备记忆模块和专用工具，以增强其战略决策能力。通过记忆模块，LLM可以存储和检索历史信息，从而更好地进行长期规划。专用工具则可以帮助LLM进行数学计算、规则推理等特定任务，从而提高其决策的准确性和可靠性。

技术框架：STRIDE框架包含以下主要模块：1) 记忆模块：用于存储和检索历史信息，支持长期规划；2) 工具模块：包含各种专用工具，如数学计算器、规则推理引擎等，用于辅助决策；3) LLM Agent：负责接收输入、调用记忆模块和工具模块、生成决策。整个流程是，LLM Agent接收到环境信息后，首先查询记忆模块获取历史信息，然后根据任务需求调用相应的工具模块进行计算或推理，最后综合所有信息生成决策。

关键创新：STRIDE框架的关键创新在于将记忆模块和专用工具集成到LLM Agent中，使其能够更好地适应战略性多智能体决策环境。与传统的LLM Agent相比，STRIDE框架能够进行更准确的数学推理、更好地遵循指令，并减少错误信息的产生。

关键设计：工具模块的设计是关键。论文中使用了针对特定任务的工具，例如在双边议价任务中，使用了可以计算收益的工具。记忆模块使用了向量数据库来存储历史信息，并使用相似度搜索来检索相关信息。具体参数设置和网络结构等技术细节在论文中未详细说明，属于未知。

🖼️ 关键图片

img_0

📊 实验亮点

实验结果表明，STRIDE框架显著提高了LLM在战略决策任务中的性能。例如，在双边议价任务中，STRIDE框架能够更有效地达成协议，并获得更高的收益。具体性能提升数据未在摘要中给出，属于未知。

🎯 应用场景

该研究成果可应用于各种战略决策场景，如经济谈判、资源分配、博弈对抗等。通过提升LLM在这些场景中的决策能力，可以实现更高效、更公平的资源配置，并为自动化决策提供更可靠的基础。未来，该框架有望应用于智能合约、自动驾驶、机器人协作等领域。

📄 摘要（原文）

Large Language Models (LLMs) like GPT-4 have revolutionized natural language processing, showing remarkable linguistic proficiency and reasoning capabilities. However, their application in strategic multi-agent decision-making environments is hampered by significant limitations including poor mathematical reasoning, difficulty in following instructions, and a tendency to generate incorrect information. These deficiencies hinder their performance in strategic and interactive tasks that demand adherence to nuanced game rules, long-term planning, exploration in unknown environments, and anticipation of opponents' moves. To overcome these obstacles, this paper presents a novel LLM agent framework equipped with memory and specialized tools to enhance their strategic decision-making capabilities. We deploy the tools in a number of economically important environments, in particular bilateral bargaining and multi-agent and dynamic mechanism design. We employ quantitative metrics to assess the framework's performance in various strategic decision-making problems. Our findings establish that our enhanced framework significantly improves the strategic decision-making capability of LLMs. While we highlight the inherent limitations of current LLM models, we demonstrate the improvements through targeted enhancements, suggesting a promising direction for future developments in LLM applications for interactive environments.