How FaR Are Large Language Models From Agents with Theory-of-Mind?

📄 arXiv: 2310.03051v1 📥 PDF

作者: Pei Zhou, Aman Madaan, Srividya Pranavi Potharaju, Aditya Gupta, Kevin R. McKee, Ari Holtzman, Jay Pujara, Xiang Ren, Swaroop Mishra, Aida Nematzadeh, Shyam Upadhyay, Manaal Faruqui

分类: cs.CL, cs.AI

发布日期: 2023-10-04

备注: Preprint, 18 pages, 6 figures, 6 tables

💡 一句话要点

提出Thinking for Doing评估框架以解决LLMs的行动推理问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 心智理论 大型语言模型 社交推理 零-shot学习 行动选择 自然语言处理 智能助手

📋 核心要点

  1. 现有方法如ToMi未能有效测试模型在推断他人心理状态后如何进行实际行动，导致其在社交场景中的应用受限。
  2. 本文提出的Thinking for Doing (T4D)评估框架要求模型将心理状态推断与行动决策相结合，增强其在社交场景中的推理能力。
  3. 通过引入零-shot提示框架FaR，GPT-4在T4D上的表现从50%提升至71%，并在多种故事结构和场景中表现出色，超越了其他提示方法。

📝 摘要（中文）

人类能够通过观察推断他人的心理状态，这种能力称为心智理论（ToM）。现有的问答基准如ToMi虽然测试模型对角色信念的推断能力，但未能考察模型如何利用这些推断指导行动。本文提出了一种新的评估范式：Thinking for Doing (T4D)，要求模型将对他人心理状态的推断与社交场景中的行动联系起来。实验表明，尽管GPT-4和PaLM 2在跟踪故事角色信念方面表现出色，但在将此能力转化为战略行动时却面临挑战。为此，本文引入了一种零-shot提示框架Foresee and Reflect (FaR)，显著提升了GPT-4在T4D上的表现，从50%提升至71%。

🔬 方法详解

问题定义：本文旨在解决大型语言模型（LLMs）在社交场景中将心理状态推断转化为实际行动的能力不足。现有方法如ToMi仅关注信念推断，而未考虑如何利用这些推断进行有效行动。

核心思路：提出Thinking for Doing (T4D)评估框架，要求模型在推断他人心理状态后，能够进行相应的战略行动。为此，设计了零-shot提示框架Foresee and Reflect (FaR)，以帮助模型预见未来挑战并合理推理潜在行动。

技术框架：FaR框架包含两个主要模块：首先是对心理状态的推断模块，模型通过输入的社交场景信息进行推理；其次是行动选择模块，基于推断结果选择合适的行动。

关键创新：FaR的核心创新在于其零-shot提示机制，能够引导模型在没有明确询问的情况下，识别隐含的心理状态推断，从而做出更为合理的行动选择。这一设计与传统的提示方法如Chain-of-Thought和Self-Ask有本质区别。

关键设计：在FaR中，采用了特定的提示格式和结构，以增强模型的推理能力。通过调整损失函数和优化策略，使得模型在面对多样化的故事结构时，能够保持较高的推理准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，FaR框架显著提升了GPT-4在T4D评估中的表现，从50%提升至71%。此外，FaR在多种不同的故事结构和场景中均表现优异，超越了包括few-shot学习在内的其他方法。

🎯 应用场景

该研究的潜在应用领域包括社交机器人、智能助手和教育技术等。通过提升LLMs在社交场景中的推理和行动能力，可以增强人机交互的自然性和有效性，推动智能系统在复杂环境中的应用。

📄 摘要（原文）

"Thinking is for Doing." Humans can infer other people's mental states from observations--an ability called Theory-of-Mind (ToM)--and subsequently act pragmatically on those inferences. Existing question answering benchmarks such as ToMi ask models questions to make inferences about beliefs of characters in a story, but do not test whether models can then use these inferences to guide their actions. We propose a new evaluation paradigm for large language models (LLMs): Thinking for Doing (T4D), which requires models to connect inferences about others' mental states to actions in social scenarios. Experiments on T4D demonstrate that LLMs such as GPT-4 and PaLM 2 seemingly excel at tracking characters' beliefs in stories, but they struggle to translate this capability into strategic action. Our analysis reveals the core challenge for LLMs lies in identifying the implicit inferences about mental states without being explicitly asked about as in ToMi, that lead to choosing the correct action in T4D. To bridge this gap, we introduce a zero-shot prompting framework, Foresee and Reflect (FaR), which provides a reasoning structure that encourages LLMs to anticipate future challenges and reason about potential actions. FaR boosts GPT-4's performance from 50% to 71% on T4D, outperforming other prompting methods such as Chain-of-Thought and Self-Ask. Moreover, FaR generalizes to diverse out-of-distribution story structures and scenarios that also require ToM inferences to choose an action, consistently outperforming other methods including few-shot in-context learning.