Large Model Strategic Thinking, Small Model Efficiency: Transferring Theory of Mind in Large Language Models
作者: Nunzio Lore, Sepehr Ilami, Babak Heydari
分类: cs.CL, cs.AI, cs.CY, cs.ET, cs.GT
发布日期: 2024-08-05 (更新: 2024-10-30)
备注: 18 pages, 6 figures
💡 一句话要点
利用大模型思维，提升小模型效率：迁移大语言模型的心理理论
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 心理理论 知识迁移 大语言模型 模型微调 博弈论 社会互动 策略决策
📋 核心要点
- 大型语言模型在心理理论任务上表现出色，但部署成本高昂，需要探索更高效的替代方案。
- 通过将大型模型的推理能力迁移到小型模型，实现性能与效率的平衡，核心是利用大模型的输出来指导小模型的训练。
- 实验表明，微调后的小模型在心理理论任务上显著提升，甚至在未见过的场景中也能表现出良好的泛化能力。
📝 摘要（中文）
随着大型语言模型在策略性心理理论（ToM）任务上的性能持续提升，对这些最先进模型的需求也相应增加。然而，它们的部署在处理能力和时间方面都代价高昂。本文研究了通过微调创建更小、高性能的专用算法的可行性。为此，我们首先向一个大型预训练模型展示了20个独特的场景，这些场景将不同的社会背景与不同社会困境的博弈相结合，记录其答案，并将其用于对同一系列中较小模型的问答微调。我们的重点是上下文博弈论决策，即人类互动发生的同一领域，需要心理理论（或类似理论）以及对社会动态的理解。因此，较小的模型不仅接受所提供答案的训练，还接受较大模型提供的动机的训练，其中应包含指导战略困境和社会线索的建议和指导。我们发现，经过微调的较小语言模型始终弥合了该模型较小预训练版本与其较大版本之间的性能差距，并且其改进扩展到训练示例中提供的区域和上下文之外的区域和上下文，包括包含完全不同博弈结构的样本外场景。平均而言，对于所有博弈，通过微调，较小的模型表现出46%的改进，以与较大模型的行为对齐来衡量，其中100%代表无法区分的行为。当呈现样本外社会背景和博弈时，经过微调的模型仍然表现出显着水平的对齐，分别达到18%和28%的改进。
🔬 方法详解
问题定义：论文旨在解决大型语言模型（LLM）在需要心理理论（Theory of Mind, ToM）的策略性任务中表现出色，但计算成本高昂的问题。现有方法要么依赖于昂贵的LLM，要么使用小型模型但性能不足，无法有效处理复杂的社会互动和博弈论决策。
核心思路：论文的核心思路是通过知识迁移，将大型LLM的推理能力“蒸馏”到小型模型中。具体来说，利用大型LLM在特定任务上的输出（包括答案和推理过程）作为训练数据，对小型模型进行微调，使其能够模仿大型模型的行为和决策模式。这样可以在保证一定性能的前提下，显著降低计算成本。
技术框架：整体框架包含以下几个主要步骤： 1. 数据生成：设计包含不同社会背景和博弈论困境的场景，输入到大型预训练模型中，记录其输出（答案和动机）。 2. 模型选择：选择一个小型模型，属于与大型模型相同的家族，但规模较小，计算成本较低。 3. 微调：使用大型模型的输出作为训练数据，对小型模型进行问答式的微调。目标是让小型模型学习大型模型的推理过程和决策模式。 4. 评估：在训练集和测试集上评估小型模型的性能，测试其在不同场景下的泛化能力。
关键创新：该论文的关键创新在于利用大型模型的“动机”（即推理过程）作为训练信号，而不仅仅是答案。这使得小型模型不仅学习到如何回答问题，还学习到大型模型是如何思考和解决问题的。这种方法可以更有效地将大型模型的知识迁移到小型模型中，提高小型模型的性能和泛化能力。
关键设计：论文设计了20个独特的场景，涵盖不同的社会背景和博弈论困境。这些场景旨在测试模型在不同情况下的心理理论能力。微调过程中，使用了问答式的训练方式，将大型模型的输出作为问题的答案，小型模型的输出作为问题的预测。损失函数可能采用了交叉熵损失或其他适合问答任务的损失函数。具体参数设置未知。
🖼️ 关键图片
📊 实验亮点
实验结果表明，经过微调的小型模型在心理理论任务上的性能显著提升，平均提升幅度达到46%（以与大型模型的行为对齐程度衡量）。更重要的是，小型模型在未见过的场景中也表现出良好的泛化能力，在样本外社会背景和博弈中分别达到18%和28%的改进。这表明该方法能够有效地将大型模型的知识迁移到小型模型中，并提高小型模型的鲁棒性。
🎯 应用场景
该研究成果可应用于需要进行社会互动和策略决策的各种场景，例如：智能客服、社交机器人、谈判助手、游戏AI等。通过降低模型规模和计算成本，可以更容易地将这些技术部署到资源受限的设备上，并提高其响应速度和可用性。未来，该方法还可以扩展到其他领域，例如：医疗诊断、金融风险评估等。
📄 摘要（原文）
As the performance of larger, newer Large Language Models continues to improve for strategic Theory of Mind (ToM) tasks, the demand for these state-of-the-art models increases commensurately. However, their deployment is costly both in terms of processing power and time. In this paper, we investigate the feasibility of creating smaller, highly-performing specialized algorithms by way of fine-tuning. To do this, we first present a large pre-trained model with 20 unique scenarios that combine different social contexts with games of varying social dilemmas, record its answers, and use them for Q&A fine-tuning on a smaller model of the same family. Our focus is on in-context game-theoretic decision-making, the same domain within which human interaction occurs and that requires both a theory of mind (or a semblance thereof) and an understanding of social dynamics. The smaller model is therefore trained not just on the answers provided, but also on the motivations provided by the larger model, which should contain advice and guidelines to navigate both strategic dilemmas and social cues. We find that the fine-tuned smaller language model consistently bridged the gap in performance between the smaller pre-trained version of the model and its larger relative and that its improvements extended in areas and contexts beyond the ones provided in the training examples, including on out-of-sample scenarios that include completely different game structures. On average for all games, through fine-tuning, the smaller model showed a 46% improvement measured as alignment towards the behavior of the larger model, with 100% representing indistinguishable behavior. When presented with out-of-sample social contexts and games, the fine-tuned model still displays remarkable levels of alignment, reaching an improvement of 18% and 28% respectively.