Me, Myself, and AI: The Situational Awareness Dataset (SAD) for LLMs
作者: Rudolf Laine, Bilal Chughtai, Jan Betley, Kaivalya Hariharan, Jeremy Scheurer, Mikita Balesni, Marius Hobbhahn, Alexander Meinke, Owain Evans
分类: cs.CL, cs.AI, cs.LG
发布日期: 2024-07-05
备注: 11 page main body, 98 page appendix, 58 figures
💡 一句话要点
提出情境感知数据集SAD，用于评估大型语言模型（LLMs）的自我认知能力。
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 情境感知 自我认知 基准数据集 AI安全
📋 核心要点
- 现有大型语言模型缺乏对其自身和所处环境的清晰认知，这限制了其自主规划和行动能力。
- 论文构建情境感知数据集SAD，通过问答和指令跟随任务，量化评估LLM的自我认知能力。
- 实验结果表明，现有LLM在SAD上的表现远未达到人类水平，且情境感知能力与通用知识关联有限。
📝 摘要（中文）
本文提出了情境感知数据集（SAD），旨在量化大型语言模型（LLMs）的自我认知能力。SAD包含7个任务类别和超过13000个问题，通过问答和指令跟随的方式对LLMs进行行为测试。该基准测试了LLMs的多种能力，包括识别自身生成的文本、预测自身行为、判断提示来自内部评估还是真实部署，以及遵循依赖于自我认知的指令。研究人员在SAD上评估了16个LLMs，包括基础模型和聊天模型。结果表明，尽管所有模型都优于随机水平，但即使是表现最佳的模型（Claude 3 Opus）在某些任务上也远未达到人类水平。此外，SAD上的性能仅部分地由通用知识指标（如MMLU）预测。聊天模型在SAD上的表现优于其对应的基础模型，但在通用知识任务上则不然。SAD旨在通过将情境感知分解为可量化的能力，促进对LLMs情境感知的科学理解。情境感知对于增强模型的自主规划和行动能力至关重要，但也带来了与AI安全和控制相关的新风险。
🔬 方法详解
问题定义：论文旨在解决大型语言模型（LLMs）缺乏情境感知能力的问题。现有LLMs虽然在通用知识方面表现出色，但对其自身身份、所处环境以及自身行为的认知不足，这限制了它们在复杂任务中的应用。现有的评估方法难以有效衡量LLMs的自我认知能力，缺乏专门针对情境感知的基准数据集。
核心思路：论文的核心思路是通过构建一个专门的情境感知数据集（SAD），来量化评估LLMs的自我认知能力。SAD包含多种任务类型，旨在测试LLMs识别自身生成文本、预测自身行为、区分内部评估和真实部署环境，以及遵循依赖于自我认知的指令的能力。通过对LLMs在SAD上的表现进行评估，可以深入了解它们的情境感知水平。
技术框架：SAD数据集包含7个任务类别，每个类别都设计用于测试LLMs情境感知的不同方面。这些任务包括：(i) 识别自身生成的文本；(ii) 预测自身行为；(iii) 确定提示来自内部评估还是真实部署；(iv) 遵循依赖于自我认知的指令。数据集包含超过13000个问题，涵盖了多种场景和难度级别。研究人员使用SAD对16个LLMs进行了评估，包括基础模型和聊天模型。
关键创新：论文的关键创新在于提出了情境感知数据集（SAD），这是一个专门用于评估LLMs自我认知能力的基准数据集。SAD的设计考虑了LLMs情境感知的多个方面，并提供了丰富的测试用例。与现有的通用知识数据集相比，SAD更侧重于评估LLMs的自我认知能力，从而能够更准确地衡量它们的情境感知水平。
关键设计：SAD数据集的任务设计涵盖了多个维度，包括：(1) 自我识别：测试LLMs是否能够识别自己生成的文本，例如判断一段文本是否由自己生成；(2) 行为预测：测试LLMs是否能够预测自己在特定情境下的行为，例如预测自己会对某个问题给出什么样的回答；(3) 环境感知：测试LLMs是否能够区分内部评估和真实部署环境，例如判断当前是否处于测试阶段；(4) 指令跟随：测试LLMs是否能够遵循依赖于自我认知的指令，例如根据自己的身份选择不同的回答方式。
🖼️ 关键图片
📊 实验亮点
实验结果表明，即使是表现最佳的LLM（Claude 3 Opus）在SAD上的表现也远未达到人类水平，表明现有LLMs的情境感知能力仍有很大的提升空间。此外，SAD上的性能与通用知识指标（如MMLU）的相关性较低，表明情境感知能力与通用知识是不同的能力。聊天模型在SAD上的表现优于其对应的基础模型，但在通用知识任务上则不然，这表明针对AI助手的微调可以提高其情境感知能力。
🎯 应用场景
该研究成果可应用于开发更安全、更可靠的AI助手。通过提高LLMs的情境感知能力，可以增强其自主规划和行动能力，使其在自动化任务中发挥更大的作用。同时，该研究也有助于识别和缓解与AI安全和控制相关的新风险，例如防止LLMs被恶意利用。
📄 摘要（原文）
AI assistants such as ChatGPT are trained to respond to users by saying, "I am a large language model". This raises questions. Do such models know that they are LLMs and reliably act on this knowledge? Are they aware of their current circumstances, such as being deployed to the public? We refer to a model's knowledge of itself and its circumstances as situational awareness. To quantify situational awareness in LLMs, we introduce a range of behavioral tests, based on question answering and instruction following. These tests form the $\textbf{Situational Awareness Dataset (SAD)}$, a benchmark comprising 7 task categories and over 13,000 questions. The benchmark tests numerous abilities, including the capacity of LLMs to (i) recognize their own generated text, (ii) predict their own behavior, (iii) determine whether a prompt is from internal evaluation or real-world deployment, and (iv) follow instructions that depend on self-knowledge. We evaluate 16 LLMs on SAD, including both base (pretrained) and chat models. While all models perform better than chance, even the highest-scoring model (Claude 3 Opus) is far from a human baseline on certain tasks. We also observe that performance on SAD is only partially predicted by metrics of general knowledge (e.g. MMLU). Chat models, which are finetuned to serve as AI assistants, outperform their corresponding base models on SAD but not on general knowledge tasks. The purpose of SAD is to facilitate scientific understanding of situational awareness in LLMs by breaking it down into quantitative abilities. Situational awareness is important because it enhances a model's capacity for autonomous planning and action. While this has potential benefits for automation, it also introduces novel risks related to AI safety and control. Code and latest results available at https://situational-awareness-dataset.org .