When Protection Overrides Consequences: Understanding Protection Mode in Large Language Model Decision-Making
作者: Yuanfan Li, Junyi Chen, Qi Zhou, Rui Yang, ZhangLiujie, Weihang Chen
分类: cs.AI
发布日期: 2026-10-14
备注: 21 pages. Code and data: https://github.com/AgentQ0/ProtectionBench
💡 一句话要点
提出保护模式以解决大型语言模型决策中的优先级问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 保护模式 大型语言模型 决策分析 风险评估 人机交互 智能助手 自动驾驶
📋 核心要点
- 核心问题：现有大型语言模型在简单决策中可能优先考虑保护而忽视更大的物理后果，导致决策不合理。
- 方法要点：论文提出了保护模式的概念，并通过ProtectionBench评估不同模型在决策中的表现，分析其选择背后的原因。
- 实验或效果：研究发现，某些模型在特定场景中优先选择主体的比例高达57.81%，并且引入“人或动物优先于财产”的规则显著提高了主体选择率。
📝 摘要（中文）
前沿语言模型在复杂任务中表现出色，但在简单且紧急的决策中可能会优先考虑保护而非更大的物理后果。例如，GPT-5.6 Sol在取回潜水相机之前，会先移动在浅水中玩耍的女孩。我们称之为保护模式，并通过ProtectionBench进行研究，包含285个提示、34个物理类别和九个模型。在最低努力下，至少有四个响应中有一个在34.74%的Sol提示和超过83%的MiniMax M3及Qwen3.5-27B提示中优先考虑主体；而四位独立人类评审中没有人这样做。控制实验显示，选择通常跟踪物理风险。我们在请求行动之前引导出风险，一些模型错误评估风险，另一些则正确排序但仍选择主体。
🔬 方法详解
问题定义：论文要解决的问题是大型语言模型在决策时可能优先考虑保护而忽视物理后果，导致不合理的选择。现有方法未能有效评估和处理这一现象。
核心思路：论文提出“保护模式”的概念，通过分析模型在不同场景下的决策行为，探讨模型如何在保护与物理风险之间做出选择。设计的目的是为了揭示模型决策中的潜在偏差。
技术框架：整体架构包括数据收集、模型评估和决策分析三个主要模块。使用ProtectionBench进行285个提示的评估，涵盖34个物理类别和九个模型。
关键创新：最重要的技术创新点在于引入了“保护模式”这一新概念，并通过系统的实验验证了不同模型在决策中的表现差异，揭示了模型选择背后的逻辑。
关键设计：在实验中，设置了多种风险评估机制，使用了不同的提示和场景来测试模型的反应。特别是引入了“人或动物优先于财产”的规则，显著影响了模型的选择行为。
🖼️ 关键图片
📊 实验亮点
实验结果显示，在最低努力下，Sol模型中34.74%的提示优先考虑主体，而Qwen3.5-27B模型中这一比例超过83%。引入“人或动物优先于财产”的规则后，主体选择率提升了19-38个百分点，显示出显著的决策改善。
🎯 应用场景
该研究的潜在应用领域包括自动驾驶、机器人决策和智能助手等场景，能够帮助优化模型在紧急情况下的决策能力，确保人类安全和物理财产的合理保护。未来，研究结果可能推动更智能的决策系统的发展，提升人机交互的安全性和有效性。
📄 摘要（原文）
Frontier language models excel at complex tasks yet may prioritize protection over larger physical consequences in simple, urgent decisions. GPT-5.6 Sol, for example, moves a girl playing in shallow water before retrieving a submerged camera. We call this Protection Mode and study it with ProtectionBench: 285 prompts, 34 physical families, and nine models. At lowest effort, at least one of four responses prioritizes the subject on 34.74% of Sol prompts and over 83% of MiniMax M3 and Qwen3.5-27B prompts; none of four independent human raters does so. Controls show that choices usually track physical risk. We elicit both risks before requesting an action. Some models assess risk incorrectly; others state the correct ordering but still choose the subject. Qwen3.5-27B with thinking shows 100% correct risk ordering but 57.81% subject choice among eligible conversations on eight selected scenes. Attention audits find no stable reduction in attention to relevant facts; removing the stated risk direction reduces object-first choice in dots3-note-prev but not detectably in Qwen3.5-27B. Adding a general "people or animals before property" rule increases subject choice by 19-38 percentage points, whereas factual reminders favor the object by 0.7-5.2 points. Removing naturally generated versions of that rule lowers subject choice by 10-15 points. We also examine whether post-training introduces this pattern. Base models already show Protection Mode; post-training changes justifications more than choices.