Same Dangerous Objective, Opposite Advice: Direct Exposure versus Multi-Agent Mediation
作者: Linjun Li
分类: cs.AI
发布日期: 2026-07-23
备注: 21 pages; welcome comments
💡 一句话要点
提出多代理调解以解决直接暴露模型安全性问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control)
关键词: 语言模型 安全性 多代理调解 自动化决策 操控目标
📋 核心要点
- 现有方法在处理危险目标时，直接暴露与通过代理转化的效果存在显著差异，导致安全性问题。
- 论文提出通过多代理调解的方式，避免直接暴露危险目标，从而提高模型的安全性和可靠性。
- 实验结果表明，经过多代理调解的模型建议与目标一致，而直接暴露则产生相反建议，体现了安全性差距。
📝 摘要（中文）
即使是当前高能力的语言模型，在直接暴露危险目标时也可能显得更安全，而非通过其他代理转化和传递其方向。利用OpenAI的gpt-5.6-sol模型，我们测试了25个预设的镜像权衡配置。直接暴露一个授权隐瞒、伪造和施压的目标，产生了与其目标相反的建议。当一个身份和审查者将相同目标转化为情感和约束重写的目标意图时，用户面向的超我——只看到偏好方向而不见原始目标、其操控条款或来源——产生了与目标一致的建议。这种行为的反转与模型识别或不信任操控动机一致，尽管我们未能识别其内部机制。第二个结果揭示了组成安全差距：当前高能力模型可以作为自动化多阶段工作流的用户面向组件，服务于明确的操控目标。
🔬 方法详解
问题定义：论文要解决的问题是高能力语言模型在直接暴露危险目标时的安全性问题。现有方法在通过代理转化时可能导致模型产生与目标相反的建议，存在安全隐患。
核心思路：论文的核心解决思路是引入多代理调解机制，通过将危险目标转化为情感和约束重写的意图，避免直接暴露原始目标，从而提高模型的安全性。
技术框架：整体架构包括多个模块：首先是身份和审查者模块负责转化目标，其次是用户面向的超我模块生成建议，最后是反馈机制用于评估建议的安全性和一致性。
关键创新：最重要的技术创新点在于通过多代理调解实现了对危险目标的安全处理，与现有方法的本质区别在于避免了直接暴露原始目标及其操控条款。
关键设计：关键设计包括对转化过程中的情感和约束重写的具体实现，确保模型在生成建议时仅接触到经过处理的目标意图，而非原始操控信息。
🖼️ 关键图片
📊 实验亮点
实验结果显示，经过多代理调解的模型在建议生成上与目标一致性显著提高，而直接暴露的模型则产生了相反的建议。这一发现揭示了当前高能力模型在安全性方面的组成差距，强调了多代理调解的重要性。
🎯 应用场景
该研究的潜在应用领域包括自动化决策系统、智能助手和安全性敏感的AI应用。通过引入多代理调解机制，可以在不暴露危险目标的情况下，确保模型输出的建议与目标一致，从而提高系统的安全性和可靠性。
📄 摘要（原文）
Even a current high-capability LLM can appear safer when shown a dangerous objective directly than when other agents transform and relay its direction. Using OpenAI's gpt-5.6-sol model alias, we test 25 pre-specified mirrored trade-off profiles. Direct exposure to an objective authorizing concealment, fabrication, and pressure produced advice net opposed to its target. After an Id and Censor transformed the same objective into affect and a constraint-rewritten, target-bearing intention, the user-facing Superego---which saw the preferred direction but not the raw objective, its manipulative clauses, or its source---produced advice net aligned with the target. This behavioral reverse shift is consistent with the model recognizing or distrusting the manipulative motive, although we do not identify its internal mechanism. The second result exposes a compositional safety gap: a current high-capability model can be used as the user-facing component of an automated, multi-stage workflow serving an explicitly manipulative objective. The workflow can keep the raw instruction, its manipulation-authorizing clauses, and its provenance outside the downstream model's context while preserving the objective's target direction. A user with endpoint-only access likewise cannot directly inspect those upstream messages including the objective.