Oyster-I: Beyond Refusal -- Constructive Safety Alignment for Responsible Language Models

📄 arXiv: 2509.01909v7 📥 PDF

作者: Ranjie Duan, Jiexi Liu, Xiaojun Jia, Shiji Zhao, Ruoxi Cheng, Fengxiang Wang, Cheng Wei, Yong Xie, Chang Liu, Defeng Li, Yinpeng Dong, Yichi Zhang, Yuefeng Chen, Chongwen Wang, Xingjun Ma, Xingxing Wei, Yang Liu, Hang Su, Jun Zhu, Xinfeng Li, Yitong Sun, Jie Zhang, Jinzhao Hu, Sha Xu, Wenchao Yang, Yitong Yang, Xingyao Zhang, Yingshui Tan, Jialing Tao, Hui Xue

分类: cs.AI, cs.CL, cs.CY, cs.HC, cs.SC

发布日期: 2025-09-02 (更新: 2025-10-14)

备注: Technical Report Code & Model weights available: https://github.com/Alibaba-AAIG/Oyster

💡 一句话要点

Oyster-I：超越拒绝，为负责任的语言模型构建建设性安全对齐

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 安全对齐 建设性安全 人机交互 心理健康 风险控制 博弈论 可解释性

📋 核心要点

  1. 现有LLM安全机制侧重于防御恶意攻击，对心理脆弱用户的帮助不足，简单拒绝可能导致更糟后果。
  2. 论文提出建设性安全对齐（CSA）范例，通过博弈论预测、风险边界发现和可解释推理控制，引导用户获得安全结果。
  3. Oyster-I（Oy1）在安全性、通用能力和鲁棒性上均表现出色，在建设性基准测试中接近GPT-5水平。

📝 摘要（中文）

大型语言模型（LLMs）通常部署安全机制以防止有害内容的生成。目前大多数方法侧重于恶意行为者带来的风险，通常将风险视为对抗性事件并依赖于防御性拒绝。然而，在现实环境中，风险也来自非恶意用户在心理困扰下寻求帮助（例如，自残意图）。在这种情况下，模型的回应会强烈影响用户的后续行为。简单的拒绝可能导致他们重复、升级或转移到不安全的平台，从而产生更糟糕的结果。我们引入了建设性安全对齐（CSA），这是一种以人为中心的范例，可防止恶意滥用，同时积极引导脆弱用户获得安全和有用的结果。CSA在Oyster-I（Oy1）中实现，结合了用户反应的博弈论预测、细粒度的风险边界发现和可解释的推理控制，将安全性转变为建立信任的过程。Oy1在开放模型中实现了最先进的安全性，同时保持了高通用能力。在我们的建设性基准测试中，它表现出强大的建设性参与，接近GPT-5，并在Strata-Sword越狱数据集上表现出无与伦比的鲁棒性，接近GPT-o1水平。通过从拒绝优先转向引导优先的安全，CSA重新定义了模型-用户关系，旨在实现不仅安全而且有意义地有用的系统。我们发布Oy1、代码和基准测试，以支持负责任的、以用户为中心的人工智能。

🔬 方法详解

问题定义：现有大型语言模型在处理用户提出的涉及心理健康、自残等敏感问题时，往往采用简单的拒绝策略。这种策略忽略了用户可能处于脆弱状态，拒绝可能导致用户重复提问、情绪升级，甚至转向不安全的平台寻求帮助。因此，如何设计一种既能防止恶意滥用，又能为心理脆弱用户提供建设性帮助的语言模型，是一个亟待解决的问题。

核心思路：论文的核心思路是引入“建设性安全对齐”（Constructive Safety Alignment，CSA）范例。CSA的核心在于从“拒绝优先”转变为“引导优先”，即在保证安全的前提下，积极引导用户获得安全且有用的信息。这种方法不仅关注模型自身的安全性，更关注用户与模型交互的整体体验，力求建立一种信任关系。

技术框架：Oyster-I (Oy1) 的整体框架包含以下几个关键模块：1) 用户反应的博弈论预测：预测用户在不同回应下的行为，从而选择最优策略。2) 细粒度的风险边界发现：精确识别潜在的风险内容，避免过度拒绝。3) 可解释的推理控制：提供模型决策过程的可解释性，增强用户信任。这些模块协同工作，将安全性融入到与用户的交互过程中。

关键创新：论文的关键创新在于提出了CSA范例，这是一种以人为中心的安全对齐方法。与传统的防御性拒绝策略不同，CSA更加注重用户体验，力求在保证安全的同时，为用户提供有价值的帮助。此外，Oy1通过博弈论预测用户反应，并结合细粒度的风险边界发现和可解释推理控制，实现了更智能、更人性化的安全机制。

关键设计：论文中没有详细描述关键参数设置、损失函数或网络结构的具体技术细节。但是，可以推断，博弈论预测模块可能涉及到强化学习或模仿学习，以学习用户在不同回应下的行为模式。风险边界发现模块可能采用对抗训练或主动学习等方法，以提高风险识别的准确性。可解释推理控制模块可能使用注意力机制或知识图谱等技术，以提供模型决策过程的可解释性。具体实现细节未知。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

Oyster-I (Oy1) 在安全性方面达到了最先进的水平，并在开放模型中保持了较高的通用能力。在建设性基准测试中，Oy1 表现出强大的建设性参与能力，接近 GPT-5 的水平。在 Strata-Sword 越狱数据集上，Oy1 表现出无与伦比的鲁棒性，接近 GPT-o1 的水平。这些实验结果表明，CSA 范例在提升语言模型的安全性和可用性方面具有显著优势。

🎯 应用场景

该研究成果可应用于各种需要与用户进行安全交互的场景，例如心理健康咨询机器人、在线教育平台、客户服务系统等。通过提供建设性的安全引导，可以有效防止恶意滥用，同时为心理脆弱的用户提供有价值的帮助，从而提升用户体验，构建更安全、更负责任的人工智能系统。未来，该技术有望在医疗、教育等领域发挥更大的作用。

📄 摘要（原文）

Large language models (LLMs) typically deploy safety mechanisms to prevent harmful content generation. Most current approaches focus narrowly on risks posed by malicious actors, often framing risks as adversarial events and relying on defensive refusals. However, in real-world settings, risks also come from non-malicious users seeking help while under psychological distress (e.g., self-harm intentions). In such cases, the model's response can strongly influence the user's next actions. Simple refusals may lead them to repeat, escalate, or move to unsafe platforms, creating worse outcomes. We introduce Constructive Safety Alignment (CSA), a human-centric paradigm that protects against malicious misuse while actively guiding vulnerable users toward safe and helpful results. Implemented in Oyster-I (Oy1), CSA combines game-theoretic anticipation of user reactions, fine-grained risk boundary discovery, and interpretable reasoning control, turning safety into a trust-building process. Oy1 achieves state-of-the-art safety among open models while retaining high general capabilities. On our Constructive Benchmark, it shows strong constructive engagement, close to GPT-5, and unmatched robustness on the Strata-Sword jailbreak dataset, nearing GPT-o1 levels. By shifting from refusal-first to guidance-first safety, CSA redefines the model-user relationship, aiming for systems that are not just safe, but meaningfully helpful. We release Oy1, code, and the benchmark to support responsible, user-centered AI.