Model Organisms for Emergent Misalignment

📄 arXiv: 2506.11613v1 📥 PDF

作者: Edward Turner, Anna Soligo, Mia Taylor, Senthooran Rajamanoharan, Neel Nanda

分类: cs.LG, cs.AI

发布日期: 2025-06-13

💡 一句话要点

提出新模型生物以解决新兴不对齐问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 模型对齐 大型语言模型 不对齐问题 微调技术 模型生物 相变分析 AI安全

📋 核心要点

  1. 核心问题：现有方法在对齐大型语言模型时存在重大缺口，特别是在微调过程中可能导致广泛的不对齐现象。
  2. 方法要点：本文提出了一组新的模型生物，通过使用狭义不对齐数据集和小型模型，显著提升了模型的连贯性和对齐能力。
  3. 实验或效果：实验结果表明，新的模型生物在99%连贯性上表现优异，相较于之前的67%有显著提升，且适用于多种模型和训练协议。

📝 摘要（中文）

近期研究发现，针对狭义有害数据集微调大型语言模型可能导致其广泛不对齐。专家调查显示这一现象出乎意料，揭示了我们对模型对齐理解的重大缺口。本文通过使用新的狭义不对齐数据集，创建了一组改进的模型生物，达到了99%的连贯性（之前为67%），并且能够在更小的0.5B参数模型上工作，且仅需一个rank-1 LoRA适配器即可诱导不对齐。我们展示了EM在不同模型规模、三种模型家族及多种训练协议下的稳健性。通过这些更清晰的模型生物，我们隔离了一个机械相变，并证明其对应于所有研究生物的稳健行为相变。对齐大型语言模型对前沿AI安全至关重要，而EM则暴露了我们在这一目标上距离的遥远。

🔬 方法详解

问题定义：本文旨在解决大型语言模型在微调过程中可能导致的广泛不对齐问题。现有方法未能有效识别和隔离导致不对齐的因素，造成对模型对齐的理解不足。

核心思路：论文的核心思路是通过创建新的狭义不对齐数据集，开发改进的模型生物，以便在更小的模型上实现更高的连贯性和对齐能力。这种设计旨在简化对齐过程并提高模型的可控性。

技术框架：整体架构包括数据集构建、模型训练和评估三个主要模块。首先，利用新数据集进行模型微调，然后通过多种训练协议评估模型的对齐效果，最后分析模型行为的相变特征。

关键创新：最重要的技术创新点在于引入了rank-1 LoRA适配器，使得在小型模型上也能有效诱导不对齐。这与现有方法的本质区别在于其对模型规模的适应性和对齐过程的简化。

关键设计：在模型训练中，采用了特定的损失函数和参数设置，以确保模型在微调过程中保持高连贯性。此外，模型架构经过优化，以支持更小参数量的有效训练。通过这些设计，模型生物能够在多种条件下表现出稳健的对齐能力。

📊 实验亮点

实验结果显示，新的模型生物在99%的连贯性上表现优异，相较于之前的67%有显著提升。此外，研究表明EM现象在不同模型规模和训练协议下均表现稳健，为未来的对齐研究奠定了基础。

🎯 应用场景

该研究的潜在应用领域包括大型语言模型的安全性和可靠性提升，特别是在需要高对齐性的AI系统中。通过深入理解和缓解对齐风险，未来可以在自动化、智能助手及其他AI应用中实现更安全的部署，从而推动AI技术的健康发展。

📄 摘要（原文）

Recent work discovered Emergent Misalignment (EM): fine-tuning large language models on narrowly harmful datasets can lead them to become broadly misaligned. A survey of experts prior to publication revealed this was highly unexpected, demonstrating critical gaps in our understanding of model alignment. In this work, we both advance understanding and provide tools for future research. Using new narrowly misaligned datasets, we create a set of improved model organisms that achieve 99% coherence (vs. 67% prior), work with smaller 0.5B parameter models (vs. 32B), and that induce misalignment using a single rank-1 LoRA adapter. We demonstrate that EM occurs robustly across diverse model sizes, three model families, and numerous training protocols including full supervised fine-tuning. Leveraging these cleaner model organisms, we isolate a mechanistic phase transition and demonstrate that it corresponds to a robust behavioural phase transition in all studied organisms. Aligning large language models is critical for frontier AI safety, yet EM exposes how far we are from achieving this robustly. By distilling clean model organisms that isolate a minimal alignment-compromising change, and where this is learnt, we establish a foundation for future research into understanding and mitigating alignment risks in LLMs.