Forty Shades of Blue: Quality-Diversity Alignment via Mode-Conditioned Reinforcement Learning

📄 arXiv: 2609.14896v1 📥 PDF

作者: Jiayi Yuan, Hangoo Kang, James Jihao Liu, Yejin Choi, Vikram Iyer, Liwei Jiang, Natasha Jaques

分类: cs.CL, cs.AI, cs.LG, cs.MA

发布日期: 2026-09-14

💡 一句话要点

提出MoDA以解决大语言模型输出多样性不足问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 大语言模型 模式崩溃 多样性对齐 强化学习 创意生成 质量门控 科学创意 创作写作

📋 核心要点

  1. 现有大语言模型在对齐训练中容易出现模式崩溃，导致输出多样性不足，限制了其在创意领域的应用。
  2. 本文提出MoDA算法，通过模式条件化的方式训练共享的LLM策略，鼓励多样性和质量的平衡。
  3. 实验结果显示，MoDA在多项任务中显著提高了输出多样性和质量，超越了现有基线方法。

📝 摘要（中文）

大语言模型（LLM）在对齐训练中常出现模式崩溃现象，导致输出多样性降低，限制了其在科学创意和创作写作等开放性探索应用中的表现。本文提出了一种名为MoDA（模式条件多样性对齐）的在线后训练强化学习算法，旨在同时优化生成质量和多样性。MoDA通过对抽象编号角色的条件化训练，鼓励不同角色生成独特的输出，避免了手工设计角色或架构修改的需求。此外，MoDA引入了一种自适应质量门控机制，确保只有满足质量阈值的响应才能获得多样性奖励，从而防止奖励操控行为。实验结果表明，MoDA在多项基准测试中显著提升了输出的多样性和质量。

🔬 方法详解

问题定义：本文解决的是大语言模型在对齐训练中出现的模式崩溃问题，导致输出多样性降低，影响模型在开放性任务中的表现。现有方法往往依赖手工设计角色或架构修改，难以实现高效的多样性优化。

核心思路：MoDA的核心思路是通过模式条件化的方式训练一个共享的LLM策略，使得每个角色作为竞争代理生成独特的输出，从而鼓励模型探索高质量输出空间的互补区域。

技术框架：MoDA的整体架构包括一个共享的LLM策略和一个自适应质量门控机制。训练过程中，模型根据不同的编号角色生成输出，并通过质量门控机制评估输出质量，确保只有高质量的响应才能获得多样性奖励。

关键创新：MoDA的主要创新在于引入了模式条件化的训练方法，避免了手工设计角色的复杂性，并通过质量门控机制有效防止了奖励操控行为。与现有方法相比，MoDA在保持输出质量的同时显著提高了多样性。

关键设计：在参数设置上，MoDA采用了动态的质量阈值，以适应不同任务的需求。损失函数设计上，结合了质量和多样性两个方面的考量，确保模型在训练过程中能够平衡这两者的关系。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在实验中，MoDA在Infinite-Chat持出提示上使SBERT多样性提高了265%，同时在Qwen3-8B基线上的平均通用能力pass@1提高了10.3%。与最强的DivPO基线相比，MoDA将SBERT多样性从0.274提升至0.482（+75.9%），E-Vendi从2.86提升至4.4（+53.8%），同时平均通用能力pass@1提高了7.0%。

🎯 应用场景

MoDA的研究成果在科学创意、创作写作等领域具有广泛的应用潜力。通过提升大语言模型的输出多样性和质量，MoDA能够支持更为丰富的创意生成和多样化的内容创作，推动相关领域的发展。未来，MoDA的技术框架也可扩展至其他需要多样性和质量平衡的生成任务中。

📄 摘要（原文）

A notable byproduct of LLM alignment training is mode collapse: the progressive loss of output diversity that narrows a model's expressivity at inference time. This degradation is especially limiting for applications requiring open-ended exploration and pluralistic perspectives, such as scientific ideation and creative writing. We present MoDA (Mode-conditioned Diversity Alignment), an online post-training RL algorithm that jointly optimizes generation quality and diversity, inspired by the coordination perspective in multi-agent reinforcement learning (MARL). MoDA trains a single shared LLM policy conditioned on abstract numbered roles, where each role acts as an agent competing to produce outputs distinct from the others. This formulation encourages mode-conditioned agents to explore complementary regions of the high-quality output space without requiring hand-crafted personas or architectural modifications. MoDA employs a prompt-adaptive quality gating mechanism that calibrates a reference quality threshold and grants diversity rewards only to responses that meet the threshold, preventing reward-hacking behaviors that compromise response quality. To study quality-diversity tradeoffs, we evaluate MoDA on a comprehensive suite of benchmarks spanning seven general capability tasks and four domain-specific diversity tasks in scientific ideation and creative writing. MoDA improves SBERT diversity by 265% on the Infinite-Chat held-out prompts, while increasing average general capability pass@1 by 10.3% over the Qwen3-8B baseline. Compared with the strongest DivPO baseline, MoDA improves SBERT diversity from 0.274 to 0.482 (+75.9%) and E-Vendi from 2.86 to 4.4 (+53.8%), while improving average general capability pass@1 by 7.0%. Overall, MoDA provides a drop-in alternative to standard post-training methods that preserves and expands the model's expressive output space while improving quality.