PRISM: Promoting Sampling Diversity of Large Language Models with Implicit Stochastic Modulation

📄 arXiv: 2610.32101v1 📥 PDF

作者: Qixin Xu, Zihan Zhu, Xiaojiang Liu, Bohan Lyu

分类: cs.LG

发布日期: 2026-10-23

💡 一句话要点

提出PRISM框架以解决大语言模型采样多样性不足问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 模式崩溃 多样性 训练框架 随机嵌入调制 子模块化策划 自然语言生成 强化学习

📋 核心要点

  1. 现有大语言模型在推理时常常出现模式崩溃，导致输出缺乏多样性，影响模型的自我演化和持续学习能力。
  2. PRISM框架通过在训练阶段引入多样性，结合子模块化策划和随机嵌入调制，提升模型的输出多样性和质量。
  3. 在多个基准测试中，PRISM实现了最佳生成质量，并在语义多样性上表现出色，同时提高了数学和代码任务的采样效率。

📝 摘要（中文）

大语言模型（LLMs）存在模式崩溃现象，输出分布集中于熟悉的语义模式，导致采样多样性消失。为了解决这一问题，本文提出了PRISM，一个在训练阶段内化多样性的框架。PRISM结合了子模块化策划和随机嵌入调制，前者为每个提示配对多样且正确的多教师解决方案，后者则将特殊标记扰动转化为隐式信号以采样不同的输出。理论分析证明了该机制的稳定性。实验结果表明，PRISM在WritingPrompts和BookMIA数据集上提升了生成质量和语义多样性，同时提高了数学和代码基准的采样效率。

🔬 方法详解

问题定义：本文旨在解决大语言模型在推理时出现的模式崩溃问题，现有方法多在推理阶段进行干预，未能将多样性内化为模型能力。

核心思路：PRISM框架通过训练阶段引入多样性，结合多教师解决方案和随机嵌入调制，使模型能够生成多样化的输出。

技术框架：PRISM的整体架构包括两个主要模块：子模块化策划和随机嵌入调制。前者负责为每个提示生成多样且正确的输出，后者则通过扰动特殊标记来引导模型生成不同的输出。

关键创新：PRISM的核心创新在于将多样性作为模型的内在能力，而非仅在推理阶段进行调整。这一设计使得模型在训练过程中就能学习到多样化的输出策略。

关键设计：在实现中，PRISM使用了特定的损失函数来平衡生成质量与多样性，同时在网络结构中引入了随机嵌入调制机制，以增强模型的输出多样性。

🖼️ 关键图片

fig_0
img_1

📊 实验亮点

在WritingPrompts和BookMIA数据集上，PRISM在所有模型基准设置中实现了最佳生成质量，同时在两个开放权重模型家族中保持了最强或接近最强的语义多样性。此外，PRISM在数学和代码基准测试中也提高了采样效率，显示出其在多样性和质量上的显著提升。

🎯 应用场景

PRISM框架具有广泛的应用潜力，特别是在需要生成多样化内容的领域，如自然语言生成、对话系统和强化学习等。通过提升模型的多样性，PRISM能够为这些应用提供更丰富的输出，增强用户体验和系统的适应能力。

📄 摘要（原文）

Large language models (LLMs) exhibit mode collapse, where their output distribution concentrates on familiar semantic modes. When diversity disappears, repeated sampling becomes semantic repetition rather than discovery, making rare but stronger solutions unlikely to surface and leaving self-evolution and continual learning difficult to sustain. Most remedies intervene only at inference time, shaping sam- ples without making diversity a model capability. We propose PRISM, a training-time framework that internalizes diversity within the model. PRISM combines (i) submodular curation that pairs each prompt with diverse-yet-correct multi-teacher solutions, and (ii) stochastic embedding modulation, which turns special-token perturbations into implicit signals for sampling distinct outputs. A theoretical analysis establishes the stability of this mechanism. On WritingPrompts and BookMIA, PRISM moves the quality-diversity frontier outward, achieving the best generation quality in all model-benchmark settings while maintaining the strongest or near-strongest semantic diversity across two open-weight model families. It also improves sampling efficiency on math and code benchmarks. Beyond inference, PRISM yields a stronger foundation for reinforcement learning, sustaining diverse rollouts and mitigating the diversity collapse commonly observed during RL training.