Gacha Decoding: Eliciting Diverse Generations Through Instruction Following
作者: Scott Geng, Yufei Zhang, Joseph Lee, Jerry Li, Marjan Ghazvininejad, Pang Wei Koh
分类: cs.AI, cs.CL
发布日期: 2026-10-01
💡 一句话要点
提出Gacha解码以解决生成多样性不足问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 生成模型 多样性生成 指令遵循 随机数生成 开放域应用
📋 核心要点
- 现有的生成多样性方法在质量和样本效率上存在不足，难以同时实现高质量和多样化的生成结果。
- Gacha解码通过将多样性视为指令遵循问题，结合语言模型的能力与外部随机性，提出了一种新的生成策略。
- 实验结果表明，Gacha解码在多个开放领域中显著提升了生成的多样性和质量，超越了传统方法。
📝 摘要（中文）
我们提出了Gacha解码，这是一种在推理时用于引导多样化语言模型生成的方法，能够与模型能力相匹配。在开放领域（如聊天、创意写作、图像生成规划和蛋白质设计）中，Gacha解码在质量相等的情况下显著超越现有的生成多样性方法（最高提升2.4倍），以更少的样本（11.0倍）发现相同数量的高质量模式，并发现其他方法未能识别的新模式。我们的关键见解是将多样性视为一个遵循指令的问题：我们结合了语言模型的指令遵循能力与外部随机数生成工具的随机性，以可扩展地识别和实现响应空间的不同模式。这种“用骰子规划”的方法使Gacha能够逆转多样性与模型能力之间的长期张力。
🔬 方法详解
问题定义：本论文旨在解决现有生成方法在生成多样性和质量之间的矛盾，现有方法往往依赖于模型的token熵，导致多样性不足。
核心思路：Gacha解码的核心思路是将生成多样性视为一个遵循指令的问题，通过结合语言模型的指令遵循能力与外部随机数生成器的随机性，来有效识别和实现不同的响应模式。
技术框架：Gacha解码的整体架构包括指令输入、随机数生成、模式识别和响应生成四个主要模块。首先，输入指令引导模型生成响应，然后通过随机数生成器引入多样性，最后识别并生成不同的响应模式。
关键创新：Gacha解码的主要创新在于将多样性与指令遵循结合，打破了传统方法中多样性与模型能力之间的张力，随着模型能力的提升，多样性也随之增强。
关键设计：在设计上，Gacha解码使用了外部随机数生成器，并优化了指令的设计，使得模型能够更好地理解和执行多样化的生成任务。
🖼️ 关键图片
📊 实验亮点
实验结果显示，Gacha解码在生成多样性方面的表现显著优于现有方法，最高提升达2.4倍，同时以11.0倍更少的样本发现相同数量的高质量模式。这些结果表明，指令遵循能力是驱动生成多样性的关键因素。
🎯 应用场景
Gacha解码的潜在应用领域包括开放域对话系统、创意写作辅助工具、图像生成规划以及生物信息学中的蛋白质设计等。其实际价值在于能够生成更具多样性和创造性的输出，提升用户体验和应用效果，未来可能推动生成模型在多个领域的广泛应用。
📄 摘要（原文）
We introduce Gacha Decoding, an inference-time method for eliciting diverse language model generations that scales with model capability. Across open-ended domains (in-the-wild chat, creative writing, planning for image generation, and protein design), Gacha Decoding significantly outperforms existing generation diversity approaches at equal quality (up to 2.4x Vendi over the next-best prior approach), reaching the same number of high-quality modes with over an order of magnitude fewer samples (11.0x) and discovering novel modes that no other approach surfaces. Our key insight is to treat diversity as an instruction-following problem: rather than relying on the LM's token entropy, we combine its instruction-following capability with randomness from an external RNG tool to scalably identify and realize distinct modes of the response space. This approach of "planning with dice" enables Gacha to invert the long-observed tension between diversity and model capability. As the underlying LM becomes a better instruction follower, diversity under Gacha Decoding consistently improves--even as its token entropy and diversity under prior approaches decline. Together, our results highlight that instruction following, rather than token entropy alone, can drive generation diversity.