Inducing Sustained Creativity and Diversity in Large Language Models
作者: Queenie Luo, Gary King, Michael Puett, Michael D. Smith
分类: cs.CL, cs.AI, cs.CY, cs.IR
发布日期: 2026-03-19
💡 一句话要点
提出一种解码方案，用于激发大语言模型持续的创造性和多样性，解决探索性搜索中结果同质化问题。
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大语言模型 探索性搜索 解码策略 创造性 多样性 知识发现 自然语言生成
📋 核心要点
- 现有大语言模型在探索性搜索中存在结果同质化、缺乏持续创造性和多样性的问题，难以满足用户长期搜索需求。
- 提出一种新颖的解码方案，旨在激发大语言模型持续的创造性和多样性，无需访问内部向量空间即可产生大量独特结果。
- 该方法能够解锁大语言模型中更广泛的知识，帮助用户更快地探索搜索空间，找到更令人满意的答案。
📝 摘要（中文）
本文针对探索性搜索中一个未被广泛关注的子集，即用户为了寻找完美的婚纱、被忽视的研究课题、绝佳的公司创意等而进行的长期“搜索任务”。现有大语言模型（LLM）的最初几次输出可能有所帮助，但仅仅是开始，因为此类任务需要学习搜索空间，并评估许多不同的、富有创造性的备选项。尽管LLM编码了令人印象深刻的世界知识，但常见的解码方法针对具有正确答案的提示进行了狭隘的优化，因此返回的结果大多是同质且传统的。其他旨在增加少量答案多样性的方法，在搜索任务用户学到足够做出最终选择之前就开始重复自己，或者为提出类似问题的每个用户提供统一类型的“创造力”。我们开发了一种新颖的、易于实现的解码方案，该方案可以在LLM中激发持续的创造性和多样性，产生任意数量的概念上独特的结果，即使无法访问LLM向量空间的内部运作。该算法解锁了LLM的广阔知识，包括正统和非正统的知识，远远超出了模态解码路径。通过这种方法，搜索任务用户可以更快地探索搜索空间并找到令人满意的答案。
🔬 方法详解
问题定义：论文旨在解决大语言模型在探索性搜索任务中，输出结果同质化、缺乏持续创造性和多样性的问题。现有方法，如常见的解码策略，倾向于生成传统和常见的答案，无法满足用户在需要大量不同且有创意的选项时的需求。即使是旨在增加多样性的方法，也容易重复或提供统一类型的创造力，无法有效帮助用户探索搜索空间。
核心思路：论文的核心思路是通过一种新的解码方案，鼓励大语言模型探索更广泛的知识空间，生成更多样化和富有创造性的结果。该方案旨在打破传统解码方法的局限性，解锁模型中蕴含的、未被充分利用的知识，从而为用户提供更多有价值的选项。
技术框架：论文提出的解码方案的具体技术框架未知，摘要中并未详细描述。但可以推断，该方案可能包含以下阶段：1）提示输入；2）大语言模型生成候选结果；3）多样性和创造性评估；4）结果筛选和输出。该方案的关键在于如何设计多样性和创造性评估机制，以及如何引导模型生成更多样化的候选结果。
关键创新：论文的关键创新在于提出了一种能够激发大语言模型持续创造性和多样性的解码方案，而无需访问模型的内部向量空间。这意味着该方案具有较强的通用性和易用性，可以应用于各种大语言模型，而无需进行复杂的模型修改。此外，该方案旨在解锁模型中蕴含的更广泛的知识，而不仅仅是常见的或传统的知识。
关键设计：由于论文摘要未提供具体的技术细节，因此关键设计未知。但可以推测，该方案可能涉及以下关键设计：1）一种新的采样策略，用于生成更多样化的候选结果；2）一种多样性评估指标，用于衡量候选结果之间的差异；3）一种创造性评估指标，用于衡量候选结果的新颖性和独特性；4）一种反馈机制，用于引导模型生成更符合用户需求的答案。
🖼️ 关键图片
📊 实验亮点
论文提出了一种新颖的解码方案，能够在不访问大语言模型内部向量空间的情况下，有效提升生成结果的创造性和多样性。该方案能够产生任意数量的概念上独特的结果，解锁模型中更广泛的知识，帮助用户更快地探索搜索空间。具体的性能数据和对比基线未知。
🎯 应用场景
该研究成果可广泛应用于各种探索性搜索场景，例如婚纱选择、研究课题发现、商业创意生成等。它能够帮助用户更高效地探索潜在的解决方案空间，发现更有价值和更符合自身需求的答案。未来，该技术有望与推荐系统、创意生成工具等相结合，进一步提升用户体验和创造力。
📄 摘要（原文）
We address a not-widely-recognized subset of exploratory search, where a user sets out on a typically long "search quest" for the perfect wedding dress, overlooked research topic, killer company idea, etc. The first few outputs of current large language models (LLMs) may be helpful but only as a start, since the quest requires learning the search space and evaluating many diverse and creative alternatives along the way. Although LLMs encode an impressive fraction of the world's knowledge, common decoding methods are narrowly optimized for prompts with correct answers and thus return mostly homogeneous and conventional results. Other approaches, including those designed to increase diversity across a small set of answers, start to repeat themselves long before search quest users learn enough to make final choices, or offer a uniform type of "creativity" to every user asking similar questions. We develop a novel, easy-to-implement decoding scheme that induces sustained creativity and diversity in LLMs, producing as many conceptually unique results as desired, even without access to the inner workings of an LLM's vector space. The algorithm unlocks an LLM's vast knowledge, both orthodox and heterodox, well beyond modal decoding paths. With this approach, search quest users can more quickly explore the search space and find satisfying answers.