LLM Discussion: Enhancing the Creativity of Large Language Models via Discussion Framework and Role-Play

📄 arXiv: 2405.06373v4 📥 PDF

作者: Li-Chun Lu, Shou-Jen Chen, Tsung-Min Pai, Chan-Hung Yu, Hung-yi Lee, Shao-Hua Sun

分类: cs.CL, cs.AI

发布日期: 2024-05-10 (更新: 2024-08-08)

备注: 40 pages, 9 figures, COLM 2024

🔗 代码/项目: GITHUB

💡 一句话要点

提出LLM Discussion框架，通过讨论和角色扮演提升大语言模型的创造力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 创造力 讨论框架 角色扮演 多智能体协作

📋 核心要点

  1. 现有大语言模型在开放性问题上缺乏创造性和原创性，难以生成新颖的答案。
  2. LLM Discussion框架模仿人类讨论过程，通过多阶段互动和角色扮演激发LLM的创造力。
  3. 实验结果表明，该框架在多种创造力测试中优于单LLM和现有多LLM方法。

📝 摘要（中文）

大型语言模型（LLMs）在自然语言处理方面表现出卓越的能力，但在生成针对开放性问题的创造性和原创性回答方面往往不足。为了提高LLM的创造力，我们的关键见解是模仿人类通过与来自不同背景和视角的参与者进行讨论来激发集体创造力的过程。为此，我们提出了LLM Discussion，这是一个三阶段的讨论框架，旨在促进活跃和发散的观点交流，并确保收敛到创造性的答案。此外，我们采用角色扮演技术，通过为LLM分配不同的角色来对抗LLM的同质性。我们通过替代用途测试、相似性测试、实例测试和科学创造力测试，通过LLM评估和人工研究来评估所提出框架的有效性。结果表明，我们提出的框架在各种创造力指标上优于单LLM方法和现有的多LLM框架。

🔬 方法详解

问题定义：论文旨在解决大语言模型在开放性问题上创造力不足的问题。现有方法，如直接使用单个LLM或简单的多LLM集成，往往无法充分激发LLM的创造潜力，生成的答案缺乏新颖性和多样性。这些方法未能模拟人类通过讨论和协作产生创意的过程，导致LLM的创造力受限。

核心思路：论文的核心思路是模仿人类集体讨论产生创意的过程。通过构建一个多阶段的讨论框架，让多个LLM扮演不同的角色，相互交流、碰撞观点，从而激发LLM的创造力。这种方法借鉴了人类通过群体智慧解决问题的思想，旨在克服单个LLM的局限性，并促进更具创造性的答案生成。

技术框架：LLM Discussion框架包含三个主要阶段： 1. 发散阶段（Divergence Phase）：多个LLM扮演不同的角色，针对问题提出尽可能多的不同观点和想法。 2. 评估阶段（Evaluation Phase）：每个LLM评估其他LLM提出的观点，并选择最有潜力的想法。 3. 收敛阶段（Convergence Phase）：LLM基于评估结果，共同完善和整合选定的想法，最终生成创造性的答案。

关键创新：该框架的关键创新在于将人类讨论的模式引入到LLM的交互中。通过多阶段的讨论和角色扮演，LLM可以从不同的角度审视问题，并相互激发灵感。与传统的单LLM或简单的多LLM集成方法相比，LLM Discussion能够更好地利用LLM的潜力，生成更具创造性的答案。此外，角色扮演技术有助于打破LLM的同质性，鼓励LLM提出更多样化的观点。

关键设计： * 角色分配：为每个LLM分配不同的角色，例如“创新者”、“批判者”、“整合者”等，以确保观点的多样性。 * 评估机制：设计合理的评估指标，用于衡量LLM提出的观点的质量和潜力。 * 收敛策略：采用合适的策略，将LLM的观点整合为最终的答案，例如加权平均、投票等。 * 提示工程：精心设计提示语，引导LLM在每个阶段执行相应的任务。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，LLM Discussion框架在替代用途测试、相似性测试、实例测试和科学创造力测试中均优于单LLM方法和现有的多LLM框架。例如，在替代用途测试中，LLM Discussion生成的答案在流畅性、灵活性和原创性方面均有显著提升。人工评估也表明，LLM Discussion生成的答案更具创造性和实用性。

🎯 应用场景

该研究成果可应用于需要创造性解决方案的各种领域，例如头脑风暴、产品设计、科学研究和艺术创作。通过LLM Discussion框架，可以辅助人类进行创新，提高工作效率，并探索新的可能性。未来，该框架可以进一步扩展到更多领域，并与其他AI技术相结合，例如多模态学习和强化学习，以实现更高级的创造性任务。

📄 摘要（原文）

Large language models (LLMs) have shown exceptional proficiency in natural language processing but often fall short of generating creative and original responses to open-ended questions. To enhance LLM creativity, our key insight is to emulate the human process of inducing collective creativity through engaging discussions with participants from diverse backgrounds and perspectives. To this end, we propose LLM Discussion, a three-phase discussion framework that facilitates vigorous and diverging idea exchanges and ensures convergence to creative answers. Moreover, we adopt a role-playing technique by assigning distinct roles to LLMs to combat the homogeneity of LLMs. We evaluate the efficacy of the proposed framework with the Alternative Uses Test, Similarities Test, Instances Test, and Scientific Creativity Test through both LLM evaluation and human study. The results show that our proposed framework outperforms single-LLM approaches and existing multi-LLM frameworks across various creativity metrics. The code is available at https://github.com/lawraa/LLM-Discussion.