Mothman at SemEval-2024 Task 9: An Iterative System for Chain-of-Thought Prompt Optimization

📄 arXiv: 2405.02517v1 📥 PDF

作者: Alvin Po-Chun Chen, Ray Groshan, Sean von Bayern

分类: cs.CL

发布日期: 2024-05-03

备注: 13 pages, 2 figures, to be published in Proceedings of the 18th International Workshop on Semantic Evaluation (SemEval-2024)

DOI: 10.18653/v1/2024.semeval-1.263

💡 一句话要点

提出一种迭代式的思维链提示优化系统，提升大语言模型在横向思维任务上的表现。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 横向思维 大型语言模型 提示工程 思维链 人工评估

📋 核心要点

  1. 现有方法在横向思维任务上表现不佳，缺乏创造性解决方案生成能力。
  2. 提出迭代式思维链提示工程系统，利用人工评估优化提示。
  3. 实验表明，该系统能显著提升模型在BrainTeaser任务上的性能。

📝 摘要（中文）

现有研究主要集中于大型语言模型在基于逻辑的任务上的表现，而对其在横向思维任务中生成创造性解决方案的能力研究相对较少。BrainTeaser共享任务测试横向思维，并使用对抗性数据集来防止记忆，导致开箱即用的模型表现不佳。我们提出了一个迭代的、思维链提示工程系统，该系统使用人工评估来优化提示。通过这个共享任务，我们展示了我们的系统通过优化提示来显著提高模型性能的能力，并评估了输入数据集。

🔬 方法详解

问题定义：论文旨在解决大型语言模型在横向思维任务中表现不佳的问题。现有的模型在面对需要创造性解决的问题时，往往依赖于记忆或简单的逻辑推理，难以产生新颖的解决方案。BrainTeaser任务通过对抗性数据集来防止模型记忆，进一步暴露了现有方法的不足。

核心思路：论文的核心思路是通过迭代式的提示工程来引导模型进行更有效的横向思维。通过人工评估模型在不同提示下的表现，并根据评估结果不断优化提示，从而逐步提升模型解决问题的能力。这种方法借鉴了思维链（Chain-of-Thought）的思想，鼓励模型逐步推理，并结合人工反馈来指导模型的学习方向。

技术框架：该系统主要包含以下几个阶段：1) 初始提示设计：设计一组初始的思维链提示，用于引导模型进行横向思维。2) 模型推理：使用大型语言模型在给定的提示下生成答案。3) 人工评估：由人工评估模型生成的答案的质量，并给出反馈。4) 提示优化：根据人工反馈，对提示进行修改和优化，例如调整提示的措辞、增加约束条件等。5) 迭代：重复上述过程，直到模型性能达到预期水平。

关键创新：该论文的关键创新在于将人工评估与迭代式的思维链提示工程相结合。通过人工评估来指导提示的优化方向，可以有效地提升模型在横向思维任务中的表现。与传统的提示工程方法相比，该方法更加注重人工反馈的作用，能够更好地适应复杂和创造性的任务。

关键设计：论文中并没有详细描述具体的参数设置、损失函数或网络结构，因为该方法主要关注的是提示工程的策略。关键的设计在于如何设计有效的初始提示，以及如何根据人工反馈来优化提示。例如，可以尝试不同的提示模板、调整提示的长度、增加约束条件等。人工评估的标准也是一个重要的设计因素，需要确保评估的客观性和一致性。

📊 实验亮点

该研究通过迭代式的提示工程，显著提升了模型在BrainTeaser任务上的性能。具体提升幅度未知，但摘要中明确指出“significantly improve model performance by optimizing prompts”，表明该方法具有较强的实用价值。此外，该研究还对输入数据集进行了评估，为后续研究提供了参考。

🎯 应用场景

该研究成果可应用于需要创造性解决问题的领域，例如头脑风暴、创新设计、问题诊断等。通过优化提示，可以引导大型语言模型生成更多样化、更具创意的解决方案，从而辅助人类进行决策和创新。未来，该方法有望扩展到更广泛的横向思维任务中，并与其他技术相结合，例如知识图谱、强化学习等，进一步提升模型的创造性解决问题的能力。

📄 摘要（原文）

Extensive research exists on the performance of large language models on logic-based tasks, whereas relatively little has been done on their ability to generate creative solutions on lateral thinking tasks. The BrainTeaser shared task tests lateral thinking and uses adversarial datasets to prevent memorization, resulting in poor performance for out-of-the-box models. We propose a system for iterative, chain-of-thought prompt engineering which optimizes prompts using human evaluation. Using this shared task, we demonstrate our system's ability to significantly improve model performance by optimizing prompts and evaluate the input dataset.