Branch-Solve-Merge Improves Large Language Model Evaluation and Generation
作者: Swarnadeep Saha, Omer Levy, Asli Celikyilmaz, Mohit Bansal, Jason Weston, Xian Li
分类: cs.CL, cs.AI, cs.LG
发布日期: 2023-10-23 (更新: 2024-06-07)
备注: NAACL 2024 (19 pages, 7 figures, 11 tables)
💡 一句话要点
提出Branch-Solve-Merge以提升大型语言模型的评估与生成能力
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 自然语言处理 任务分解 生成模型 评估方法
📋 核心要点
- 现有大型语言模型在处理复杂语言生成和评估任务时，常常表现出连贯性不足和规划能力缺乏的问题。
- 本文提出的Branch-Solve-Merge方法通过分支、求解和合并模块，将任务分解为多个子任务并独立求解，最终融合结果。
- 实验结果表明，BSM在多个LLM上提升了评估的正确性和一致性，并在约束故事生成任务中提高了连贯性和约束满足度。
📝 摘要（中文）
大型语言模型（LLMs）在多方面的语言生成和评估任务中被广泛应用，但其性能常因缺乏连贯性和规划能力而不足。本文提出了Branch-Solve-Merge（BSM），一种针对复杂自然语言任务的LLM程序。BSM通过分支、求解和合并模块，将任务分解为多个并行子任务，独立求解后再融合结果。我们在LLM响应评估和受限文本生成任务中应用该方法，评估了其在多个LLM（如Vicuna、LLaMA-2-chat和GPT-4）上的有效性。BSM显著提高了评估的正确性和一致性，提升了人类与LLM的协议度，并在约束故事生成任务中改善了故事的连贯性和约束满足度。
🔬 方法详解
问题定义：本文旨在解决大型语言模型在复杂语言生成和评估任务中表现出的连贯性不足和规划能力缺乏的问题。现有方法往往无法有效处理多重用户约束，导致生成结果不理想。
核心思路：BSM方法通过将任务分解为多个并行子任务，利用分支、求解和合并模块独立求解每个子任务，最后将结果融合，以提高整体性能和连贯性。
技术框架：BSM的整体架构包括三个主要模块：分支模块负责任务分解，求解模块独立处理每个子任务，合并模块则将各子任务的结果进行融合。每个模块都通过特定的提示参数化，以适应基础LLM。
关键创新：BSM的主要创新在于其模块化设计，使得复杂任务能够被有效分解和独立求解，显著提升了生成结果的连贯性和一致性。这与传统的单一模型处理方式形成了鲜明对比。
关键设计：在设计中，BSM对每个模块的提示进行了精细调整，以确保模型能够理解任务的多重约束。此外，采用了特定的损失函数来优化模型在评估和生成任务中的表现。整体架构的灵活性使得BSM能够适应不同的LLM。
🖼️ 关键图片
📊 实验亮点
实验结果显示，BSM在多个大型语言模型上提升了人类与模型的协议度，最高可达26%；同时减少了长度和位置偏差，幅度高达50%。在约束故事生成任务中，BSM提高了故事的连贯性，并使约束满足度提升了12%。
🎯 应用场景
该研究的潜在应用领域包括自然语言处理中的复杂任务，如对话系统、内容生成和自动评估等。通过提升大型语言模型的生成和评估能力，BSM能够为用户提供更高质量的交互体验，未来可能在教育、娱乐和客户服务等多个行业产生深远影响。
📄 摘要（原文）
Large Language Models (LLMs) are frequently used for multi-faceted language generation and evaluation tasks that involve satisfying intricate user constraints or taking into account multiple aspects and criteria. However, their performance can fall short, due to the model's lack of coherence and inability to plan and decompose the problem. We propose Branch-Solve-Merge (BSM), a Large Language Model program (Schlag et al., 2023) for tackling such challenging natural language tasks. It consists of branch, solve, and merge modules that are parameterized with specific prompts to the base LLM. These three modules plan a decomposition of the task into multiple parallel sub-tasks, independently solve them, and fuse the solutions to the sub-tasks. We apply our method to the tasks of LLM response evaluation and constrained text generation and evaluate its effectiveness with multiple LLMs, including Vicuna, LLaMA-2-chat, and GPT-4. BSM improves the evaluation correctness and consistency for each LLM by enhancing human-LLM agreement by up to 26%, reducing length and pairwise position biases by up to 50%, and allowing LLaMA2-chat to match or outperform GPT-4 on most domains. On a constraint story generation task, BSM improves the coherence of stories while also improving constraint satisfaction by 12%.