Combinatorial Reasoning: Selecting Reasons in Generative AI Pipelines via Combinatorial Optimization

📄 arXiv: 2407.00071v1 📥 PDF

作者: Mert Esencan, Tarun Advaith Kumar, Ata Akbari Asanjan, P. Aaron Lott, Masoud Mohseni, Can Unlu, Davide Venturelli, Alan Ho

分类: cs.AI, cs.CL, cs.ET, cs.LG

发布日期: 2024-06-19

备注: 13 pages, 3 figures

💡 一句话要点

提出组合推理（CR）框架，通过组合优化提升生成式AI管道的推理能力。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 组合推理 大型语言模型 提示工程 二次无约束二元优化 组合优化

📋 核心要点

  1. 大型语言模型在推理任务中表现不足，提示工程依赖人工设计，缺乏自动化。
  2. 提出组合推理（CR）框架，通过二次无约束二元优化（QUBO）选择LLM生成的原因子集，构建更有效的提示。
  3. 初步研究表明，将组合求解器与生成式AI管道结合，为提升AI推理能力提供了一种有前景的途径。

📝 摘要（中文）

大型语言模型（LLM）在需要人类智能的任务中表现出令人印象深刻的能力，是迈向类人人工智能（AI）的重要一步。然而，LLM在推理任务中的表现一直不尽如人意，其推理能力也备受争议。虽然选择合适的提示技术可以改变LLM在包括推理在内的多种任务上的性能，但表现最佳的技术需要人工制作提示，并且需要具备对手头任务的了解。我们介绍了一种名为组合推理（CR）的框架，这是一种完全自动化的提示方法，其中从LLM管道中采样原因，并将其映射到二次无约束二元优化（QUBO）问题中。该框架研究了QUBO解决方案是否可以有效地用于选择有用的原因子集，以构建链式思考风格的提示。我们探索了使用专用求解器加速CR的方法。我们还研究了更简单的零样本策略的性能，例如线性多数规则或随机选择原因。我们的初步研究表明，将组合求解器与生成式AI管道相结合是AI推理的一个有趣途径，并阐明了未来CR方法的设计原则。

🔬 方法详解

问题定义：现有大型语言模型（LLM）在复杂推理任务中表现不佳，并且依赖于人工设计的提示工程，这既耗时又需要专业知识。因此，如何自动地提升LLM的推理能力，并减少对人工提示的依赖，是一个重要的研究问题。

核心思路：论文的核心思路是利用LLM生成多个可能的“原因”（reasons），然后通过组合优化方法，从这些原因中选择一个最优子集，构成最终的提示。这种方法旨在模拟人类在解决问题时，会考虑多个可能的解释，并选择最合理的组合。

技术框架：组合推理（CR）框架包含以下主要阶段：1) LLM管道生成多个“原因”；2) 将原因映射到二次无约束二元优化（QUBO）问题；3) 使用组合求解器（如量子退火或经典求解器）求解QUBO问题，得到最优的原因子集；4) 使用选择的原因子集构建提示，并输入LLM进行推理。

关键创新：该方法的主要创新在于将组合优化引入到LLM的提示工程中，实现了提示的自动生成和优化。与传统的提示工程方法相比，CR框架无需人工设计提示，而是通过算法自动地选择最优的提示组合。

关键设计：QUBO问题的构建是CR框架的关键。论文需要定义一个目标函数，该函数能够衡量不同原因组合的质量。目标函数可能包含多个项，例如原因之间的相关性、原因与问题之间的相关性等。此外，还需要选择合适的组合求解器，并调整其参数，以获得最佳的求解性能。论文还研究了线性多数规则和随机选择等简单的零样本策略作为基线。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

该论文提出了组合推理（CR）框架，并初步验证了其在提升LLM推理能力方面的潜力。虽然论文中没有提供具体的性能数据，但其研究结果表明，将组合求解器与生成式AI管道相结合是一种有前景的AI推理方法。此外，论文还研究了使用专用求解器加速CR的方法，并探讨了线性多数规则和随机选择等简单的零样本策略的性能。

🎯 应用场景

该研究成果可应用于各种需要复杂推理的AI应用场景，例如自动问答系统、智能客服、决策支持系统等。通过自动优化LLM的提示，可以提升这些系统的推理能力和准确性，从而提高用户体验和工作效率。此外，该方法还可以用于探索LLM的内部推理机制，并为未来的LLM设计提供指导。

📄 摘要（原文）

Recent Large Language Models (LLMs) have demonstrated impressive capabilities at tasks that require human intelligence and are a significant step towards human-like artificial intelligence (AI). Yet the performance of LLMs at reasoning tasks have been subpar and the reasoning capability of LLMs is a matter of significant debate. While it has been shown that the choice of the prompting technique to the LLM can alter its performance on a multitude of tasks, including reasoning, the best performing techniques require human-made prompts with the knowledge of the tasks at hand. We introduce a framework for what we call Combinatorial Reasoning (CR), a fully-automated prompting method, where reasons are sampled from an LLM pipeline and mapped into a Quadratic Unconstrained Binary Optimization (QUBO) problem. The framework investigates whether QUBO solutions can be profitably used to select a useful subset of the reasons to construct a Chain-of-Thought style prompt. We explore the acceleration of CR with specialized solvers. We also investigate the performance of simpler zero-shot strategies such as linear majority rule or random selection of reasons. Our preliminary study indicates that coupling a combinatorial solver to generative AI pipelines is an interesting avenue for AI reasoning and elucidates design principles for future CR methods.