Aggregation of Reasoning: A Hierarchical Framework for Enhancing Answer Selection in Large Language Models

📄 arXiv: 2405.12939v1 📥 PDF

作者: Zhangyue Yin, Qiushi Sun, Qipeng Guo, Zhiyuan Zeng, Xiaonan Li, Tianxiang Sun, Cheng Chang, Qinyuan Cheng, Ding Wang, Xiaofeng Mou, Xipeng Qiu, XuanJing Huang

分类: cs.CL

发布日期: 2024-05-21

备注: 17 pages, 14 figures, accepted by LREC-COLING 2024

💡 一句话要点

提出AoR框架，通过分层推理聚合提升大语言模型在复杂推理任务中的答案选择能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 复杂推理 答案选择 推理链 分层聚合

📋 核心要点

  1. 现有方法在复杂推理任务中，依赖答案频率进行集成，当正确答案占少数时效果不佳。
  2. AoR框架通过评估推理链选择答案，并采用动态采样，根据任务复杂度调整推理链数量。
  3. 实验结果表明，AoR在复杂推理任务中优于现有集成方法，并能提升多种LLM的性能上限。

📝 摘要（中文）

本文提出了一种名为AoR（Aggregation of Reasoning，推理聚合）的分层推理聚合框架，旨在提升大型语言模型（LLMs）在复杂推理任务中的答案选择能力。现有方法通过采样多个推理链并基于答案频率进行集成，但在正确答案占少数的情况下表现不佳。AoR通过评估推理链来选择答案，从而解决这一问题。此外，AoR还引入了动态采样机制，根据任务的复杂性调整推理链的数量。在多个复杂推理任务上的实验结果表明，AoR优于现有的集成方法。进一步的分析表明，AoR不仅适用于各种LLMs，而且相比现有方法，能够达到更高的性能上限。

🔬 方法详解

问题定义：论文旨在解决大型语言模型（LLMs）在复杂推理任务中，由于现有集成方法（如基于答案频率的集成）在正确答案占少数时表现不佳的问题。现有方法的痛点在于，仅仅依赖最终答案的频率，忽略了推理过程的质量，导致无法有效区分正确和错误的推理链。

核心思路：论文的核心解决思路是通过评估推理链的质量来选择答案，而不是仅仅依赖最终答案的频率。AoR框架认为，即使正确答案出现的频率较低，但如果支持该答案的推理链质量较高，那么该答案更有可能是正确的。因此，AoR通过对推理链进行评估和聚合，从而更准确地选择答案。

技术框架：AoR框架包含以下主要阶段：1) 推理链生成：使用LLM生成多个推理链，每个推理链都试图解释问题的答案。2) 推理链评估：对每个推理链的质量进行评估，评估标准可以是基于规则的、基于模型的或者人工标注的。3) 答案选择：基于推理链的评估结果，选择支持度最高的答案。4) 动态采样：根据任务的复杂性动态调整推理链的数量，对于更复杂的任务，生成更多的推理链。

关键创新：AoR框架最重要的技术创新点在于，它将答案选择从基于答案频率的集成，转变为基于推理链质量的评估和聚合。这种方法能够更有效地利用LLM的推理能力，从而提高答案选择的准确性。与现有方法的本质区别在于，AoR关注的是推理过程的质量，而不是仅仅关注最终答案的频率。

关键设计：AoR框架的关键设计包括：1) 推理链评估方法：论文中可能使用了多种推理链评估方法，例如基于规则的评估、基于模型的评估或者人工标注的评估。具体选择哪种评估方法取决于任务的特点和可用的资源。2) 答案选择策略：论文中可能使用了多种答案选择策略，例如选择支持度最高的答案、选择平均评估得分最高的答案等。具体选择哪种策略取决于评估结果的分布情况。3) 动态采样策略：论文中可能使用了多种动态采样策略，例如根据任务的复杂度调整推理链的数量、根据推理链的评估结果调整推理链的数量等。具体选择哪种策略取决于任务的特点和LLM的性能。

📊 实验亮点

实验结果表明，AoR框架在多个复杂推理任务上优于现有的集成方法。具体来说，AoR在某些任务上取得了显著的性能提升，例如在XXX数据集上，AoR的准确率比基线方法提高了X%。此外，实验还表明，AoR能够适用于各种LLMs，并且相比现有方法，能够达到更高的性能上限。这些结果表明，AoR框架是一种有效的提升LLM推理能力的方法。

🎯 应用场景

AoR框架可应用于各种需要复杂推理的场景，例如问答系统、知识图谱推理、代码生成等。该框架能够提升LLM在这些场景中的性能，从而提高系统的准确性和可靠性。未来，AoR框架可以进一步扩展到其他类型的推理任务，例如常识推理、因果推理等，并可以与其他技术相结合，例如知识图谱、强化学习等，从而实现更强大的推理能力。

📄 摘要（原文）

Recent advancements in Chain-of-Thought prompting have facilitated significant breakthroughs for Large Language Models (LLMs) in complex reasoning tasks. Current research enhances the reasoning performance of LLMs by sampling multiple reasoning chains and ensembling based on the answer frequency. However, this approach fails in scenarios where the correct answers are in the minority. We identify this as a primary factor constraining the reasoning capabilities of LLMs, a limitation that cannot be resolved solely based on the predicted answers. To address this shortcoming, we introduce a hierarchical reasoning aggregation framework AoR (Aggregation of Reasoning), which selects answers based on the evaluation of reasoning chains. Additionally, AoR incorporates dynamic sampling, adjusting the number of reasoning chains in accordance with the complexity of the task. Experimental results on a series of complex reasoning tasks show that AoR outperforms prominent ensemble methods. Further analysis reveals that AoR not only adapts various LLMs but also achieves a superior performance ceiling when compared to current methods.