When is the consistent prediction likely to be a correct prediction?

📄 arXiv: 2407.05778v1 📥 PDF

作者: Alex Nguyen, Dheeraj Mekala, Chengyu Dong, Jingbo Shang

分类: cs.CL, cs.AI

发布日期: 2024-07-08

💡 一句话要点

挑战自洽性理论：更长推理链而非最高频答案更可能正确

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 自洽性 大型语言模型 链式思考 推理链长度 零样本学习

📋 核心要点

  1. 现有自洽性方法仅关注答案频率，忽略了推理过程的计算量和长度，可能导致错误。
  2. 论文提出更长的推理链更可能产生正确答案，因为LLM能自发生成CoT风格推理。
  3. 实验表明，通过考虑更长响应，无需CoT提示即可达到接近CoT提示的自洽性性能。

📝 摘要（中文）

本文挑战了自洽性（Self-consistency）理论，该理论认为大型语言模型（LLMs）中最一致的答案更可能是正确的。我们提出了一个细致的修正观点：通过更多计算（即更长的推理文本）得到的连贯答案，比所有输出中最频繁的答案更可能是正确的。这主要是因为我们发现，LLMs在生成更长响应时，无需任何自定义提示即可自主生成链式思考（CoT）风格的推理，从而产生更准确的连贯预测。在零样本设置中，通过多次采样Mixtral-8x7B模型并考虑更长的响应，我们在GSM8K和MultiArith数据集上实现了零样本CoT提示下自洽性性能的86%。最后，我们证明了LLMs生成更长响应的概率非常低，突出了对输出长度进行条件解码策略的需求。

🔬 方法详解

问题定义：现有自洽性方法认为，大型语言模型生成多个答案后，出现频率最高的答案最可能是正确的。然而，这种方法忽略了生成答案所需的计算量，特别是推理链的长度。现有方法的痛点在于，仅仅依赖答案的频率，而忽略了推理过程的质量，可能导致选择错误的答案。

核心思路：论文的核心思路是，更长的推理链更有可能产生正确的答案。这是因为更长的推理链通常意味着模型进行了更多的计算和更深入的思考，从而更有可能发现正确的解决方案。论文认为，大型语言模型在生成更长响应时，能够自发地产生链式思考（CoT）风格的推理，从而提高答案的准确性。

技术框架：论文主要采用了零样本学习的框架。具体流程如下：1) 使用大型语言模型（如Mixtral-8x7B）多次生成答案；2) 记录每个答案对应的推理链长度；3) 选择具有最长推理链的答案作为最终预测；4) 将该方法与传统的自洽性方法以及零样本CoT提示方法进行比较。

关键创新：论文最重要的技术创新点在于，它挑战了传统的自洽性理论，并提出了一个更细致的观点：更长的推理链比最高频的答案更重要。与现有方法的本质区别在于，论文关注的是推理过程的质量，而不仅仅是答案的频率。

关键设计：论文的关键设计在于，它没有对大型语言模型进行任何微调或提示工程。相反，它仅仅通过多次采样和选择最长推理链的方式，来提高答案的准确性。这种方法的优点在于，它简单易用，并且可以应用于各种不同的任务和模型。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，通过考虑更长的响应，Mixtral-8x7B模型在GSM8K和MultiArith数据集上，无需任何CoT提示，即可达到零样本CoT提示下自洽性性能的86%。这表明，更长的推理链确实能够提高答案的准确性，并且可以作为一种有效的替代方案来替代CoT提示。

🎯 应用场景

该研究成果可应用于各种需要大型语言模型进行推理和决策的场景，例如数学问题求解、常识推理、代码生成等。通过关注推理链的长度，可以提高LLM的准确性和可靠性，减少错误答案的产生。未来，可以进一步研究如何更有效地利用推理链的信息，例如通过对推理链进行分析和评估，来进一步提高LLM的性能。

📄 摘要（原文）

Self-consistency (Wang et al., 2023) suggests that the most consistent answer obtained through large language models (LLMs) is more likely to be correct. In this paper, we challenge this argument and propose a nuanced correction. Our observations indicate that consistent answers derived through more computation i.e. longer reasoning texts, rather than simply the most consistent answer across all outputs, are more likely to be correct. This is predominantly because we demonstrate that LLMs can autonomously produce chain-of-thought (CoT) style reasoning with no custom prompts merely while generating longer responses, which lead to consistent predictions that are more accurate. In the zero-shot setting, by sampling Mixtral-8x7B model multiple times and considering longer responses, we achieve 86% of its self-consistency performance obtained through zero-shot CoT prompting on the GSM8K and MultiArith datasets. Finally, we demonstrate that the probability of LLMs generating a longer response is quite low, highlighting the need for decoding strategies conditioned on output length.