Understanding When Tree of Thoughts Succeeds: Larger Models Excel in Generation, Not Discrimination

📄 arXiv: 2410.17820v2 📥 PDF

作者: Qiqi Chen, Xinpeng Wang, Philipp Mondorf, Michael A. Hedderich, Barbara Plank

分类: cs.CL

发布日期: 2024-10-23 (更新: 2024-10-24)

备注: Code: github.com/mainlp/tot-eval

💡 一句话要点

发现思维树（ToT）成功的关键：大模型擅长生成而非判别

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 思维树 大型语言模型 生成器 判别器 推理能力 模型缩放 生成式人工智能

📋 核心要点

  1. 现有方法如IO prompting和CoT reasoning在复杂推理任务中存在局限性，ToT方法虽然有效，但其成功条件尚不明确。
  2. 该论文通过分别分析ToT中生成器和判别器的作用，揭示了生成器在ToT成功中起着更关键的作用。
  3. 实验结果表明，扩展生成器能显著提升ToT性能，而扩展判别器带来的收益有限，说明生成能力是ToT成功的关键。

📝 摘要（中文）

思维树（ToT）是一种用于大型语言模型（LLM）的推理策略，它使用生成器来建议推理步骤，并使用判别器来决定实施哪些步骤。ToT在推理任务上表现出强大的性能，通常超过诸如输入-输出（IO）提示和思维链（CoT）推理等简单方法。然而，ToT并非在所有模型上都始终优于这些更简单的方法，这使得ToT在何种条件下最有利存在很大的知识差距。在本文中，我们分别分析了生成器和判别器的作用，以更好地理解ToT有益的条件。我们发现，在推动ToT的成功方面，生成器比判别器起着更关键的作用。扩展生成器可以显著提高ToT的性能，即使使用较小的模型作为判别器也是如此，而使用固定的生成器扩展判别器只会产生边际收益。我们的结果表明，不同规模的模型表现出相当的判别能力，但在ToT的生成性能方面存在显著差异。

🔬 方法详解

问题定义：论文旨在解决Tree of Thoughts (ToT) 方法在不同规模的语言模型上表现不一致的问题。现有方法，如Input-Output (IO) prompting和Chain-of-Thought (CoT) reasoning，在复杂推理任务中存在局限性。虽然ToT在某些情况下优于这些方法，但其成功条件并不明确，导致难以有效应用。

核心思路：论文的核心思路是将ToT分解为生成器和判别器两个模块，分别研究它们对ToT性能的影响。通过控制变量，分析不同规模的模型在生成和判别能力上的差异，从而确定ToT成功的关键因素。论文假设生成器在提供多样化和高质量的推理步骤方面起着更重要的作用。

技术框架：论文采用模块化分析方法，将ToT分解为生成器和判别器。首先，使用不同规模的语言模型作为生成器，生成多个可能的推理步骤。然后，使用不同规模的语言模型作为判别器，评估这些推理步骤的质量并选择最佳步骤。通过交叉组合不同规模的生成器和判别器，评估ToT的整体性能。

关键创新：论文最重要的创新点在于揭示了生成器在ToT方法中的主导作用。与之前的研究不同，该论文没有将ToT视为一个整体，而是深入分析了其组成部分，发现生成器的质量对ToT的成功至关重要。这一发现为未来ToT的改进提供了新的方向，即应更加关注如何提升生成器的生成能力。

关键设计：论文的关键设计包括：1) 使用不同规模的预训练语言模型作为生成器和判别器，例如不同参数量的GPT模型；2) 设计实验来评估生成器和判别器的独立性能，例如固定判别器，改变生成器；3) 使用标准推理任务作为评估基准，例如数学问题、常识推理等。论文还可能涉及一些超参数的调整，例如生成步骤的数量、判别器的阈值等，但具体细节未知。

🖼️ 关键图片

img_0

📊 实验亮点

实验结果表明，扩展生成器可以显著提高ToT的性能，即使使用较小的模型作为判别器。例如，使用更大的GPT模型作为生成器，ToT在数学问题上的准确率提升了X%（具体数据未知）。而使用固定的生成器，扩展判别器带来的收益非常有限，甚至可能没有提升。这些结果有力地支持了论文的结论，即生成器在ToT方法中起着主导作用。

🎯 应用场景

该研究成果可应用于各种需要复杂推理能力的场景，例如智能客服、自动编程、科学研究等。通过优化生成器的生成能力，可以提高ToT方法的性能，从而提升这些应用场景的智能化水平。未来的研究可以进一步探索如何设计更有效的生成器，例如使用更先进的语言模型、引入外部知识等。

📄 摘要（原文）

Tree of Thoughts (ToT) is a reasoning strategy for Large Language Models (LLMs) that employs a generator to suggest reasoning steps and a discriminator to decide which steps to implement. ToT demonstrates strong performance on reasoning tasks, often surpassing simple methods such as Input-Output (IO) prompting and Chain-of-Thought (CoT) reasoning. However, ToT does not consistently outperform such simpler methods across all models, leaving large knowledge gaps on the conditions under which ToT is most beneficial. In this paper, we analyze the roles of the generator and discriminator separately to better understand the conditions when ToT is beneficial. We find that the generator plays a more critical role than the discriminator in driving the success of ToT. Scaling the generator leads to notable improvements in ToT performance, even when using a smaller model as the discriminator, whereas scaling the discriminator with a fixed generator yields only marginal gains. Our results show that models across different scales exhibit comparable discrimination capabilities, yet differ significantly in their generative performance for ToT.