Make Every Penny Count: Difficulty-Adaptive Self-Consistency for Cost-Efficient Reasoning

📄 arXiv: 2408.13457v3 📥 PDF

作者: Xinglin Wang, Shaoxiong Feng, Yiwei Li, Peiwen Yuan, Yueqi Zhang, Chuyi Tan, Boyuan Pan, Yao Hu, Kan Li

分类: cs.CL, cs.AI

发布日期: 2024-08-24 (更新: 2025-02-12)

备注: NAACL2025 Findings

💡 一句话要点

提出难度自适应自洽性推理(DSC)，提升成本效益并保持性能

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 自洽性推理 难度自适应 思维链 资源分配 成本效益

📋 核心要点

  1. 现有自洽性推理方法忽略了问题难度差异，导致对简单问题过度采样，造成资源浪费。
  2. DSC利用问题难度的先验和后验信息，自适应地分配推理资源，降低总体推理成本。
  3. 实验表明，DSC在算术、常识和符号推理任务上，显著降低成本，同时保持了性能。

📝 摘要（中文）

自洽性(SC)是一种广泛应用于思维链推理的解码策略，在各种多步推理任务中表现出显著的增益，但由于预设大小的多次采样，其成本很高。自适应自洽性(ASC)和早停自洽性(ESC)等变体，基于一组预采样的后验分布动态调整样本数量，从而降低了SC的成本，同时对性能的影响最小。然而，这两种方法都没有利用关于问题难度的先验信息。这常常导致对简单问题的不必要的重复采样，而这些问题只需一次尝试就能准确回答，从而浪费资源。为了解决这个问题，我们提出了难度自适应自洽性(DSC)，它从先验和后验的角度利用批量查询的难度信息来适应性地分配推理资源，从而进一步降低SC的总体成本。为了证明DSC的有效性，我们在六个基准测试上对算术、常识和符号推理这三个流行的推理任务类别进行了广泛的实验。实验结果表明，DSC在成本方面始终显著优于强大的基线ASC和ESC，同时获得了相当的性能。

🔬 方法详解

问题定义：论文旨在解决自洽性推理(Self-Consistency, SC)方法在推理过程中资源分配不合理的问题。现有的自洽性方法，如ASC和ESC，虽然能动态调整采样数量，但忽略了不同问题的难度差异，导致对简单问题进行不必要的重复采样，浪费计算资源。

核心思路：论文的核心思路是引入难度自适应机制，根据问题的难度动态调整采样数量。对于简单的问题，减少采样次数；对于复杂的问题，增加采样次数。通过这种方式，在保证推理性能的前提下，最大限度地降低计算成本。

技术框架：DSC方法主要包含以下几个阶段：1) 难度估计：利用先验信息（例如问题本身的特征）和后验信息（例如初步采样结果的置信度）来估计问题的难度。2) 资源分配：根据难度估计结果，动态调整采样数量。难度较低的问题分配较少的采样次数，难度较高的问题分配较多的采样次数。3) 自洽性推理：基于调整后的采样数量，进行自洽性推理，得到最终的答案。

关键创新：DSC的关键创新在于将问题难度信息融入到自洽性推理过程中，实现了难度自适应的资源分配。与现有方法相比，DSC能够更有效地利用计算资源，在保证推理性能的同时，显著降低计算成本。

关键设计：难度估计模块是DSC的关键。具体实现方式未知，可能包括：1) 使用预训练模型对问题进行编码，提取问题特征，作为先验难度信息。2) 基于初步采样结果的方差或熵，评估后验难度信息。3) 设计合适的策略，将先验和后验难度信息进行融合，得到最终的难度估计结果。资源分配策略也至关重要，需要根据难度估计结果，合理地分配采样数量。具体的分配函数未知，可能需要根据具体任务进行调整。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，DSC在算术、常识和符号推理等多个任务上，显著优于现有的自适应自洽性方法（ASC和ESC）。在保证性能相当的情况下，DSC能够显著降低计算成本，例如在某些任务上，成本降低幅度超过20%。这些结果表明，DSC是一种高效且有效的自洽性推理方法。

🎯 应用场景

该研究成果可应用于各种需要进行复杂推理的场景，例如智能问答、机器翻译、代码生成等。通过降低推理成本，可以使这些应用在资源受限的环境中更加可行，并提高大规模推理任务的效率。难度自适应的思想也可以推广到其他机器学习任务中，例如主动学习和模型压缩。

📄 摘要（原文）

Self-consistency (SC), a widely used decoding strategy for chain-of-thought reasoning, shows significant gains across various multi-step reasoning tasks but comes with a high cost due to multiple sampling with the preset size. Its variants, Adaptive self-consistency (ASC) and Early-stopping self-consistency (ESC), dynamically adjust the number of samples based on the posterior distribution of a set of pre-samples, reducing the cost of SC with minimal impact on performance. Both methods, however, do not exploit the prior information about question difficulty. It often results in unnecessary repeated sampling for easy questions that could be accurately answered with just one attempt, wasting resources. To tackle this problem, we propose Difficulty-Adaptive Self-Consistency (DSC), which leverages the difficulty information of batch queries from both prior and posterior perspectives to adaptively allocate inference resources, further reducing the overall cost of SC. To demonstrate the effectiveness of DSC, we conduct extensive experiments on three popular categories of reasoning tasks: arithmetic, commonsense and symbolic reasoning on six benchmarks. The empirical results show that DSC consistently surpasses the strong baseline ASC and ESC in terms of costs by a significant margin, while attaining comparable performances.