Multidimensional Consistency Improves Reasoning in Language Models
作者: Huiyuan Lai, Xiao Zhang, Malvina Nissim
分类: cs.CL
发布日期: 2025-03-04
💡 一句话要点
多维度一致性提升语言模型推理能力，尤其对数学问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 语言模型 推理一致性 多维度评估 数学问题求解 鲁棒性 GSM8K MGSM
📋 核心要点
- 大型语言模型对输入变化敏感，导致推理结果不一致，降低了模型的可信度。
- 论文提出多维度推理一致性框架，通过prompt、措辞和语言变化来评估模型在不同输入下的答案一致性。
- 实验表明，该框架能有效提升模型在数学推理任务上的性能，尤其对小模型效果显著。
📝 摘要（中文）
大型语言模型(LLMs)在处理复杂推理任务方面表现出潜力，但它们对输入变化高度敏感，导致不同的解题路径和最终答案。因此，跨输入变化的一致性可被视为模型置信度的标志。基于此，我们提出了“多维度推理一致性”框架，专注于数学问题，系统性地推动模型多样化解题路径，从而测试其在多个输入变化下答案的一致性。我们引入了(i)prompt中shots的顺序，(ii)问题措辞，以及(iii)所用语言的变化。在各种规模的开源LLM上进行的大量实验表明，推理一致性因变化维度而异。通过聚合跨维度的一致性，我们的框架能够持续提升单语数据集GSM8K和多语数据集MGSM上的数学推理性能，尤其对于较小的模型。
🔬 方法详解
问题定义：论文旨在解决大型语言模型在推理任务中，由于输入的微小变化（例如prompt的顺序、问题的措辞、使用的语言等）而导致答案不一致的问题。现有方法缺乏对模型推理过程稳定性的有效评估和提升手段，使得模型在实际应用中容易出错。
核心思路：论文的核心思路是利用“一致性”作为衡量模型推理能力的标准。如果一个模型在面对不同的输入变体时，能够给出一致的答案，那么可以认为该模型具有更强的推理能力和更高的置信度。通过系统性地引入输入变体，并鼓励模型在这些变体下保持答案一致，从而提升模型的推理能力。
技术框架：该框架主要包含以下几个步骤：1) 定义输入变体：针对给定的推理任务，设计多个维度的输入变体，例如prompt的顺序、问题的措辞、使用的语言等。2) 模型推理：使用大型语言模型对每个输入变体进行推理，得到相应的答案。3) 一致性评估：评估模型在不同输入变体下的答案一致性。可以使用简单的答案匹配或者更复杂的语义相似度计算方法。4) 一致性聚合：将不同维度的一致性评估结果进行聚合，得到一个综合的一致性指标。5) 性能提升（可选）：可以使用一致性指标作为奖励信号，对模型进行微调，从而提升模型的推理能力。
关键创新：论文的关键创新在于提出了“多维度推理一致性”这一概念，并将其应用于评估和提升大型语言模型的推理能力。与以往的研究只关注单一维度的输入变体不同，该论文考虑了多个维度的输入变体，从而更全面地评估了模型的推理能力。此外，该论文还提出了一种简单有效的聚合方法，可以将不同维度的一致性评估结果进行整合。
关键设计：在输入变体设计方面，论文考虑了prompt的顺序、问题的措辞和使用的语言三个维度。对于prompt的顺序，可以通过随机打乱prompt中示例的顺序来生成变体。对于问题的措辞，可以使用同义词替换或者句子改写等方法来生成变体。对于使用的语言，可以将问题翻译成不同的语言来生成变体。在一致性评估方面，可以使用简单的答案匹配方法，例如判断模型在不同输入变体下给出的答案是否完全相同。也可以使用更复杂的语义相似度计算方法，例如计算模型在不同输入变体下给出的答案的embedding向量的余弦相似度。
🖼️ 关键图片
📊 实验亮点
实验结果表明，该框架能够显著提升大型语言模型在GSM8K和MGSM数据集上的数学推理性能。例如，对于较小的模型，通过聚合跨维度的一致性，性能提升幅度可达5%以上。此外，实验还发现，不同维度的一致性对模型性能的影响不同，这为进一步优化模型提供了思路。
🎯 应用场景
该研究成果可应用于提升大型语言模型在各种推理任务中的可靠性和准确性，例如数学问题求解、常识推理、逻辑推理等。通过提高模型在不同输入条件下的答案一致性，可以增强模型在实际应用中的鲁棒性和可信度，减少错误答案的产生。此外，该方法还可以用于评估不同模型的推理能力，为模型选择和优化提供参考。
📄 摘要（原文）
While Large language models (LLMs) have proved able to address some complex reasoning tasks, we also know that they are highly sensitive to input variation, which can lead to different solution paths and final answers. Answer consistency across input variations can thus be taken as a sign of stronger confidence. Leveraging this insight, we introduce a framework, {\em Multidimensional Reasoning Consistency} where, focusing on math problems, models are systematically pushed to diversify solution paths towards a final answer, thereby testing them for answer consistency across multiple input variations. We induce variations in (i) order of shots in prompt, (ii) problem phrasing, and (iii) languages used. Extensive experiments on a large range of open-source state-of-the-art LLMs of various sizes show that reasoning consistency differs by variation dimension, and that by aggregating consistency across dimensions, our framework consistently enhances mathematical reasoning performance on both monolingual dataset GSM8K and multilingual dataset MGSM, especially for smaller models.