Is Large Language Model Performance on Reasoning Tasks Impacted by Different Ways Questions Are Asked?

📄 arXiv: 2507.15707v1 📥 PDF

作者: Seok Hwan Song, Mohna Chakraborty, Qi Li, Wallapak Tavanapong

分类: cs.CL, cs.AI

发布日期: 2025-07-21

💡 一句话要点

研究不同提问方式对大语言模型推理任务性能的影响

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 推理任务 提问方式 问题类型 性能评估

📋 核心要点

  1. 现有研究缺乏对不同提问方式如何影响大语言模型在推理任务中表现的系统性分析。
  2. 该研究通过设计不同类型的推理问题，考察多种LLM在不同提问方式下的性能差异。
  3. 实验结果表明，提问方式显著影响LLM的推理准确率和最终答案选择，选项数量和措辞是关键因素。

📝 摘要（中文）

本研究旨在探索不同类型的问题（例如，多项选择、判断题、简答/长答案）对大语言模型（LLM）在推理任务上的准确率的影响。我们通过定量和演绎推理任务，评估了五种LLM在三种不同类型问题上的表现。评估指标包括推理步骤的准确性和最终答案的选择准确性。主要发现包括：（1）LLM在不同问题类型上的表现存在显著差异。（2）推理准确性不一定与最终选择的准确性相关。（3）选项的数量和措辞的选择会影响LLM的性能。

🔬 方法详解

问题定义：该论文旨在解决的问题是：不同类型的提问方式（例如多项选择、判断题、简答题等）是否会对大语言模型在推理任务上的表现产生影响？现有方法通常只关注LLM在特定问题类型上的性能，忽略了提问方式本身可能带来的偏差。

核心思路：论文的核心思路是通过控制变量法，设计不同类型的推理问题，并在多个LLM上进行测试，从而量化不同提问方式对LLM推理准确率和最终答案选择的影响。通过对比不同问题类型下的性能差异，揭示LLM对提问方式的敏感性。

技术框架：该研究的技术框架主要包括以下几个步骤：1. 选择五种具有代表性的大语言模型。2. 设计定量和演绎推理任务。3. 将推理任务转化为三种不同类型的问题：多项选择、判断题和简答题。4. 使用相同的推理步骤提示LLM进行推理。5. 评估LLM在推理步骤和最终答案选择上的准确率。6. 分析不同问题类型对LLM性能的影响。

关键创新：该研究的关键创新在于首次系统性地研究了提问方式对大语言模型推理性能的影响。以往的研究主要关注模型本身的能力，而忽略了提问方式可能引入的偏差。该研究的发现有助于更好地理解LLM的局限性，并为设计更有效的提问策略提供指导。

关键设计：在问题设计方面，研究人员精心控制了问题的难度和复杂度，确保不同问题类型在语义上是等价的，只在提问方式上存在差异。在评估指标方面，研究人员同时关注推理步骤的准确性和最终答案选择的准确性，从而更全面地评估LLM的推理能力。此外，研究人员还分析了选项数量和措辞对LLM性能的影响，为后续研究提供了更细致的观察。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，不同问题类型对LLM的性能有显著影响。例如，在某些推理任务中，多项选择题的准确率明显高于判断题。此外，推理步骤的准确性与最终答案选择的准确性并不总是正相关，表明LLM可能在推理过程中出现偏差。研究还发现，选项的数量和措辞会显著影响LLM的性能。

🎯 应用场景

该研究的成果可应用于提升大语言模型在各种推理任务中的表现，例如智能问答、知识图谱推理、代码生成等。通过优化提问方式，可以减少LLM的偏差，提高其准确性和可靠性。此外，该研究还可以指导教育领域，帮助设计更有效的教学方法和评估方式。

📄 摘要（原文）

Large Language Models (LLMs) have been evaluated using diverse question types, e.g., multiple-choice, true/false, and short/long answers. This study answers an unexplored question about the impact of different question types on LLM accuracy on reasoning tasks. We investigate the performance of five LLMs on three different types of questions using quantitative and deductive reasoning tasks. The performance metrics include accuracy in the reasoning steps and choosing the final answer. Key Findings: (1) Significant differences exist in LLM performance across different question types. (2) Reasoning accuracy does not necessarily correlate with the final selection accuracy. (3) The number of options and the choice of words, influence LLM performance.