Solving Situation Puzzles with Large Language Model and External Reformulation

📄 arXiv: 2503.18394v1 📥 PDF

作者: Kun Li, Xinwei Chen, Tianyou Song, Chengrui Zhou, Zhuoran Liu, Zhenyan Zhang, Jiangjian Guo, Qing Shan

分类: cs.LG, cs.CL

发布日期: 2025-03-24

💡 一句话要点

提出外部重构方法，提升大语言模型在情境谜题中的推理能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 情境谜题 推理能力 外部重构 多轮对话

📋 核心要点

  1. 现有大语言模型在多轮对话推理任务中，尤其是在解决情境谜题时，存在表现不佳的问题。
  2. 论文提出一种外部重构方法，通过在多轮问答后或错误猜测时重新构建情境谜题来引导LLM。
  3. 实验结果表明，该方法在胜率和问题/猜测尝试次数上优于直接使用LLM，提升了推理能力。

📝 摘要（中文）

近年来，大型语言模型（LLMs）在算术和符号推理任务中表现出令人印象深刻的能力。然而，我们发现LLMs（例如ChatGPT）在需要多轮对话的推理任务中表现不佳，尤其是在解决情境谜题时。具体来说，LLMs倾向于提出非常详细的问题，集中于特定方面，或者在几轮问答后提出相同或相似的问题。为了帮助LLMs摆脱上述困境，我们提出了一种新颖的外部重构方法，在该方法中，情境谜题将在几轮问答后或当LLMs提出不正确的猜测时被重新构建。实验表明，我们的方法在解决情境谜题方面优于直接使用LLMs（例如，胜率、问题/猜测尝试次数），突出了战略性问题重构在增强LLMs在复杂交互场景中的推理能力方面的潜力。

🔬 方法详解

问题定义：论文旨在解决大型语言模型（LLMs）在解决情境谜题时表现不佳的问题。现有方法，即直接使用LLMs进行多轮问答，存在LLMs倾向于提出过于详细、集中于特定方面或重复的问题的痛点，导致推理效率低下甚至失败。

核心思路：论文的核心思路是引入外部重构机制，通过在LLMs遇到瓶颈（例如，多轮提问后或错误猜测后）时，对情境谜题进行重新表述，从而引导LLMs跳出局部最优，避免陷入重复提问或错误方向，最终提升解决问题的能力。这种重构可以理解为一种战略性的问题分解和引导。

技术框架：整体流程如下：1) LLM尝试解决情境谜题，进行多轮提问和猜测；2) 外部重构模块监控LLM的提问和猜测，当达到预设条件（例如，提问轮数超过阈值或猜测错误）时，触发重构；3) 重构模块对情境谜题进行重新表述，生成新的问题描述；4) LLM基于新的问题描述继续进行提问和猜测，直到解决谜题或达到最大尝试次数。

关键创新：最重要的技术创新点在于引入了外部重构机制，将问题解决过程分解为LLM推理和外部引导两个阶段。这种解耦使得可以针对LLM的推理过程进行干预，避免其陷入局部最优。与直接使用LLM相比，该方法能够更有效地利用LLM的推理能力，并提升解决复杂问题的成功率。

关键设计：论文中未明确给出重构模块的具体实现细节，例如重构的具体策略、重构的触发条件等。这些细节可能依赖于具体的情境谜题类型和LLM的特性。未来的研究可以探索不同的重构策略，例如，改变问题描述的侧重点、提供更明确的线索等，以进一步提升LLM的推理能力。此外，如何自动学习最优的重构策略也是一个值得研究的方向。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，所提出的外部重构方法在解决情境谜题方面显著优于直接使用LLMs。具体来说，该方法在胜率方面取得了显著提升，并且减少了问题和猜测的尝试次数。这些结果表明，战略性问题重构能够有效增强LLMs在复杂交互场景中的推理能力。

🎯 应用场景

该研究成果可应用于智能问答系统、教育机器人、游戏AI等领域。通过引入外部重构机制，可以提升LLM在复杂推理任务中的表现，使其能够更好地理解用户意图，提供更准确、更有效的解答。此外，该方法还可以用于辅助人类解决复杂问题，例如，在科研探索、决策制定等领域提供新的思路和视角。

📄 摘要（原文）

In recent years, large language models (LLMs) have shown an impressive ability to perform arithmetic and symbolic reasoning tasks. However, we found that LLMs (e.g., ChatGPT) cannot perform well on reasoning that requires multiple rounds of dialogue, especially when solving situation puzzles. Specifically, LLMs intend to ask very detailed questions focusing on a specific aspect or same/similar questions after several rounds of Q&As. To help LLMs get out of the above dilemma, we propose a novel external reformulation methodology, where the situation puzzle will be reformulated after several rounds of Q&A or when the LLMs raise an incorrect guess. Experiments show superior performance (e.g., win rate, number of question/guess attempts) of our method than directly using LLMs for solving situation puzzles, highlighting the potential of strategic problem reformulation to enhance the reasoning capabilities of LLMs in complex interactive scenarios.