Knowledge Augmented Complex Problem Solving with Large Language Models: A Survey

📄 arXiv: 2505.03418v1 📥 PDF

作者: Da Zheng, Lun Du, Junwei Su, Yuchen Tian, Yuqi Zhu, Jintian Zhang, Lanning Wei, Ningyu Zhang, Huajun Chen

分类: cs.LG

发布日期: 2025-05-06

💡 一句话要点

综述：知识增强的大语言模型在复杂问题求解中的应用

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 复杂问题求解 知识增强 思维链 多步骤推理 领域知识集成 结果验证 人工智能

📋 核心要点

  1. 现有LLM在复杂问题求解中面临多步骤推理、领域知识融合和结果验证等挑战，限制了其在实际场景中的应用。
  2. 该综述深入研究了思维链推理、知识增强等技术，旨在提升LLM在复杂问题求解中的能力。
  3. 论文分析了LLM在软件工程、数学、数据分析和科学研究等领域的应用，并探讨了未来发展方向。

📝 摘要（中文）

问题求解一直是人类在众多领域取得进步的根本驱动力。随着人工智能的进步，大型语言模型（LLM）已成为强大的工具，能够解决各个领域的复杂问题。与传统的计算系统不同，LLM结合了原始计算能力和对人类推理的近似，使它们能够生成解决方案、进行推断，甚至利用外部计算工具。然而，将LLM应用于实际问题求解面临着重大挑战，包括多步骤推理、领域知识集成和结果验证。本综述探讨了LLM在复杂问题求解中的能力和局限性，研究了思维链（CoT）推理、知识增强以及各种基于LLM和工具的验证技术。此外，我们还强调了软件工程、数学推理与证明、数据分析与建模以及科学研究等各个领域中特定领域的挑战。本文进一步从多步骤推理、领域知识集成和结果验证的角度讨论了当前LLM解决方案的根本局限性以及基于LLM的复杂问题求解的未来方向。

🔬 方法详解

问题定义：论文旨在解决大型语言模型（LLM）在复杂问题求解中面临的挑战。现有方法在多步骤推理、领域知识集成和结果验证方面存在不足，导致LLM在实际应用中表现受限。例如，LLM可能难以处理需要多个步骤才能完成的推理任务，或者无法有效地利用外部知识来提高问题求解的准确性。

核心思路：论文的核心思路是对现有研究进行系统性的梳理和分析，从而了解LLM在复杂问题求解中的能力和局限性。通过研究思维链（CoT）推理、知识增强等技术，以及LLM在不同领域的应用，论文旨在为未来的研究方向提供指导。论文强调了多步骤推理、领域知识集成和结果验证的重要性，并以此为基础探讨了LLM的未来发展方向。

技术框架：该论文是一篇综述，其技术框架主要体现在对现有文献的分类和组织上。论文首先介绍了LLM在复杂问题求解中的应用，然后分别讨论了思维链推理、知识增强和结果验证等关键技术。接着，论文分析了LLM在软件工程、数学、数据分析和科学研究等领域的应用，并总结了各个领域面临的挑战。最后，论文提出了LLM在复杂问题求解中面临的根本局限性，并展望了未来的研究方向。

关键创新：该论文的关键创新在于对LLM在复杂问题求解中的应用进行了全面的综述，并从多步骤推理、领域知识集成和结果验证的角度提出了未来的研究方向。与以往的综述相比，该论文更加关注LLM在实际应用中面临的挑战，并强调了知识增强的重要性。

关键设计：该论文的关键设计在于对现有文献的分类和组织方式。论文将LLM在复杂问题求解中的应用分为多个方面，并对每个方面进行了深入的分析。此外，论文还对LLM在不同领域的应用进行了案例研究，从而为读者提供了更具体的了解。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

该综述总结了LLM在复杂问题求解中的最新进展，并指出了当前方法的局限性。它强调了知识增强、多步骤推理和结果验证的重要性，并为未来的研究方向提供了有价值的见解。虽然没有提供具体的性能数据，但该综述为研究人员提供了一个全面的视角，有助于他们更好地理解和解决LLM在复杂问题求解中面临的挑战。

🎯 应用场景

该研究对人工智能、自然语言处理等领域具有重要意义。其潜在应用包括：开发更强大的智能助手、自动化软件开发流程、辅助科学研究、提升数据分析能力等。通过解决LLM在复杂问题求解中的局限性，可以推动人工智能技术在各个领域的广泛应用。

📄 摘要（原文）

Problem-solving has been a fundamental driver of human progress in numerous domains. With advancements in artificial intelligence, Large Language Models (LLMs) have emerged as powerful tools capable of tackling complex problems across diverse domains. Unlike traditional computational systems, LLMs combine raw computational power with an approximation of human reasoning, allowing them to generate solutions, make inferences, and even leverage external computational tools. However, applying LLMs to real-world problem-solving presents significant challenges, including multi-step reasoning, domain knowledge integration, and result verification. This survey explores the capabilities and limitations of LLMs in complex problem-solving, examining techniques including Chain-of-Thought (CoT) reasoning, knowledge augmentation, and various LLM-based and tool-based verification techniques. Additionally, we highlight domain-specific challenges in various domains, such as software engineering, mathematical reasoning and proving, data analysis and modeling, and scientific research. The paper further discusses the fundamental limitations of the current LLM solutions and the future directions of LLM-based complex problems solving from the perspective of multi-step reasoning, domain knowledge integration and result verification.