Code to Think, Think to Code: A Survey on Code-Enhanced Reasoning and Reasoning-Driven Code Intelligence in LLMs
作者: Dayu Yang, Tianyang Liu, Daoan Zhang, Antoine Simoulin, Xiaoyi Liu, Yuwei Cao, Zhaopu Teng, Xin Qian, Grey Yang, Jiebo Luo, Julian McAuley
分类: cs.CL, cs.AI, cs.LG, cs.SE
发布日期: 2025-02-26
备注: Project Repo: https://github.com/dayuyang1999/Awesome-Code-Reasoning
💡 一句话要点
综述：探索代码增强推理与推理驱动代码智能在大型语言模型中的协同作用
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 代码智能 推理 代码生成 软件工程 程序理解 知识推理
📋 核心要点
- 现有大语言模型在复杂推理和代码生成任务中面临挑战，缺乏有效的结构化方法。
- 本文提出代码和推理相互促进的观点，代码增强推理，推理驱动代码智能，形成正反馈。
- 通过分析代码在推理中的作用和推理对代码智能的提升，为未来研究提供方向。
📝 摘要（中文）
在大语言模型（LLMs）中，代码和推理相互促进：代码提供了一种抽象、模块化和逻辑驱动的结构，支持推理；而推理将高层次目标转化为更小的、可执行的步骤，从而驱动更高级的代码智能。本研究探讨了代码如何作为一种结构化媒介来增强推理：它提供了可验证的执行路径，强制执行逻辑分解，并支持运行时验证。我们还探讨了推理能力的提升如何将代码智能从基本的补全转变为高级能力，使模型能够通过规划和调试来解决复杂的软件工程任务。最后，我们识别了关键挑战，并提出了未来的研究方向，以加强这种协同作用，最终提高LLM在这两个领域的性能。
🔬 方法详解
问题定义：现有的大语言模型在处理复杂推理和代码生成任务时，往往缺乏有效的结构化方法。例如，在解决需要多步骤推理的问题时，模型容易出错，难以保证结果的正确性。在代码生成方面，模型通常只能完成简单的代码补全，难以胜任复杂的软件工程任务。这些问题的痛点在于模型缺乏将高层次目标分解为可执行步骤的能力，以及缺乏利用代码的结构化特性来辅助推理的能力。
核心思路：本文的核心思路是强调代码和推理之间的协同作用。代码可以作为一种结构化的媒介来增强推理，因为它提供了可验证的执行路径、强制执行逻辑分解，并支持运行时验证。反过来，推理可以将高层次目标转化为更小的、可执行的步骤，从而驱动更高级的代码智能。通过这种相互促进的关系，可以提升大语言模型在推理和代码生成方面的能力。
技术框架：本文是一篇综述文章，并没有提出具体的模型或算法框架。但是，文章分析了现有研究中利用代码增强推理和推理驱动代码智能的方法，并将其归纳为不同的类别。例如，一些方法利用代码的执行结果来验证推理过程的正确性，另一些方法则利用代码的结构化特性来指导推理过程。文章还探讨了如何利用推理能力来提升代码生成、代码调试和代码理解等方面的性能。
关键创新：本文的创新之处在于它系统地总结了代码增强推理和推理驱动代码智能的研究进展，并提出了一个统一的视角来理解这两种方法之间的关系。文章强调了代码和推理之间的协同作用，并指出未来的研究方向应该关注如何进一步加强这种协同作用，从而提升大语言模型在推理和代码生成方面的能力。
关键设计：本文作为综述，没有涉及具体的技术细节。但是，文章讨论了现有研究中一些关键的设计选择，例如如何选择合适的代码表示形式、如何设计有效的推理算法、以及如何利用代码的执行结果来指导推理过程。这些设计选择对于实现代码增强推理和推理驱动代码智能至关重要。
🖼️ 关键图片
📊 实验亮点
本文系统性地总结了代码增强推理和推理驱动代码智能的研究进展，强调了代码和推理之间的协同作用。通过分析现有方法，指出了未来研究的关键挑战和方向，为相关领域的研究人员提供了有价值的参考。虽然没有提供具体的实验数据，但其对现有工作的梳理和对未来方向的展望具有重要意义。
🎯 应用场景
该研究成果对提升大语言模型在软件工程、自动化推理、智能助手等领域的应用具有重要意义。例如，可以应用于自动代码生成、代码调试、程序理解、智能问答等任务，提高软件开发的效率和质量。此外，还可以应用于需要复杂推理的领域，如医疗诊断、金融分析等，辅助决策。
📄 摘要（原文）
In large language models (LLMs), code and reasoning reinforce each other: code offers an abstract, modular, and logic-driven structure that supports reasoning, while reasoning translates high-level goals into smaller, executable steps that drive more advanced code intelligence. In this study, we examine how code serves as a structured medium for enhancing reasoning: it provides verifiable execution paths, enforces logical decomposition, and enables runtime validation. We also explore how improvements in reasoning have transformed code intelligence from basic completion to advanced capabilities, enabling models to address complex software engineering tasks through planning and debugging. Finally, we identify key challenges and propose future research directions to strengthen this synergy, ultimately improving LLM's performance in both areas.