ProgCo: Program Helps Self-Correction of Large Language Models

📄 arXiv: 2501.01264v2 📥 PDF

作者: Xiaoshuai Song, Yanan Wu, Weixun Wang, Jiaheng Liu, Wenbo Su, Bo Zheng

分类: cs.CL, cs.AI, cs.LG

发布日期: 2025-01-02 (更新: 2025-05-27)

备注: Accpeted at ACL2025 Main

🔗 代码/项目: GITHUB

💡 一句话要点

ProgCo：利用程序辅助大语言模型进行自我纠错，提升复杂推理能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 自我纠错 程序驱动 复杂推理 伪代码验证

📋 核心要点

  1. 大型语言模型在复杂推理任务中自我纠错能力不足，难以生成正确反馈，导致纠错失败。
  2. ProgCo通过程序驱动的验证和改进，利用伪代码程序进行复杂逻辑验证和双重反思，提升纠错效果。
  3. 实验表明，ProgCo在指令跟随和数学基准测试中表现出色，结合真实程序工具可进一步提升性能。

📝 摘要（中文）

自我纠错旨在使大型语言模型（LLMs）无需外部反馈即可自我验证和改进其初始响应。然而，LLMs通常无法有效地进行自我验证并生成正确的反馈，从而进一步误导改进，导致自我纠错失败，尤其是在复杂的推理任务中。在本文中，我们提出了程序驱动的自我纠错（ProgCo）。首先，程序驱动的验证（ProgVe）通过自我生成、自我执行的验证伪程序来实现复杂的验证逻辑和广泛的验证。然后，程序驱动的改进（ProgRe）接收来自ProgVe的反馈，对响应和验证程序进行双重反思和改进，以减轻复杂推理任务中不正确反馈的误导。在三个指令跟随和数学基准上的实验表明，ProgCo实现了有效的自我纠错，并且在与真实程序工具结合使用时可以进一步提高性能。我们在https://github.com/songxiaoshuai/progco上发布了我们的代码。

🔬 方法详解

问题定义：论文旨在解决大型语言模型在复杂推理任务中自我纠错能力不足的问题。现有方法的痛点在于，LLM自身难以有效地进行验证，产生的反馈可能不准确，从而误导后续的改进过程，导致自我纠错失败。尤其是在需要复杂逻辑推理的任务中，这个问题更加突出。

核心思路：论文的核心思路是引入程序作为辅助工具，驱动LLM进行自我验证和改进。通过让LLM生成并执行验证程序，可以实现更复杂的验证逻辑和更广泛的验证覆盖，从而提高验证的准确性。同时，利用验证程序的反馈，对原始响应和验证程序本身进行双重反思和改进，可以减轻不正确反馈的误导。

技术框架：ProgCo包含两个主要模块：程序驱动的验证（ProgVe）和程序驱动的改进（ProgRe）。ProgVe首先由LLM生成验证伪程序，然后执行该程序以验证LLM的初始响应。ProgRe接收来自ProgVe的反馈，并对初始响应和验证程序进行双重反思和改进。整个流程形成一个迭代的自我纠错循环。

关键创新：最重要的技术创新点在于利用程序来辅助LLM进行自我验证。与传统的LLM直接生成反馈的方式不同，ProgCo通过生成和执行验证程序，将复杂的验证逻辑转化为可执行的代码，从而提高了验证的准确性和可靠性。此外，双重反思机制也能够有效减轻不正确反馈的误导。

关键设计：ProgVe模块的关键设计在于如何生成有效的验证伪程序。论文可能采用了一些prompt工程技巧来引导LLM生成符合要求的程序。ProgRe模块的关键设计在于如何有效地利用ProgVe的反馈进行改进。论文可能设计了一种特殊的损失函数或训练策略，以鼓励LLM对原始响应和验证程序进行双重反思和改进。具体的参数设置、损失函数和网络结构等细节需要在论文中进一步查找。

🖼️ 关键图片

img_0

📊 实验亮点

实验结果表明，ProgCo在三个指令跟随和数学基准测试中均取得了显著的性能提升。与传统的自我纠错方法相比，ProgCo能够更有效地进行自我验证和改进，从而提高LLM的准确性和可靠性。此外，ProgCo与真实程序工具结合使用时，性能可以进一步提升，表明该方法具有良好的可扩展性。

🎯 应用场景

ProgCo具有广泛的应用前景，可用于提升LLM在各种复杂推理任务中的性能，例如数学问题求解、代码生成、逻辑推理等。该方法还可以应用于智能客服、自动问答系统等领域，提高LLM生成答案的准确性和可靠性。未来，ProgCo有望成为LLM自我提升的重要技术手段。

📄 摘要（原文）

Self-Correction aims to enable large language models (LLMs) to self-verify and self-refine their initial responses without external feedback. However, LLMs often fail to effectively self-verify and generate correct feedback, further misleading refinement and leading to the failure of self-correction, especially in complex reasoning tasks. In this paper, we propose Program-driven Self-Correction (ProgCo). First, program-driven verification (ProgVe) achieves complex verification logic and extensive validation through self-generated, self-executing verification pseudo-programs. Then, program-driven refinement (ProgRe) receives feedback from ProgVe, conducts dual reflection and refinement on both responses and verification programs to mitigate misleading of incorrect feedback in complex reasoning tasks. Experiments on three instruction-following and mathematical benchmarks indicate that ProgCo achieves effective self-correction, and can be further enhance performance when combined with real program tools. We release our code at https://github.com/songxiaoshuai/progco.