Improving Complex Reasoning with Dynamic Prompt Corruption: A soft prompt Optimization Approach
作者: Sinan Fan, Liang Xie, Chen Shen, Ge Teng, Xiaosong Yuan, Xiaofeng Zhang, Chenxi Huang, Wenxiao Wang, Xiaofei He, Jieping Ye
分类: cs.CL, cs.AI
发布日期: 2025-03-17 (更新: 2025-04-13)
备注: Accepted by ICLR 2025
💡 一句话要点
提出动态Prompt腐蚀(DPC)方法，提升大语言模型在复杂推理任务中的Prompt Tuning效果。
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: Prompt Tuning 大语言模型 复杂推理 动态Prompt腐蚀 信息累积
📋 核心要点
- Prompt Tuning在复杂推理任务中提升有限，甚至可能降低LLM的原始性能，表明软提示存在负面影响。
- 提出动态Prompt腐蚀(DPC)方法，通过动态触发和动态腐蚀两个阶段，选择性地调整和屏蔽软提示的影响。
- 实验结果表明，DPC能显著提升Prompt Tuning在GSM8K、MATH和AQuA等任务上的性能，准确率提升4%-8%。
📝 摘要（中文）
本文研究发现，Prompt Tuning (PT) 在复杂推理任务中对大型语言模型 (LLM) 的性能提升有限，甚至可能降低其原始性能。研究表明，软提示可能对某些实例产生积极影响，而对其他实例产生消极影响，尤其是在推理的后期阶段。通过分析，发现软提示中存在信息累积现象，并伴随着模型深层中错误的的信息流模式，最终导致不正确的推理结果。为了解决这些问题，本文提出了一种名为动态Prompt腐蚀 (DPC) 的新方法，以更好地利用软提示。DPC 动态地调整软提示的影响，具体包括动态触发和动态腐蚀两个阶段。动态触发衡量软提示的影响，识别其是有益还是有害。然后，动态腐蚀通过选择性地屏蔽干扰推理过程的关键token来减轻软提示的负面影响。在 GSM8K、MATH 和 AQuA 等多个 LLM 和推理任务上进行了大量实验，结果表明 DPC 可以持续增强 PT 的性能，与原始 prompt tuning 相比，准确率提高了 4%-8%。
🔬 方法详解
问题定义：论文旨在解决大型语言模型（LLM）在复杂推理任务中使用Prompt Tuning时性能提升有限甚至下降的问题。现有方法的问题在于，软提示可能对某些推理步骤有益，但对其他步骤有害，尤其是在推理的后期阶段，导致信息累积和错误的信息流。
核心思路：论文的核心思路是动态地调整软提示的影响，根据其对推理过程的实际效果来决定是否保留或屏蔽某些提示token。通过识别并消除有害的软提示token，从而提高整体的推理准确性。这种动态调整避免了静态prompt tuning中一刀切的问题。
技术框架：DPC方法包含两个主要阶段：动态触发（Dynamic Trigger）和动态腐蚀（Dynamic Corruption）。动态触发阶段负责评估软提示对推理过程的影响，判断其是有益还是有害。动态腐蚀阶段则根据动态触发的结果，选择性地屏蔽那些被判断为有害的软提示token。整体流程是先用软提示进行推理，然后评估提示的影响，最后根据评估结果进行动态调整。
关键创新：DPC的关键创新在于其动态性，能够根据推理过程中的实际情况来调整软提示的影响。与传统的静态prompt tuning相比，DPC能够更好地适应不同的推理步骤和实例，从而提高整体的推理性能。通过动态地识别和消除有害的软提示token，DPC能够有效地缓解信息累积和错误信息流的问题。
关键设计：动态触发阶段需要设计一种有效的指标来衡量软提示的影响。具体实现方式未知，可能涉及到计算梯度、注意力权重或者其他与推理结果相关的指标。动态腐蚀阶段则需要确定如何选择性地屏蔽软提示token，可能采用基于阈值的过滤方法，或者使用更复杂的masking策略。损失函数的设计也需要考虑如何引导模型学习到更有益的软提示模式。
🖼️ 关键图片
📊 实验亮点
实验结果表明，DPC方法在GSM8K、MATH和AQuA等复杂推理任务上，相较于原始的Prompt Tuning，准确率提升了4%-8%。这一显著的性能提升验证了DPC方法的有效性，表明其能够有效地缓解软提示在复杂推理任务中的负面影响。实验结果还表明，DPC方法具有较好的泛化能力，能够在不同的LLM和推理任务上取得一致的性能提升。
🎯 应用场景
该研究成果可应用于各种需要复杂推理能力的自然语言处理任务，例如数学问题求解、常识推理、代码生成等。通过提升LLM在这些任务上的性能，可以提高自动化推理系统的可靠性和准确性，从而在教育、金融、医疗等领域发挥更大的作用。未来，该方法可以进一步扩展到其他类型的提示学习和模型微调中。
📄 摘要（原文）
Prompt-tuning (PT) for large language models (LLMs) can facilitate the performance on various conventional NLP tasks with significantly fewer trainable parameters. However, our investigation reveals that PT provides limited improvement and may even degrade the primitive performance of LLMs on complex reasoning tasks. Such a phenomenon suggests that soft prompts can positively impact certain instances while negatively affecting others, particularly during the later phases of reasoning. To address these challenges, We first identify an information accumulation within the soft prompts. Through detailed analysis, we demonstrate that this phenomenon is often accompanied by erroneous information flow patterns in the deeper layers of the model, which ultimately lead to incorrect reasoning outcomes. we propose a novel method called Dynamic Prompt Corruption (DPC) to take better advantage of soft prompts in complex reasoning tasks, which dynamically adjusts the influence of soft prompts based on their impact on the reasoning process. Specifically, DPC consists of two stages: Dynamic Trigger and Dynamic Corruption. First, Dynamic Trigger measures the impact of soft prompts, identifying whether beneficial or detrimental. Then, Dynamic Corruption mitigates the negative effects of soft prompts by selectively masking key tokens that interfere with the reasoning process. We validate the proposed approach through extensive experiments on various LLMs and reasoning tasks, including GSM8K, MATH, and AQuA. Experimental results demonstrate that DPC can consistently enhance the performance of PT, achieving 4%-8% accuracy gains compared to vanilla prompt tuning, highlighting the effectiveness of our approach and its potential to enhance complex reasoning in LLMs.