Learning from Prompt itself: the Hierarchical Attribution Prompt Optimization

📄 arXiv: 2601.02683v1 📥 PDF

作者: Dongyu Chen, Jian Ma, Xianpeng Zhang, Lei Zhang, Haonan Lu, Chen Chen, Chuangchuang Wang, Kai Tang

分类: cs.AI

发布日期: 2026-01-06

💡 一句话要点

提出HAPO框架，解决提示词优化中的漂移和可解释性问题，提升多模态任务性能。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 提示词优化 大型语言模型 多模态学习 错误归因 语义单元 可解释性 提示词漂移

📋 核心要点

  1. 现有提示词优化方法易导致“提示词漂移”，即优化后在部分任务上性能下降，且从头生成提示词缺乏可解释性。
  2. HAPO框架通过动态归因机制定位错误，利用语义单元优化编辑提示词片段，并支持多模态任务。
  3. 实验表明，HAPO在图像问答和复杂任务分析中表现出更高的优化效率，优于其他自动提示词优化方法。

📝 摘要（中文）

优化是众多学科的基础，通常遵循迭代过程，改进初始解决方案以提高性能。这一原则在提示工程中同样至关重要，为大型语言模型设计有效的提示词构成了一项复杂的优化挑战。结构化的优化方法需要自动化或半自动化的程序来开发改进的提示词，从而减少人工干预，提高性能，并产生可解释的过程。然而，当前的提示词优化方法通常会导致提示词漂移，即新的提示词修复了先前的失败，但损害了先前成功任务的性能。此外，从头开始生成提示词可能会损害可解释性。为了解决这些限制，本研究提出了分层归因提示优化（HAPO）框架，该框架引入了三个创新：（1）针对训练数据和提示历史中的错误模式的动态归因机制，（2）用于编辑功能性提示词片段的语义单元优化，以及（3）支持端到端LLM和LLM-MLLM工作流程的多模态友好型进展。应用于单/多图像问答（例如，OCRV2）和复杂任务分析（例如，BBH）等场景，HAPO展示了增强的优化效率，优于同类自动化提示词优化方法，并为可扩展的提示工程建立了可扩展的范例。

🔬 方法详解

问题定义：现有提示词优化方法存在“提示词漂移”问题，即为了解决某些特定错误而修改提示词，反而导致在其他任务上的性能下降。此外，从零开始生成提示词的方式缺乏可解释性，难以理解提示词有效的原因。因此，需要一种既能有效优化提示词，又能保持其可解释性，并避免性能漂移的方法。

核心思路：HAPO的核心思路是基于错误归因，有选择性地优化提示词。它不是盲目地修改整个提示词，而是首先分析哪些部分的提示词导致了错误，然后只针对这些部分进行优化。同时，HAPO采用语义单元级别的优化，保持了提示词的结构和可解释性。此外，HAPO还考虑了多模态任务的需求，使其能够应用于更广泛的场景。

技术框架：HAPO框架主要包含三个模块：1) 动态归因机制：用于识别导致错误的提示词片段。该机制会分析训练数据和提示历史，找出错误模式，并将这些模式与特定的提示词片段关联起来。2) 语义单元优化：用于编辑功能性的提示词片段。该模块将提示词分解为语义单元，例如指令、约束等，然后针对每个语义单元进行优化。3) 多模态友好型进展：支持端到端LLM和LLM-MLLM工作流程。该模块允许HAPO应用于各种多模态任务，例如图像问答、视频理解等。

关键创新：HAPO最重要的技术创新在于其动态归因机制和语义单元优化。动态归因机制能够精准地定位导致错误的提示词片段，避免了盲目修改整个提示词带来的性能漂移问题。语义单元优化则保持了提示词的结构和可解释性，使得用户能够理解提示词有效的原因。与现有方法相比，HAPO更加注重提示词的可解释性和稳定性。

关键设计：动态归因机制可能涉及到注意力机制或者梯度分析等技术，用于确定哪些提示词片段对模型的输出影响最大。语义单元优化可能采用基于规则或者基于学习的方法，对每个语义单元进行修改。多模态友好型进展可能涉及到模态对齐或者跨模态融合等技术，使得HAPO能够处理各种多模态输入。

🖼️ 关键图片

fig_0

📊 实验亮点

HAPO在单/多图像问答（例如OCRV2）和复杂任务分析（例如BBH）等任务上进行了实验，结果表明HAPO的优化效率优于其他自动提示词优化方法。具体性能数据和提升幅度在论文中进行了详细展示，证明了HAPO在实际应用中的有效性。

🎯 应用场景

HAPO框架可广泛应用于各种需要提示词工程的场景，例如自然语言处理、计算机视觉、多模态学习等。其潜在应用领域包括智能客服、机器翻译、图像描述、视频理解等。通过自动化提示词优化，HAPO可以显著降低人工成本，提高模型性能，并促进提示词工程的规模化应用。

📄 摘要（原文）

Optimization is fundamental across numerous disciplines, typically following an iterative process of refining an initial solution to enhance performance. This principle is equally critical in prompt engineering, where designing effective prompts for large language models constitutes a complex optimization challenge. A structured optimization approach requires automated or semi-automated procedures to develop improved prompts, thereby reducing manual effort, improving performance, and yielding an interpretable process. However, current prompt optimization methods often induce prompt drift, where new prompts fix prior failures but impair performance on previously successful tasks. Additionally, generating prompts from scratch can compromise interpretability. To address these limitations, this study proposes the Hierarchical Attribution Prompt Optimization (HAPO) framework, which introduces three innovations: (1) a dynamic attribution mechanism targeting error patterns in training data and prompting history, (2) semantic-unit optimization for editing functional prompt segments, and (3) multimodal-friendly progression supporting both end-to-end LLM and LLM-MLLM workflows. Applied in contexts like single/multi-image QA (e.g., OCRV2) and complex task analysis (e.g., BBH), HAPO demonstrates enhanced optimization efficiency, outperforming comparable automated prompt optimization methods and establishing an extensible paradigm for scalable prompt engineering.