Optimizing LLM Prompt Engineering with DSPy Based Declarative Learning

📄 arXiv: 2604.04869 📥 PDF

作者: Shiek Ruksana, Sailesh Kiran Kurra, Thipparthi Sanjay Baradwaj

分类: cs.LG

发布日期: 2026-04-07

💡 一句话要点

利用DSPy声明式学习优化LLM提示工程，提升事实准确性和泛化能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 提示工程 声明式学习 DSPy框架 自动化优化

📋 核心要点

  1. 传统提示工程依赖试错，缺乏可扩展性和泛化性，难以适应复杂任务。
  2. 论文提出基于DSPy的声明式学习方法，自动化提示构建，优化LLM文本处理流程。
  3. 实验表明，该方法能显著提升LLM的事实准确性，降低幻觉率，并提高泛化能力。

📝 摘要（中文）

大型语言模型（LLMs）在各种自然语言处理任务中表现出强大的性能；然而，它们的有效性高度依赖于提示的设计、结构和嵌入的推理信号。传统的提示工程方法主要依赖于启发式的试错过程，这限制了跨任务的可扩展性、可重复性和泛化能力。DSPy是一个用于优化文本处理流水线的声明式框架，它通过为基于LLM的系统实现自动化、模块化和可学习的提示构建，提供了一种替代方法。本文对基于DSPy的声明式学习在提示优化方面的应用进行了系统研究，重点是提示合成、校正、校准和自适应推理控制。我们引入了一个统一的DSPy LLM架构，该架构结合了符号规划、无梯度优化和自动模块重写，以减少幻觉、提高事实基础，并避免不必要的提示复杂性。在推理任务、检索增强生成和多步思维链基准上进行的实验评估表明，输出的可靠性、效率和跨模型的泛化能力得到了持续提高。结果表明，事实准确性提高了30%到45%，幻觉率降低了约25%。最后，我们概述了关键的局限性，并讨论了声明式提示优化框架的未来研究方向。

🔬 方法详解

问题定义：现有提示工程方法依赖人工设计，效率低，难以泛化到不同任务和模型。痛点在于缺乏自动化、可学习的提示优化机制，导致LLM在复杂任务中表现不稳定，容易产生幻觉。

核心思路：利用DSPy框架，将提示工程转化为声明式编程问题。核心思想是定义任务目标，而非手动编写提示。DSPy负责自动生成、优化和校正提示，使LLM适应特定任务，提高性能和鲁棒性。

技术框架：论文构建了一个统一的DSPy LLM架构，包含以下主要模块：1) 提示合成：自动生成初始提示；2) 提示校正：根据反馈信号调整提示；3) 提示校准：优化提示参数，提高输出可靠性；4) 自适应推理控制：根据任务难度动态调整推理步骤。整体流程包括定义任务、构建DSPy程序、编译优化和评估部署。

关键创新：最重要的创新在于将提示工程从启发式的手工过程转变为基于声明式学习的自动化优化过程。与传统方法相比，DSPy能够自动探索提示空间，找到更优的提示策略，并根据数据进行自适应调整。

关键设计：论文采用符号规划进行提示合成，利用无梯度优化算法（如进化策略）进行提示参数优化，并使用自动模块重写技术减少幻觉。关键参数包括提示模板、优化目标、反馈信号和重写规则。损失函数的设计旨在最大化任务准确率，同时最小化幻觉率。

📊 实验亮点

实验结果表明，基于DSPy的声明式学习方法在推理任务、检索增强生成和多步思维链基准上均取得了显著提升。具体而言，事实准确性提高了30%到45%，幻觉率降低了约25%。这些结果表明，该方法能够有效提高LLM的性能和可靠性。

🎯 应用场景

该研究成果可广泛应用于各种需要LLM进行文本处理的任务，例如问答系统、文本摘要、机器翻译、代码生成等。通过自动化提示优化，可以显著提高LLM在这些领域的性能和可靠性，降低人工成本，并加速LLM技术的落地应用。未来，该方法有望应用于更复杂的任务，例如多模态学习和强化学习。

📄 摘要（原文）

Large Language Models (LLMs) have shown strong performance across a wide range of natural language processing tasks; however, their effectiveness is highly dependent on prompt design, structure, and embedded reasoning signals. Conventional prompt engineering methods largely rely on heuristic trial-and-error processes, which limits scalability, reproducibility, and generalization across tasks. DSPy, a declarative framework for optimizing text-processing pipelines, offers an alternative approach by enabling automated, modular, and learnable prompt construction for LLM-basedthis http URLpaper presents a systematic study of DSPy-based declarative learning for prompt optimization, with emphasis on prompt synthesis, correction, calibration, and adaptive reasoning control. We introduce a unified DSPy LLM architecture that combines symbolic planning, gradient free optimization, and automated module rewriting to reduce hallucinations, improve factual grounding, and avoid unnecessary prompt complexity. Experimental evaluations conducted on reasoning tasks, retrieval-augmented generation, and multi-step chain-of-thought benchmarks demonstrate consistent gains in output reliability, efficiency, and generalization across models. The results show improvements of up to 30 to 45% in factual accuracy and a reduction of approximately 25% in hallucination rates. Finally, we outline key limitations and discuss future research directions for declarative prompt optimization frameworks.