Prompt Segmentation and Annotation Optimisation: Controlling LLM Behaviour via Optimised Segment-Level Annotations

📄 arXiv: 2605.14561v1 📥 PDF

作者: Devika Prasad, Luke Gerschwitz, Tong Li, Henry Xiao, Anjin Liu, Coco Wu, Anna Leontjeva, Luiz Pizzato

分类: cs.AI

发布日期: 2026-05-14

💡 一句话要点

提出PSAO框架，通过优化分段Prompt标注提升LLM控制力和效率

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: Prompt工程 大型语言模型 分段标注 优化算法 可控生成

📋 核心要点

  1. 现有Prompt优化方法计算成本高，且可能扭曲原始意图，缺乏结构化控制。
  2. PSAO框架将Prompt分解为可解释的片段，并使用人工标注指导LLM的注意力分配。
  3. 实验表明，优化的分段级别标注可以提高LLM的推理准确性和自我一致性。

📝 摘要（中文）

Prompt工程对于与生成式人工智能系统进行有效交互至关重要。然而，现有的优化方法通常在非结构化且庞大的prompt空间中运行，导致计算成本高昂并可能扭曲原始意图。我们引入了Prompt分段和标注优化（PSAO），这是一个结构化的prompt优化框架，旨在提高prompt优化过程的可控性和效率。PSAO将prompt分解为可解释的片段（例如，句子），并使用人类可读的注释（例如，{不重要}，{重要}，{非常重要}）来增强每个片段。这些注释指导大型语言模型（LLM）在响应生成期间分配注意力和消除混淆。我们正式定义了分段和注释，并证明优化的分段级别注释可以改进LLM的响应，同时保留原始prompt作为优化空间中的候选者，以防止性能下降。经验评估表明，PSAO受益于注释，提高了推理准确性和自我一致性。然而，开发用于识别最佳分段和注释的有效方法仍然具有挑战性，并留待未来研究。这项工作旨在作为概念验证，展示分段级别注释优化的可行性和潜力。

🔬 方法详解

问题定义：现有Prompt优化方法通常在庞大且非结构化的Prompt空间中搜索，计算成本高昂，并且难以保证优化后的Prompt仍然符合用户的原始意图。缺乏一种有效的方法来控制和引导LLM对Prompt不同部分的关注程度。

核心思路：PSAO的核心思路是将Prompt分解为更小、更易于管理的片段（例如，句子），并为每个片段添加人工可读的标注，以指示该片段的重要性。通过优化这些标注，可以引导LLM在生成响应时更加关注重要的片段，从而提高响应的质量和准确性。

技术框架：PSAO框架包含以下几个主要步骤：1) Prompt分段：将原始Prompt分解为多个片段。2) 标注：为每个片段添加人工可读的标注，例如“重要”、“不重要”等。3) 优化：使用优化算法搜索最佳的标注组合，以最大化LLM的性能。4) 响应生成：使用带有优化标注的Prompt生成LLM的响应。

关键创新：PSAO的关键创新在于引入了分段级别的标注优化，这使得Prompt优化过程更加结构化和可控。与传统的Prompt优化方法相比，PSAO可以更精确地控制LLM对Prompt不同部分的关注程度，从而提高响应的质量和准确性。

关键设计：论文中，分段的方式可以根据具体任务进行调整，例如按句子、短语或关键词进行分段。标注的类型也可以根据需要进行扩展，例如可以添加“非常重要”、“需要解释”等标注。优化算法的选择也取决于具体的任务和数据集，可以使用例如遗传算法、强化学习等方法进行优化。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，通过优化分段级别的标注，PSAO框架可以显著提高LLM的推理准确性和自我一致性。虽然论文中没有给出具体的性能数据，但强调了标注在提高LLM性能方面的积极作用，并验证了该方法的可行性。

🎯 应用场景

PSAO框架可应用于各种需要与LLM进行交互的场景，例如问答系统、文本摘要、机器翻译等。通过优化Prompt的结构和标注，可以提高LLM在这些任务中的性能，并使其更加可靠和可控。该方法还有助于提高LLM的可解释性，使用户更容易理解LLM的推理过程。

📄 摘要（原文）

Prompt engineering is crucial for effective interaction with generative artificial intelligence systems, yet existing optimisation methods often operate over an unstructured and vast prompt space, leading to high computational costs and potential distortions of the original intent. We introduce Prompt Segmentation and Annotation Optimisation (PSAO), a structured prompt optimisation framework designed to improve prompt optimisation controllability and efficiency. PSAO decomposes a prompt into interpretable segments (e.g., sentences) and augments each with human-readable annotations (e.g., {not important}, {important}, {very important}). These annotations guide large language models (LLMs) in allocating focus and clarifying confusion during response generation. We formally define the segmentations and annotations and demonstrate that optimised segment-level annotations can lead to improved LLM responses, with the original prompt retained as a candidate in the optimisation space to prevent performance degradation. Empirical evaluations indicate that PSAO benefits from annotations in terms of improved reasoning accuracy and self-consistency. However, developing efficient methods for identifying optimal segmentations and annotations remains challenging and is reserved for future investigation. This work is intended as a proof of concept, demonstrating the feasibility and potential of segment-level annotation optimisation.