Prism-$Δ$: Differential Subspace Steering for Prompt Highlighting in Large Language Models

📄 arXiv: 2603.10705v1 📥 PDF

作者: Yuyao Ge, Shenghua Liu, Yiwei Wang, Tianyu Liu, Baolong Bi, Lingrui Mei, Jiayu Yao, Jiafeng Guo, Xueqi Cheng

分类: cs.CL

发布日期: 2026-03-11

备注: 21 pages, 14 figures

💡 一句话要点

提出PRISM-$Δ$，通过差异子空间引导实现大语言模型中的Prompt高亮。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: Prompt高亮 大语言模型 差异子空间 注意力机制 长文本检索

📋 核心要点

  1. 现有Prompt高亮方法难以区分相关和不相关上下文，易受共享结构模式干扰。
  2. PRISM-$Δ$通过分解差异协方差矩阵，最大化判别能量并消除共享方向，提取有效引导方向。
  3. 实验表明，PRISM-$Δ$在多个基准测试和模型上显著提升性能，并降低了流畅性成本。

📝 摘要（中文）

Prompt高亮旨在引导大型语言模型在生成过程中优先考虑用户指定的文本片段。一个关键挑战是提取能够捕捉相关和不相关上下文之间差异的引导方向，而不是两者共有的结构模式。我们提出了基于投影的相关性引导方法PRISM-$Δ$，它分解正负交叉协方差矩阵之间的差异，以最大化判别能量，同时消除共享方向。每个注意力头接收一个连续的softplus重要性权重，允许弱但有用的头以降低的强度做出贡献。该框架自然地扩展到Value表示，捕获仅使用Key的方法无法利用的内容通道信号。在四个基准测试和五个模型上，PRISM-$Δ$在20个配置中的19个上匹配或超过了现有的最佳方法，相对增益高达+10.6%，同时将引导的流畅性成本降低了一半。PRISM-$Δ$还可以扩展到长上下文检索，优于现有的最佳方法，相对增益高达+4.8%。PRISM-$Δ$与FlashAttention兼容，并且增加了可忽略不计的内存开销。

🔬 方法详解

问题定义：Prompt高亮旨在引导LLM在生成文本时更加关注用户指定的文本片段。现有方法的痛点在于，提取的引导方向往往包含相关和不相关上下文共有的结构信息，而无法有效区分二者，导致高亮效果不佳，甚至影响生成文本的流畅性。

核心思路：PRISM-$Δ$的核心思路是关注相关和不相关上下文之间的差异，而非共性。通过分解正负交叉协方差矩阵的差异，提取能够最大化判别能量的引导方向，从而更有效地引导LLM关注目标文本片段。

技术框架：PRISM-$Δ$框架主要包含以下几个步骤：1) 构建正负样本数据集，正样本包含与目标文本片段相关的上下文，负样本包含不相关的上下文；2) 计算正负样本的交叉协方差矩阵；3) 分解两个协方差矩阵的差异，得到差异子空间；4) 利用差异子空间的信息，计算每个注意力头的权重，并将其应用于LLM的生成过程。

关键创新：PRISM-$Δ$的关键创新在于其差异子空间引导方法。与现有方法不同，PRISM-$Δ$直接关注相关和不相关上下文之间的差异，从而能够提取更有效的引导方向。此外，PRISM-$Δ$还考虑了Value表示，利用了Key-only方法忽略的内容通道信息。

关键设计：PRISM-$Δ$使用softplus函数来计算每个注意力头的重要性权重，允许弱但有用的头以降低的强度做出贡献。此外，该方法与FlashAttention兼容，并增加了可忽略不计的内存开销。损失函数的设计目标是最大化差异子空间的能量，同时最小化共享子空间的能量。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在四个基准测试和五个模型上，PRISM-$Δ$在20个配置中的19个上匹配或超过了现有的最佳方法，相对增益高达+10.6%，同时将引导的流畅性成本降低了一半。在长上下文检索任务中，PRISM-$Δ$优于现有的最佳方法，相对增益高达+4.8%。

🎯 应用场景

PRISM-$Δ$可应用于各种需要突出显示特定文本片段的场景，例如信息检索、问答系统、文本摘要等。通过引导LLM更加关注关键信息，可以提高生成文本的质量和相关性，提升用户体验。该方法还可用于长文本处理，例如长文档检索和分析。

📄 摘要（原文）

Prompt highlighting steers a large language model to prioritize user-specified text spans during generation. A key challenge is extracting steering directions that capture the difference between relevant and irrelevant contexts, rather than shared structural patterns common to both. We propose PRISM-$Δ$ (Projection-based Relevance-Informed Steering Method), which decomposes the difference between positive and negative cross-covariance matrices to maximize discriminative energy while eliminating shared directions. Each attention head receives a continuous softplus importance weight, letting weak-but-useful heads contribute at reduced strength. The framework extends naturally to Value representations, capturing content-channel signal that Key-only methods leave unused. Across four benchmarks and five models, PRISM-$Δ$ matches or exceeds the best existing method on 19 of 20 configurations, with relative gains up to +10.6%, while halving the fluency cost of steering. PRISM-$Δ$ also scales to long-context retrieval, outperforming the best existing method by up to +4.8% relative gain. PRISM-$Δ$ is compatible with FlashAttention and adds negligible memory overhead.