POS-Signature Demonstration Retrieval for In-Context Dependency Parsing

📄 arXiv: 2610.31966v1 📥 PDF

作者: Muhammad Azam Afridi, Rajab Ali, Marco Passarotti

分类: cs.CL

发布日期: 2026-10-22

备注: 14 pages, 1 figure, 8 tables. Code and research artifacts: https://github.com/azamafridi23/pos-signature-parsing

💡 一句话要点

提出POS签名策略以优化上下文依赖解析示例检索

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 上下文学习 示例检索 依赖解析 词性统计 自然语言处理

📋 核心要点

  1. 现有的示例检索方法主要依赖语义相似性，可能无法有效捕捉结构化预测中的相关性，导致性能不足。
  2. 本文提出了一种基于词性统计的POS签名策略，通过加权的词性统计来表示句子，从而优化示例检索过程。
  3. 实验结果表明，POS签名检索在标注附加分数上优于传统的语义检索，显示出显著的性能提升。

📝 摘要（中文）

在上下文学习中，示例的检索通常依赖于语义相似性，但这可能无法有效反映结构化预测中的相关性。本文研究了通用依赖解析中的示例选择，提出了一种基于词性统计的POS签名策略，从标注的训练集中检索三个长度兼容的金标准解析示例。通过对2,077个句子的UD英语网络树库测试集进行评估，比较了该策略与固定和语义三-shot基线的表现。结果显示，POS签名检索在两个模型中均获得了最高的标注附加分数，超越了语义检索，且结果具有统计显著性。我们发布了相关提示、归档输出和评估代码。

🔬 方法详解

问题定义：本文旨在解决上下文学习中示例检索的相关性不足问题，现有方法多依赖语义相似性，未能有效支持结构化预测任务。

核心思路：提出一种基于词性统计的POS签名策略，通过加权的词性信息来表示句子，从而提高示例的相关性和检索效果。

技术框架：该方法首先从标注的训练集中提取句子的POS签名，然后根据句子的长度兼容性检索三个金标准解析示例，最后将这些示例用于模型的上下文学习。

关键创新：最重要的创新在于引入了POS签名策略，这种方法与传统的语义检索方法本质上不同，能够更好地捕捉句子结构的相关性。

关键设计：在设计中，采用了加权的词性统计来构建句子的表示，确保检索的示例在长度和解析质量上与目标句子相匹配。

📊 实验亮点

实验结果显示，POS签名检索在两个语言模型中分别获得了72.4和73.2的标注附加分数，超越了语义检索1.9和2.7分，且统计分析表明结果具有显著性。这一发现支持了POS签名策略在英语EWT数据集上的有效性。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理中的依赖解析、机器翻译和文本生成等任务。通过优化示例检索，能够提升模型的学习效率和解析准确性，具有重要的实际价值和广泛的应用前景。

📄 摘要（原文）

Demonstrations for in-context learning are often retrieved by semantic similarity, which may be a poor proxy for relevance in structured prediction. We study demonstration selection for Universal Dependencies parsing with a POS-signature policy that represents sentences with weighted part-of-speech statistics and retrieves three length-compatible, gold-parsed examples from the labeled training split. We evaluate two open-weight language models without fine-tuning on all 2,077 sentences of the UD English Web Treebank test set, comparing the policy with shot- and format-matched fixed and semantic three-shot baselines, as well as zero-shot, chain-of-thought, and critique-refinement systems. POS-signature retrieval yields the highest labeled attachment score among the tested prompting systems for both models (72.4 and 73.2), outperforming semantic retrieval by 1.9 and 2.7 points; paired-bootstrap 95% confidence intervals exclude zero for both contrasts. Chain-of-thought and refinement comparisons vary across models. These exploratory results favor the tested POS-signature retrieval approach on English-EWT. We release the prompts, archived outputs, and evaluation code.