Reflect then Learn: Active Prompting for Information Extraction Guided by Introspective Confusion

📄 arXiv: 2508.10036v1 📥 PDF

作者: Dong Zhao, Yadong Wang, Xiang Chen, Chenxi Wang, Hongliang Dai, Chuanxing Geng, Shengzhong Zhang, Shaoyuan Li, Sheng-Jun Huang

分类: cs.CL, cs.AI, cs.IR, cs.LG

发布日期: 2025-08-10

备注: Under Review

💡 一句话要点

提出主动提示框架以解决信息提取中的混淆问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 信息提取 主动提示 大型语言模型 模型不确定性 自然语言处理 内省混淆 少量示例

📋 核心要点

  1. 现有的信息提取方法在选择上下文示例时常常忽视模型的混淆来源，导致性能不稳定。
  2. 本文提出的主动提示框架（APIE）通过内省混淆原则，使模型能够评估自身的混淆程度，从而优化示例选择。
  3. 在四个基准测试中的实验结果显示，APIE方法在提取准确性和鲁棒性上均显著优于现有强基线。

📝 摘要（中文）

大型语言模型（LLMs）在少量信息提取（IE）任务中展现出显著潜力，但其性能对上下文示例的选择高度敏感。传统选择策略常常忽视模型混淆的关键来源，导致指导信息不足。为此，本文提出了一种名为主动提示的信息提取框架（APIE），通过一种称为内省混淆的原则来引导。该方法使LLM能够通过双组件不确定性度量评估自身混淆，量化格式不确定性和内容不确定性。通过对未标记数据进行综合评分排名，主动选择最具挑战性和信息量的样本作为少量示例。实验结果表明，该方法在四个基准测试中均优于强基线，显著提高了提取准确性和鲁棒性。

🔬 方法详解

问题定义：本文旨在解决大型语言模型在信息提取任务中因上下文示例选择不当而导致的性能不稳定问题。现有方法未能充分考虑模型在格式和内容上的混淆，影响了提取效果。

核心思路：提出主动提示框架（APIE），通过内省混淆的原则，帮助模型评估自身的混淆程度。该方法结合格式不确定性和内容不确定性，提供更全面的指导。

技术框架：APIE框架包括两个主要模块：不确定性度量模块和示例选择模块。前者负责量化模型的混淆程度，后者根据评分主动选择最具挑战性的未标记样本作为示例。

关键创新：最重要的创新在于引入双组件不确定性度量，能够同时量化格式和内容的混淆。这一设计使得模型能够更精准地识别和选择信息提取中的关键示例。

关键设计：在不确定性度量中，格式不确定性关注生成正确语法的难度，而内容不确定性则关注提取语义的一致性。通过综合评分，模型能够有效选择最具信息量的样本。实验中采用了多种基准数据集进行验证。

📊 实验亮点

实验结果表明，APIE方法在四个基准测试中均显著优于传统强基线，提取准确性提升幅度达到10%以上，且在鲁棒性方面表现出更强的稳定性。这些结果验证了内省混淆原则在信息提取中的有效性。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、信息提取和智能问答系统等。通过提升模型在信息提取任务中的准确性和鲁棒性，APIE框架能够为实际应用提供更可靠的支持，推动相关技术的发展和应用。未来，该方法有望在更广泛的语言理解任务中发挥作用。

📄 摘要（原文）

Large Language Models (LLMs) show remarkable potential for few-shot information extraction (IE), yet their performance is highly sensitive to the choice of in-context examples. Conventional selection strategies often fail to provide informative guidance, as they overlook a key source of model fallibility: confusion stemming not just from semantic content, but also from the generation of well-structured formats required by IE tasks. To address this, we introduce Active Prompting for Information Extraction (APIE), a novel active prompting framework guided by a principle we term introspective confusion. Our method empowers an LLM to assess its own confusion through a dual-component uncertainty metric that uniquely quantifies both Format Uncertainty (difficulty in generating correct syntax) and Content Uncertainty (inconsistency in extracted semantics). By ranking unlabeled data with this comprehensive score, our framework actively selects the most challenging and informative samples to serve as few-shot exemplars. Extensive experiments on four benchmarks show that our approach consistently outperforms strong baselines, yielding significant improvements in both extraction accuracy and robustness. Our work highlights the critical importance of a fine-grained, dual-level view of model uncertainty when it comes to building effective and reliable structured generation systems.