When Context Misleads: In-context Learning with Jurisdiction in Large Language Models

📄 arXiv: 2609.27603v1 📥 PDF

作者: Pei-lin Li, Qingle Liu, Junyang Feng, Siyu Li, Sunqi Fan, Xin-Sheng Chen, Shuojin Yang

分类: cs.CL, cs.AI

发布日期: 2026-09-23

🔗 代码/项目: GITHUB

💡 一句话要点

提出J-ICL以解决上下文权威性不足问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 上下文学习 大型语言模型 上下文权威性 模型微调 信息检索 自然语言处理

📋 核心要点

  1. 现有的ICL后训练方法在上下文权威性判断上存在不足，导致模型对误导性上下文的敏感性增加。
  2. 本文提出了上下文权威性学习（J-ICL），通过将上下文验证纳入训练目标来解决这一问题。
  3. 实验结果显示，J-ICL在四个模型基础上平均提高了ICLEval 5.84个百分点，现实准确性提高了9.20个百分点。

📝 摘要（中文）

上下文学习（ICL）已成为现代大型语言模型（LLM）部署的基石。然而，现有的ICL后训练方法存在一个关键盲点：它们在提取示例中的模式时，往往忽视了上下文权威性，即判断上下文信息是否应主导最终答案的能力。为此，本文引入FakeContextBench基准，评估商业和开源模型在七个领域的表现。结果表明，仅依靠大规模预训练不足以实现可靠的上下文权威性区分，且普遍的ICL微调方法可能会增加对误导性上下文的敏感性，导致现实准确性下降。为了解决这一权衡，本文提出了上下文权威性学习（J-ICL），该框架将上下文验证纳入训练目标，显著提高了模型的性能。

🔬 方法详解

问题定义：本文旨在解决现有ICL方法在上下文权威性判断上的不足，现有方法在提取模式时常常忽视上下文信息的权威性，导致模型对误导性信息的敏感性增加。

核心思路：提出的J-ICL框架通过将上下文验证纳入训练目标，旨在提高模型在面对误导性上下文时的鲁棒性，从而提升其判断能力。

技术框架：J-ICL的整体架构包括上下文验证模块和训练目标调整模块，前者用于评估上下文信息的权威性，后者则通过优化损失函数来增强模型的学习效果。

关键创新：J-ICL的核心创新在于将上下文验证机制引入ICL训练流程，这一设计与传统的ICL方法本质上不同，后者通常仅关注模式提取而忽视上下文的权威性。

关键设计：在模型训练中，J-ICL采用了新的损失函数，结合上下文验证的结果来调整模型的学习方向，确保模型在面对不同上下文时能够做出更准确的判断。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果表明，J-ICL在四个模型基础上平均提高了ICLEval 5.84个百分点，现实准确性提高了9.20个百分点，相较于MetaICL和Symbol Tuning，现实率平均提升了18.09个百分点，显示出ICL能力与抵抗误导性上下文的双重提升。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、信息检索和智能问答系统等。通过提高模型对上下文权威性的判断能力，J-ICL能够在实际应用中减少误导性信息对决策的影响，从而提升用户体验和信息准确性。

📄 摘要（原文）

In-Context Learning (ICL) has become a cornerstone of modern LLM deployment. However, existing ICL post-training methods have a critical blind spot: they excel at extracting patterns from demonstrations while often neglecting context authority, the ability to determine whether contextual information should govern the final answer. To benchmark this capability, we introduce FakeContextBench, which contains pseudoscientific claims across seven domains. Our evaluation of commercial and open-source models shows that large-scale pre-training alone is insufficient for reliable context-authority discrimination. Moreover, prevalent ICL fine-tuning methods can increase susceptibility to misleading context, reducing reality accuracy by up to 14.95 percentage points relative to the base model. To address this trade-off, we propose Jurisdiction In-Context Learning (J-ICL), a post-training framework that incorporates context validation into the training objective. Across four model backbones, J-ICL improves ICLEval by an average of 5.84 percentage points and reality accuracy by 9.20 points over the corresponding base models. It also raises the Reality Rate by an average of 18.09 points relative to MetaICL and Symbol Tuning. These results demonstrate that ICL capability and resistance to deceptive context can be improved together. The benchmark is available at https://github.com/peilin717/FakeContext-Bench.