Schema for In-Context Learning

📄 arXiv: 2510.13905v2 📥 PDF

作者: Pan Chen, Shaohong Chen, Mark Wang, Shi Xuan Leong, Priscilla Fung, Varinia Bernales, Alan Aspuru-Guzik

分类: cs.CL, cs.AI

发布日期: 2025-10-14 (更新: 2025-10-23)

💡 一句话要点

提出SA-ICL框架，通过显式schema激活提升LLM的上下文学习能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 上下文学习 大型语言模型 图式理论 知识表示 推理增强

📋 核心要点

  1. 传统上下文学习缺乏知识检索和迁移的显式模块，限制了LLM的推理能力。
  2. SA-ICL框架通过提取先验示例中的关键推理步骤，构建显式的schema来指导LLM的推理。
  3. 实验表明，SA-ICL能显著提升LLM在GPQA数据集上的性能，尤其是在高质量示例下。

📝 摘要（中文）

本文提出SCHEMA ACTIVATED IN CONTEXT LEARNING (SA-ICL) 框架，旨在通过模拟人类认知中的图式理论，提升大型语言模型（LLM）的上下文学习能力。SA-ICL从先验示例中提取认知构建块的表示，创建抽象的schema，即关键推理步骤及其关系的轻量级结构化模板。该schema用于增强模型在处理新问题时的推理过程。实验表明，LLM通常缺乏隐式形成和利用基于schema的学习表示的能力，而SA-ICL能够显著提升性能。在GPQA数据集的化学和物理问题上，当单个演示示例质量较高时，SA-ICL能够稳定提升性能，最高达36.19%，同时减少对演示数量的依赖并增强可解释性。SA-ICL不仅连接了从模式启动到思维链提示的不同ICL策略，而且为增强LLM中类人推理开辟了新途径。

🔬 方法详解

问题定义：现有基于示例的上下文学习方法缺乏在抽象层面进行知识检索和迁移的显式模块。大型语言模型虽然具备一定的上下文学习能力，但难以有效地从少量示例中提取通用模式并应用于新的问题，尤其是在需要复杂推理的场景下。这导致模型对示例的数量和质量高度敏感，且缺乏可解释性。

核心思路：SA-ICL的核心思路是借鉴认知科学中的图式理论，认为人类通过激活预先存在的心理框架（图式）来理解新信息。因此，SA-ICL显式地构建一个schema，作为关键推理步骤及其关系的结构化模板，用于指导LLM的推理过程。通过将知识表示为可操作的schema，模型能够更好地泛化到新的问题。

技术框架：SA-ICL框架包含以下主要阶段：1) Schema提取：从给定的示例中提取关键的推理步骤和关系，形成schema。2) Schema激活：当模型遇到新的问题时，激活相应的schema。3) 推理增强：利用激活的schema来指导模型的推理过程，例如，通过提示模型按照schema中的步骤进行推理。整体流程类似于人类在解决问题时，首先回忆相关的知识框架，然后利用该框架来组织和指导解题步骤。

关键创新：SA-ICL最重要的创新点在于引入了显式的schema表示，将上下文学习过程中的知识提取和迁移过程显式化。与传统的隐式学习方法相比，SA-ICL能够更好地控制模型的推理过程，提高模型的可解释性和泛化能力。此外，SA-ICL还能够连接不同的ICL策略，例如模式启动和思维链提示，提供了一个统一的框架。

关键设计：论文中schema的具体提取和表示方法未详细说明，这部分是未知信息。但可以推测，schema的表示可能涉及到对示例进行解析，提取关键的实体、关系和推理规则，并将其编码为一种结构化的形式，例如知识图谱或逻辑规则。损失函数的设计可能涉及到最大化模型在schema指导下的推理结果与真实答案之间的相似度。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，SA-ICL在GPQA数据集的化学和物理问题上取得了显著的性能提升。当使用高质量的单个演示示例时，SA-ICL能够提升性能高达36.19%。此外，SA-ICL还能够减少对演示数量的依赖，这意味着在资源有限的情况下，仍然可以通过SA-ICL来获得良好的性能。这些结果表明，SA-ICL是一种有效的上下文学习方法，能够显著提升LLM的推理能力。

🎯 应用场景

SA-ICL框架具有广泛的应用潜力，可以应用于各种需要复杂推理的场景，例如科学问题解答、数学问题求解、代码生成等。通过显式地构建和利用schema，可以提高LLM在这些领域的性能和可解释性，并减少对大量训练数据的依赖。此外，SA-ICL还可以用于构建更智能的对话系统和智能助手，使其能够更好地理解用户的意图并提供更准确的答案。

📄 摘要（原文）

In-Context Learning (ICL) enables transformer-based language models to adapt to new tasks by conditioning on demonstration examples. However, traditional example-driven in-context learning lacks explicit modules for knowledge retrieval and transfer at the abstraction level. Inspired by cognitive science, specifically schema theory, which holds that humans interpret new information by activating pre-existing mental frameworks (schemas) to structure understanding, we introduce SCHEMA ACTIVATED IN CONTEXT LEARNING (SA-ICL). This framework extracts the representation of the building blocks of cognition for the reasoning process instilled from prior examples, creating an abstracted schema, a lightweight, structured template of key inferential steps and their relationships, which is then used to augment a model's reasoning process when presented with a novel question. We demonstrate that a broad range of large language models (LLMs) lack the capacity to form and utilize internal schema-based learning representations implicitly, but instead benefit significantly from explicit schema-based scaffolding. Across chemistry and physics questions from the GPQA dataset, our experiments show that SA-ICL consistently boosts performance, up to 36.19 percent, when the single demonstration example is of high quality, which simultaneously reduces reliance on the number of demonstrations and enhances interpretability. SCHEMA ACTIVATED IN CONTEXT LEARNING not only bridges disparate ICL strategies ranging from pattern priming to Chain-of-Thought prompting, but also paves a new path for enhancing human-like reasoning in LLMs.