CORE: A Conceptual Reasoning Layer for Large Language Models

📄 arXiv: 2512.09222v1 📥 PDF

作者: Vishwas Hegde, Vindhya Shigehalli

分类: cs.CL, cs.AI

发布日期: 2025-12-10

备注: Independent system-level architectural proposal with accompanying proof-of-concept

💡 一句话要点

CORE：为大语言模型设计概念推理层，提升多轮对话稳定性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 多轮对话 概念推理 交互层 语义状态

📋 核心要点

  1. 现有大语言模型在多轮对话中，由于token历史膨胀，难以维持用户意图和任务状态的一致性。
  2. CORE通过引入概念优先的交互层，利用小型认知算子库和持久局部概念，分离概念推理与语言生成。
  3. 初步原型实验表明，CORE能有效减少累积prompt token，但该结果仅为原型条件下的估计值。

📝 摘要（中文）

大型语言模型在单轮生成任务中表现出色，但多轮交互仍然需要模型从不断增长的token历史中重建用户意图和任务状态，因为内部表示无法跨轮次持久存在。这种以token为先的模式会导致漂移、不一致的推理模式以及随着对话深入而不断增长的prompt。我们提出了CORE，一种概念优先的交互层，可以在不修改模型权重的情况下提高多轮稳定性。CORE将一个小型通用认知算子库与一个持久的局部概念相结合——一个紧凑的语义状态，捕捉任务、约束、偏好和中间结果。每次模型调用仅接收此概念状态、用户最新的指令和所选的算子，从而无需重放完整的历史记录。模拟CORE行为的初步原型显示，累积prompt token减少了约42%，尽管该数字反映了原型条件，不应被解释为实际性能估计。CORE提供了一种模型无关的机制，将概念推理与语言生成分离，为更稳定的多轮系统提供了一个可扩展的方向。

🔬 方法详解

问题定义：现有的大语言模型在处理多轮对话时，面临着token历史不断增长的问题。模型需要不断地从冗长的token序列中推断用户意图和任务状态，这导致计算成本增加，并且容易出现推理漂移和不一致性。现有的方法依赖于重放完整的对话历史，效率低下且难以扩展。

核心思路：CORE的核心思路是将概念推理与语言生成分离。通过维护一个持久的局部概念（Local Concept），该概念包含了任务、约束、偏好和中间结果等关键信息，从而避免了每次交互都重新解析整个对话历史。同时，引入一个小型通用认知算子库，用于执行概念层面的操作。

技术框架：CORE作为一个交互层，位于用户和大型语言模型之间。其主要流程如下：1) 用户输入指令；2) CORE接收指令和当前局部概念；3) CORE选择合适的认知算子；4) CORE使用选定的算子和局部概念更新局部概念；5) CORE将更新后的局部概念、用户指令和选定的算子传递给大型语言模型；6) 大型语言模型生成回复；7) CORE接收回复并更新局部概念。

关键创新：CORE最重要的创新点在于其概念优先的交互方式。它不再依赖于完整的token历史，而是通过维护一个精简的语义状态来跟踪对话的进展。这种方法降低了计算复杂度，提高了推理的稳定性和一致性。此外，CORE的设计是模型无关的，可以应用于各种大型语言模型。

关键设计：CORE的关键设计包括：1) 局部概念的表示方式，需要能够有效地捕捉任务相关的语义信息；2) 认知算子库的设计，需要包含足够通用的算子，以支持各种对话场景；3) 局部概念的更新机制，需要能够准确地反映对话的进展和用户的意图。论文中提到原型系统，但没有给出局部概念的具体表示、认知算子库的具体内容以及更新机制的细节。

📊 实验亮点

初步原型实验表明，CORE能够减少约42%的累积prompt token。这意味着CORE可以显著降低计算成本，并提高对话系统的效率。然而，需要注意的是，该结果是在原型条件下获得的，实际性能可能会有所不同。未来的研究需要对CORE进行更全面的评估，并在更真实的场景中进行测试。

🎯 应用场景

CORE具有广泛的应用前景，可以应用于各种需要多轮对话的场景，例如智能客服、虚拟助手、教育辅导等。通过提高多轮对话的稳定性和一致性，CORE可以提升用户体验，并降低计算成本。未来，CORE还可以与其他技术相结合，例如知识图谱、强化学习等，以实现更智能的对话系统。

📄 摘要（原文）

Large language models handle single-turn generation well, but multi-turn interactions still require the model to reconstruct user intent and task state from an expanding token history because internal representations do not persist across turns. This token-first paradigm leads to drift, inconsistent reasoning modes, and growing prompts as conversations deepen. We propose CORE, a concept-first interaction layer that improves multi-turn stability without modifying model weights. CORE combines a small library of universal cognitive operators with a persistent Local Concept - a compact semantic state capturing the task, constraints, preferences, and intermediate results. Each model call receives only this concept state, the user's latest instruction, and the selected operator, eliminating the need to replay full history. A preliminary prototype simulating CORE's behavior shows about 42% reduction in cumulative prompt tokens, though this number reflects prototype conditions and should not be interpreted as a real-world performance estimate. CORE offers a model-agnostic mechanism that separates conceptual reasoning from language generation, suggesting a scalable direction for more stable multi-turn systems.