ACR: Adaptive Context Refactoring via Context Refactoring Operators for Multi-Turn Dialogue

📄 arXiv: 2601.05589v1 📥 PDF

作者: Jiawei Shen, Jia Zhu, Hanghui Guo, Weijie Shi, Yue Cui, Qingyu Niu, Guoqing Ma, Yidan Liang, Jingjiang Liu, Yiling Wang, Shimin Di, Jiajie Xu

分类: cs.CL, cs.AI

发布日期: 2026-01-09

💡 一句话要点

提出ACR框架，通过自适应上下文重构解决多轮对话中的上下文惯性和状态漂移问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多轮对话 上下文重构 上下文惯性 状态漂移 自适应学习

📋 核心要点

  1. 现有方法在多轮对话中难以保持上下文一致性，面临上下文惯性和状态漂移的挑战。
  2. ACR框架通过动态监控和重塑交互历史，主动缓解上下文惯性和状态漂移。
  3. 实验表明，ACR显著优于现有基线，同时减少了token消耗，提升了多轮对话性能。

📝 摘要（中文）

大型语言模型(LLMs)在多轮对话中表现出了卓越的性能。然而，在多轮对话中，模型仍然难以与先前建立的内容保持一致，难以遵循跨多轮的依赖关系，并且随着交互的增长，容易陷入不正确的事实中。现有的方法主要集中在扩展上下文窗口、引入外部记忆或应用上下文压缩，但这些方法仍然面临诸如 extbf{上下文惯性}和 extbf{状态漂移}等限制。为了应对这些挑战，我们提出了 extbf{自适应上下文重构(ACR)}框架，该框架动态地监控和重塑交互历史，以主动缓解上下文惯性和状态漂移。ACR建立在一个上下文重构算子库和一个教师指导的自进化训练范式之上，该范式学习何时干预以及如何重构，从而将上下文管理与推理过程解耦。在多轮对话上的大量实验表明，我们的方法显著优于现有的基线，同时减少了token消耗。

🔬 方法详解

问题定义：论文旨在解决多轮对话中大型语言模型面临的上下文惯性（模型难以摆脱早期信息的束缚）和状态漂移（模型随着对话轮数的增加，逐渐偏离正确的事实或目标）问题。现有方法如扩展上下文窗口、引入外部记忆和上下文压缩等，虽然在一定程度上缓解了这些问题，但仍然存在局限性，无法有效应对复杂的多轮对话场景。

核心思路：论文的核心思路是通过自适应地重构对话上下文来解决上下文惯性和状态漂移问题。具体来说，ACR框架不是简单地扩展或压缩上下文，而是根据对话的状态，动态地选择合适的上下文重构算子，对历史对话进行修改、删除或补充，从而使模型能够更好地理解和利用上下文信息。这种动态重构的思想能够有效减少冗余信息，突出关键信息，并纠正错误信息。

技术框架：ACR框架主要包含两个核心组件：上下文重构算子库和教师指导的自进化训练范式。上下文重构算子库提供了一系列预定义的算子，用于对上下文进行各种操作，例如删除不相关的信息、修正错误的事实、补充缺失的信息等。教师指导的自进化训练范式则负责学习何时以及如何应用这些算子。该范式使用一个教师模型来指导学生模型，学生模型负责选择和应用上下文重构算子，教师模型则评估学生模型的重构效果，并提供反馈信号，从而使学生模型能够不断学习和改进。

关键创新：ACR框架的关键创新在于其自适应的上下文重构机制。与传统的上下文管理方法不同，ACR不是静态地处理上下文，而是根据对话的状态动态地调整上下文。这种自适应性使得ACR能够更好地应对复杂的多轮对话场景，并有效缓解上下文惯性和状态漂移问题。此外，教师指导的自进化训练范式也为上下文重构算子的学习提供了一种有效的训练方法。

关键设计：ACR框架的关键设计包括上下文重构算子库的设计和教师指导的自进化训练范式的设计。上下文重构算子库需要包含足够多的算子，以覆盖各种可能的上下文重构需求。教师指导的自进化训练范式需要设计合适的损失函数和奖励函数，以鼓励学生模型选择和应用正确的上下文重构算子。具体的参数设置、网络结构等技术细节在论文中可能有所描述，但此处无法给出具体数值。

📊 实验亮点

实验结果表明，ACR框架在多轮对话任务上显著优于现有基线方法。具体性能提升数据未知，但摘要中明确指出ACR在提升性能的同时，还减少了token消耗。这表明ACR不仅能够提高对话质量，还能降低计算成本。

🎯 应用场景

ACR框架可应用于各种多轮对话系统，例如智能客服、聊天机器人、虚拟助手等。通过缓解上下文惯性和状态漂移问题，ACR可以提高对话系统的连贯性、准确性和可靠性，从而提升用户体验。未来，ACR还可以与其他技术相结合，例如知识图谱、外部记忆等，以进一步增强对话系统的能力。

📄 摘要（原文）

Large Language Models (LLMs) have shown remarkable performance in multi-turn dialogue. However, in multi-turn dialogue, models still struggle to stay aligned with what has been established earlier, follow dependencies across many turns, and avoid drifting into incorrect facts as the interaction grows longer. Existing approaches primarily focus on extending the context window, introducing external memory, or applying context compression, yet these methods still face limitations such as \textbf{contextual inertia} and \textbf{state drift}. To address these challenges, we propose the \textbf{A}daptive \textbf{C}ontext \textbf{R}efactoring \textbf{(ACR)} Framework, which dynamically monitors and reshapes the interaction history to mitigate contextual inertia and state drift actively. ACR is built on a library of context refactoring operators and a teacher-guided self-evolving training paradigm that learns when to intervene and how to refactor, thereby decoupling context management from the reasoning process. Extensive experiments on multi-turn dialogue demonstrate that our method significantly outperforms existing baselines while reducing token consumption.