Role-aware Heuristic Episodic Attention for Conversational LLMs

📄 arXiv: 2610.00958v1 📥 PDF

作者: Wanyang Hong, Zhaoning Zhang, Yi Chen, Libo Zhang, Baihui Liu, Linbo Qiao, Zhiliang Tian, Dongsheng Li

分类: cs.CL

发布日期: 2026-10-01

💡 一句话要点

提出角色感知启发式情节注意力以解决对话LLM的上下文衰减问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 对话系统 上下文管理 大型语言模型 情节注意力 角色感知 信息衰减 多轮对话

📋 核心要点

  1. 现有大型语言模型在多轮对话中容易出现上下文信息的衰减，导致注意力污染和信息漂移等问题。
  2. 本文提出的REA框架通过角色感知的方式管理上下文，分别为指令和情节交互设计持久性和表示策略。
  3. 在Long-MT-Bench+上，REA显著提升了评分，并在多个模型和任务上表现出更好的性能和更低的延迟。

📝 摘要（中文）

大型语言模型在多轮对话中常常会失去对持续指令和相关信息的跟踪。本文研究了这种累积上下文衰减的三种相关失效模式：注意力污染、稀释和漂移。我们提出了角色感知启发式情节注意力（REA），这是一个上下文管理框架，为指令和情节交互分配不同的持久性和表示策略。实验结果表明，REA在Long-MT-Bench+上将评分从6.32提高到7.36，较基础模型提升16.5%，并将平均延迟减少了2.91倍。这些结果支持角色感知上下文管理作为维护对话连续性和指令遵循的有效方法。

🔬 方法详解

问题定义：本文旨在解决大型语言模型在多轮对话中上下文信息衰减的问题，现有方法在处理持续指令和用户输入时表现不佳，导致注意力污染和信息漂移。

核心思路：提出角色感知启发式情节注意力（REA），通过为不同类型的输入（指令和情节交互）分配不同的持久性和表示策略，来有效管理上下文信息。

技术框架：REA框架包括两个主要模块：指令记忆（Instructional Memory）和情节记忆（Episodic Memory）。指令记忆用于保留全局约束，而情节记忆则用于压缩用户输入和模型回复，同时启发式检索模块根据历史回合选择合适的文本表示。

关键创新：REA的创新在于角色感知的上下文管理策略，通过不同的持久性和表示方式来应对多轮对话中的信息衰减问题，与传统方法相比，显著提高了对话的连续性和指令遵循性。

关键设计：在设计中，指令记忆采用专用前缀存储全局约束，情节记忆则通过压缩技术减少信息冗余，启发式检索模块灵活选择原始文本、压缩表示或省略历史信息，以优化模型的响应效率。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在Long-MT-Bench+上，REA将评分从6.32提升至7.36，提升幅度达到16.5%。此外，REA还将平均延迟减少了2.91倍，显示出在多个模型和任务上的显著性能提升。

🎯 应用场景

该研究的潜在应用领域包括智能客服、虚拟助手和教育领域等多轮对话系统。通过有效管理上下文信息，REA能够提升用户体验，确保对话的连贯性和准确性，未来可能在多种人机交互场景中发挥重要作用。

📄 摘要（原文）

Large language models often lose track of persistent instructions and relevant information as multi-turn conversations grow. We study this cumulative contextual decay through three related failure modes: attention pollution, dilution, and drift. We propose REA (Role-aware Heuristic Episodic Attention), a context-management framework that assigns different persistence and representation policies to instructions and episodic interactions. Instructional Memory retains identified global constraints in a dedicated prefix. Episodic Memory preserves user inputs and compresses model replies, while heuristic retrieval selects raw text, compressed representations, or omission for each historical turn. On Long-MT-Bench+, REA improves the judge score from 6.32 to 7.36 on a 10-point scale, a 16.5% relative gain over the Vanilla baseline, and reduces average latency by 2.91$\times$. Additional evaluations show aggregate gains on three backbones spanning 1.7B-7B parameters and on Chinese and English role-playing tasks. These results support role-aware context management as a practical approach to maintaining conversational continuity and instruction adherence.