MARS: Memory-Aware Routing for Session-Level LLM Assistants

📄 arXiv: 2610.23583v1 📥 PDF

作者: Minghan Wang, Jinhang Zuo, Zhongxiang Dai, Zhiyong Wang, Fang Kong

分类: cs.CL

发布日期: 2026-10-16

备注: 32 pages, including references and appendices

💡 一句话要点

提出MARS框架以解决长历史LLM助手的记忆与路由问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control)

关键词: 记忆感知路由 长历史交互 LLM助手 模型选择 性能优化

📋 核心要点

  1. 现有的记忆系统和模型路由器在处理长历史交互时，往往无法有效结合记忆构建与模型选择，导致性能下降。
  2. MARS框架通过引入会话状态作为控制接口，优化了记忆策略与模型选择的协同，提升了交互的质量与效率。
  3. 实验结果表明，MARS在RealMem上保留了98.2%的全上下文QA性能，同时仅使用14.5%的生成API成本，展现出优越的记忆召回和检索能力。

📝 摘要（中文）

长期的LLM助手必须在交互过程中反复决定暴露哪些先前上下文以及选择哪个模型进行回答。现有的记忆系统和模型路由器通常是分开做出这些决策的，然而记忆构建会改变输入的证据、干扰项和难度。我们提出了MARS，一个记忆感知的路由框架，利用会话状态作为记忆构建和模型选择之间的共享控制接口。查询和主题管理器（QTM）估计紧凑的决策相关状态，指导固定状态条件的记忆策略和在线路由器，使每次交互都能在质量、记忆和成本之间取得平衡。我们在RealMem和MultiChallenge上评估了MARS，结果显示其在长历史记忆驱动的交互中表现优异。

🔬 方法详解

问题定义：本论文旨在解决长期LLM助手在交互过程中如何有效结合记忆构建与模型选择的问题。现有方法往往将这两者分开处理，导致输入的有效性和交互质量下降。

核心思路：MARS框架的核心思想是利用会话状态作为共享控制接口，协调记忆构建与模型选择。通过这种设计，能够在每次交互中动态调整所需的记忆视图和模型选择，从而优化性能。

技术框架：MARS的整体架构包括查询和主题管理器（QTM）、固定状态条件的记忆策略和在线路由器。QTM负责估计决策相关的状态信息，指导后续的记忆和模型选择过程。

关键创新：MARS的主要创新在于将记忆构建与模型选择整合为一个统一的框架，打破了传统方法的局限性，使得系统能够在质量、记忆和成本之间实现更好的平衡。

关键设计：在设计上，MARS采用了固定状态条件的记忆策略，并通过在线路由器动态调整模型选择。具体的参数设置和损失函数设计尚未详细披露，需进一步研究。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

在RealMem数据集上，MARS保留了98.2%的全上下文GPT-4o的问答性能，同时仅消耗了14.5%的生成API成本，显示出显著的性能提升。在MultiChallenge上，尽管MARS在整体表现上略逊于最强静态系统，但在机制聚焦的子集上以更低的成本接近其性能，验证了其有效性。

🎯 应用场景

MARS框架在长历史交互和记忆驱动的LLM助手中具有广泛的应用潜力，能够提升用户体验和交互效率。其设计理念可扩展至其他需要动态记忆管理和模型选择的智能系统，如智能客服、教育辅导和个性化推荐等领域，未来可能对这些领域的智能化发展产生深远影响。

📄 摘要（原文）

Long-term LLM assistants must repeatedly decide what prior context to expose and which model should answer as an interaction evolves. Existing memory systems and model routers usually make these decisions separately, although memory construction changes the evidence, distractors, and difficulty of the resulting input. We introduce MARS, a memory-aware routing framework that uses session state as a shared control interface between memory construction and model selection. A Query and Topic Manager (QTM) estimates compact decision-relevant state that guides a fixed state-conditioned memory policy and an online router, enabling each turn to receive an appropriate memory view and a suitable model under a quality-memory-cost trade-off. We evaluate MARS on RealMem and MultiChallenge with 16 system configurations each, covering long-history memory-driven interaction and bounded sessions with structured context interference. On RealMem, MARS preserves 98.2% of full-context GPT-4o's QA while using only 14.5% of its generation API cost, including both generation and controller calls for MARS, and achieves the strongest measured memory-recall and retrieval scores among compared systems. On MultiChallenge, MARS trails the strongest static system overall but approaches its performance at lower recorded cost on a mechanism-focused subset. Together, these results support a favorable quality-memory-cost trade-off for long-history, memory-dependent interaction.