Beyond Sequences: Distilling Structured Decision Memory for LLM Recommendation

📄 arXiv: 2610.11501v1 📥 PDF

作者: Leikun Liang, Guoshuai Wang, Xingsheng He, Yushan Han, Yunyi Xuan, Xiaoxiao Xu, Lin Qu

分类: cs.CL

发布日期: 2026-10-08

💡 一句话要点

提出MARI以解决推荐系统中的决策记忆问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 推荐系统 决策记忆 结构化记忆 大语言模型 用户行为分析

📋 核心要点

  1. 现有推荐系统方法主要集中于单一行为，忽视了异构行为的决策角色，导致在复杂决策场景中的性能下降。
  2. 本文提出MARI，通过维护结构化决策记忆来增强LLM的推理能力，从而提高推荐系统的解释性和可扩展性。
  3. 实验结果显示，MARI在下一个项目预测和困难选择预测任务上显著优于现有基线，且延迟开销较低。

📝 摘要（中文）

尽管大型语言模型（LLMs）在推荐系统中的应用日益普及，但现有方法主要集中于单一行为（如浏览或购买），即使在多行为整合时，也将异构行为简化为同质的序列，忽视了其独特的决策角色。这种简化未能捕捉复杂决策中的语义层次和上下文细微差别，导致在涉及高度相似项目的“困难选择”场景中性能下降。为了解决这一问题，本文提出了MARI（带解释性的记忆增强推荐），通过明确的结构化决策证据来支撑预测。MARI维护一个决策记忆库（DMB），存档用户过去的决策理由，形成结构化决策记忆（SDMs），这些记忆通过后期决策蒸馏从异构行为和用户生成内容中生成。通过检索相关SDMs来增强LLM推理，MARI在不增加处理长序列成本的情况下实现了解释性和可扩展性。实验表明，MARI在标准的下一个项目预测和新引入的困难选择预测任务上显著超越了现有最先进的基线，并通过将记忆构建与在线推理解耦，降低了延迟开销。

🔬 方法详解

问题定义：本文旨在解决现有推荐系统在处理异构用户行为时的不足，特别是在复杂决策场景中，现有方法无法有效捕捉用户的决策过程和上下文信息。

核心思路：MARI通过引入结构化决策记忆（SDMs），将用户的决策理由系统化，从而增强LLM的推理能力，提升推荐的准确性和解释性。

技术框架：MARI的整体架构包括决策记忆库（DMB）和后期决策蒸馏模块。DMB存储用户的历史决策理由，而后期决策蒸馏则从异构行为和用户生成内容中提取SDMs。

关键创新：MARI的主要创新在于通过结构化决策记忆来增强LLM的推理能力，区别于传统方法的简单序列化处理，能够更好地反映用户的决策过程。

关键设计：在设计上，MARI采用了特定的损失函数来优化SDMs的生成，并通过检索机制来高效地访问相关记忆，确保在推理时能够快速获取用户的决策背景。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

MARI在下一个项目预测任务上相较于最先进的基线提升了XX%，在困难选择预测任务中也表现出显著优势，且延迟开销低于传统方法，展示了其在实际应用中的高效性。

🎯 应用场景

该研究的潜在应用领域包括电子商务、内容推荐和个性化广告等，能够帮助系统更好地理解用户的决策过程，从而提供更为精准的推荐服务。未来，MARI可能推动推荐系统向更高的智能化和人性化发展，提升用户体验。

📄 摘要（原文）

Despite the adoption of large language models (LLMs) in recommendation systems, prevailing approaches mostly model single-type behaviors (e.g., views or purchases). Even when incorporating multiple behaviors, existing methods flatten heterogeneous actions into homogeneous token sequences, ignoring their distinct decision-making roles. This flattening fails to capture semantic hierarchies and contextual nuances in complex decision-making, such as trade-offs between price and quality. Consequently, performance degrades in critical ``difficult-choice'' scenarios involving highly similar items. To bridge this gap, we propose MARI (Memory-Augmented Recommendation with Interpretability), which grounds predictions in explicit, structured decision evidence. MARI maintains a Decision Memory Bank (DMB) that archives users' past rationales as Structured Decision Memories (SDMs): concise records of goals, constraints, and trade-offs. These SDMs are generated offline via Post-Hoc Decision Distillation from heterogeneous behaviors and user-generated content. By retrieving relevant SDMs to augment LLM reasoning, MARI achieves interpretability and scalability without the prohibitive cost of processing long raw sequences. Extensive experiments show MARI significantly outperforms state-of-the-art baselines on standard next-item prediction and a newly introduced Difficult Choice Prediction task, incurring low latency overhead by decoupling memory construction from online inference. Qualitative analyses reveal actionable, human-readable insights into user decision-making, marking a concrete step toward reasoning-aware recommendation systems.