ReMem: Rethinking Perception and Memory in Long-Context Recommendation Agents

📄 arXiv: 2609.37311v1 📥 PDF

作者: Haohao Qu, Yongcheng Jing, Chun Hin Chan, Shanru Lin, Wenqi Fan, Dacheng Tao

分类: cs.AI, cs.IR

发布日期: 2026-09-29

备注: Work in progress

💡 一句话要点

提出ReMem以解决长上下文推荐代理中的感知与记忆问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 推荐系统 动态记忆 多模态感知 长上下文推理 OCR技术

📋 核心要点

  1. 现有推荐代理在处理嘈杂和异构项目页面时，感知能力脆弱，且在长用户历史和多步交互跟踪的推理效率低下。
  2. ReMem框架通过OCR工具提取多模态信息，采用分块顺序记忆更新策略，有效支持长时间偏好建模。
  3. 在三个数据集上的实验表明，ReMem在搜索、排名和判断任务上均表现优异，平均提升5.16%。

📝 摘要（中文）

近年来，推荐代理（RecAgents）通过主动的用户侧范式提供了有前景的替代方案，但现有方法在项目感知和长上下文推理方面存在关键局限。为了解决这些挑战，本文提出了一种新的推荐代理框架ReMem，结合了基于OCR的多模态感知与时间演变的动态记忆。ReMem通过截图观察项目页面，提取结构化的多模态信息，支持长时间偏好建模，并引入分块顺序记忆更新策略，保持固定大小的历史交互记忆。实验结果表明，ReMem在搜索、排名和判断等任务上均优于现有基线，平均提升5.16%。

🔬 方法详解

问题定义：本文旨在解决现有推荐代理在项目感知和长上下文推理中的不足，尤其是在处理嘈杂和异构信息时的脆弱性和效率低下的问题。

核心思路：ReMem通过结合OCR技术与动态记忆机制，提供了一种更为人性化和平台无关的感知方式，同时支持长时间的用户偏好建模。

技术框架：ReMem的整体架构包括多模态感知模块、动态记忆模块和推理模块。感知模块通过OCR提取信息，记忆模块则采用分块顺序更新策略来维护历史交互信息。

关键创新：ReMem的主要创新在于其动态记忆机制，能够在不依赖外部记忆模块的情况下，保持用户偏好的演变，且不干扰自回归生成过程。

关键设计：在设计中，ReMem采用了固定大小的记忆结构，利用多记忆GRPO变体来增强动态记忆指令，确保最终答案的优势能够传播至所有中间对话。具体的损失函数和网络结构细节在论文中进行了详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在三个数据集上的实验结果显示，ReMem在搜索、排名和判断任务上均显著优于现有的最先进基线，平均提升达5.16%。这一结果表明，ReMem在处理复杂推荐任务时具有更强的性能和适应性。

🎯 应用场景

ReMem的研究成果在个性化推荐系统、智能助手和用户交互界面等领域具有广泛的应用潜力。通过提升推荐代理的感知和记忆能力，能够更好地满足用户的个性化需求，提升用户体验。未来，该技术还可能扩展到其他需要长时间记忆和复杂推理的智能系统中。

📄 摘要（原文）

Recent Recommendation Agents (RecAgents) offer a promising alternative by shifting recommendation to an active, user-side paradigm, where generative agents autonomously perceive external platforms, reason over user preferences, and execute decisions. However, existing RecAgents still suffer from two critical limitations: brittle item perception based on noisy and heterogeneous item pages, and inefficient long-context reasoning over extended user histories and multi-step interaction traces. To address these challenges, we propose a novel recommendation agent framework, termed as ReMem, that combines OCR-based multimodal perception with time-evolving dynamic memory. Instead of parsing raw HTML, ReMem observes item pages through screenshots and extracts structured multimodal information via an OCR tool, enabling a more humanoid and platform-agnostic perception mechanism. To support long-horizon preference modeling, ReMem further introduces a chunk-wise sequential memory update strategy, where the agent selectively maintains a fixed-size memory of informative historical interactions while processing arbitrarily long contexts with linear inference complexity and bounded context length. This design allows the agent to preserve evolving user preferences without relying on external memory modules or disrupting the standard autoregressive generation process. To enhance the dynamic memory instruction, we further develop a multi-memory GRPO variant, which propagates the final-answer advantage to all intermediate conversations that contribute to the final response. Extensive experiments on three datasets demonstrate that ReMem consistently outperforms state-of-the-art baselines, achieving an average improvement of 5.16\% across three recommendation agent tasks, namely searching, ranking, and judging.