Dynamic Long Short-Term Memory Based Memory Storage For Long Horizon LLM Interaction

📄 arXiv: 2507.03042v1 📥 PDF

作者: Yuyang Lou, Charles Li

分类: cs.CL, cs.AI

发布日期: 2025-07-03

备注: 7 pages, 4 figures, 2 tables

💡 一句话要点

提出Pref-LSTM，利用BERT分类器和LSTM记忆模块，为长程LLM交互实现动态记忆存储。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 用户偏好建模 长程对话 BERT分类器 LSTM记忆模块

📋 核心要点

  1. 现有LLM在长程对话中缺乏有效的用户偏好建模，难以实现个性化交互。
  2. Pref-LSTM结合BERT分类器和LSTM记忆模块，动态生成用户偏好嵌入并注入LLM。
  3. 实验表明，BERT分类器能可靠识别用户偏好，为高效用户偏好建模提供可行路径。

📝 摘要（中文）

针对大型语言模型（LLM）的记忆存储正成为一个日益活跃的研究领域，尤其是在实现跨长对话的个性化方面。我们提出了Pref-LSTM，一个动态且轻量级的框架，它结合了一个基于BERT的分类器和一个LSTM记忆模块，该模块生成记忆嵌入，然后将其软提示注入到冻结的LLM中。我们人工策划了一个偏好和非偏好对话轮次的合成数据集，以训练我们的基于BERT的分类器。尽管我们基于LSTM的记忆编码器没有产生强大的结果，但我们发现基于BERT的分类器在识别显式和隐式用户偏好方面表现可靠。我们的研究表明，使用偏好过滤与LSTM门控原则作为一种高效的途径，可以实现可扩展的用户偏好建模，而无需大量的开销和微调。

🔬 方法详解

问题定义：现有大型语言模型在处理长程对话时，难以有效地捕捉和利用用户的个性化偏好。这导致模型无法根据用户的历史交互进行定制化的响应，从而影响用户体验。现有的方法通常需要大量的微调或者引入复杂的外部知识库，增加了计算开销和维护成本。

核心思路：Pref-LSTM的核心思路是利用一个轻量级的框架，通过BERT分类器识别用户在对话中的显式和隐式偏好，并使用LSTM记忆模块将这些偏好编码成记忆嵌入。然后，将这些记忆嵌入作为软提示注入到冻结的LLM中，从而在不进行大规模微调的情况下，影响LLM的输出，使其更符合用户的个性化偏好。

技术框架：Pref-LSTM框架主要包含两个模块：1) 基于BERT的偏好分类器：用于识别对话轮次中用户表达的偏好信息。该分类器在人工合成的偏好/非偏好数据集上进行训练。2) LSTM记忆模块：用于将分类器识别出的偏好信息编码成记忆嵌入。这些嵌入随后被用作软提示，注入到冻结的LLM中。整个流程无需对LLM进行微调，从而降低了计算成本。

关键创新：Pref-LSTM的关键创新在于它将偏好过滤与LSTM门控机制相结合，实现了一种高效且可扩展的用户偏好建模方法。与需要大量微调或复杂知识库的方法不同，Pref-LSTM通过轻量级的BERT分类器和LSTM记忆模块，实现了对用户偏好的动态捕捉和利用。这种方法降低了计算开销，并提高了模型的适应性。

关键设计：BERT分类器的训练数据是人工合成的偏好和非偏好对话轮次。LSTM记忆模块的网络结构和参数设置（例如LSTM的层数、隐藏层大小等）对最终性能有一定影响，但具体的最优参数设置未知。损失函数的设计主要关注如何提高BERT分类器识别用户偏好的准确率。软提示注入的具体方式（例如，将记忆嵌入添加到LLM的输入序列中）也需要根据具体的LLM架构进行调整。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，基于BERT的分类器在识别显式和隐式用户偏好方面表现可靠。虽然LSTM记忆编码器的效果不明显，但BERT分类器的成功验证了偏好过滤方法的可行性，为后续研究提供了有价值的参考。该研究表明，在不进行大规模微调的情况下，通过偏好过滤和软提示注入，可以有效地影响LLM的输出。

🎯 应用场景

Pref-LSTM可应用于各种需要个性化对话的场景，如智能客服、虚拟助手、教育辅导等。通过捕捉和利用用户的偏好，Pref-LSTM能够使LLM提供更贴合用户需求的回答和建议，从而提高用户满意度和交互效率。该研究为构建更智能、更个性化的对话系统提供了新的思路。

📄 摘要（原文）

Memory storage for Large Language models (LLMs) is becoming an increasingly active area of research, particularly for enabling personalization across long conversations. We propose Pref-LSTM, a dynamic and lightweight framework that combines a BERT-based classifier with a LSTM memory module that generates memory embedding which then is soft-prompt injected into a frozen LLM. We synthetically curate a dataset of preference and non-preference conversation turns to train our BERT-based classifier. Although our LSTM-based memory encoder did not yield strong results, we find that the BERT-based classifier performs reliably in identifying explicit and implicit user preferences. Our research demonstrates the viability of using preference filtering with LSTM gating principals as an efficient path towards scalable user preference modeling, without extensive overhead and fine-tuning.