PRAGMA: Evaluating Personalized Guidance with Memory Alignment in Lifelong Conversations

📄 arXiv: 2609.09664v1 📥 PDF

作者: Hyojeong Yu, Hyukhun Koh, Minsung Kim, Yunah Jang, Kyomin Jung

分类: cs.AI

发布日期: 2026-09-09

备注: Accepted to EMNLP 2026

💡 一句话要点

提出PRAGMA基准以解决个性化指导中的记忆对齐问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 个性化指导 对话系统 记忆对齐 长时间对话 大型语言模型 用户偏好 信息检索

📋 核心要点

  1. 现有的对话记忆评估主要集中在检索和事实回忆上，缺乏对个性化指导的有效支持。
  2. 论文提出PRAGMA基准，通过策划的对话历史和指导场景，评估模型在长期对话中的个性化指导能力。
  3. 实验结果显示，当前系统在恢复对话证据和进行个性化指导方面表现不佳，亟需改进记忆架构。

📝 摘要（中文）

随着大型语言模型（LLMs）作为个性化助手的广泛应用，长时间的对话中依赖完整的交互历史变得低效且不可靠。长上下文带来的计算开销使得模型难以有效识别和利用当前请求的相关信息。为此，论文提出了PRAGMA基准，旨在评估长期对话中的个性化指导能力。PRAGMA包含经过策划的纵向对话历史、证据注释和基于用户上下文变化的指导场景。实验表明，现有系统在恢复适当的对话证据和有效利用这些证据进行个性化指导方面存在显著困难，强调了需要支持稳健对话检索和记忆基础推理的记忆架构。

🔬 方法详解

问题定义：论文要解决的问题是如何在长期对话中有效地提供个性化指导，现有方法在处理用户偏好变化和多次对话信息整合方面存在不足。

核心思路：论文的核心思路是引入PRAGMA基准，通过结构化的记忆系统来支持个性化指导，强调记忆对齐和用户上下文的动态变化。

技术框架：整体架构包括对话历史的策划、证据的注释和个性化指导场景的设计，主要模块包括信息检索、记忆管理和推理机制。

关键创新：最重要的技术创新点在于引入了针对个性化指导的评估标准，突破了传统的事实回忆评估，关注用户的动态需求和上下文变化。

关键设计：在参数设置上，论文设计了特定的损失函数以优化记忆检索的准确性，并采用了适应性网络结构以增强模型对用户偏好的理解和推理能力。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果表明，现有系统在个性化指导任务中的表现显著低于预期，尤其是在检索适当证据和进行有效推理方面，提升幅度不足20%。这突显了改进记忆架构的必要性，以支持更复杂的对话场景。

🎯 应用场景

该研究的潜在应用领域包括智能助手、客户服务和个性化推荐系统等。通过改进对话系统的个性化指导能力，可以提升用户体验和满意度，未来可能在教育、医疗等领域产生深远影响。

📄 摘要（原文）

Large language models (LLMs) are increasingly deployed as personalized assistants that interact with users over extended periods of time. As conversations grow longer, relying on full interaction histories becomes increasingly inefficient and unreliable: long contexts introduce substantial computational overhead, making it difficult for models to consistently identify and utilize the most relevant information for the current request. These challenges have motivated memory systems that structure and retrieve user-specific information. In realistic interactions, users often seek practical guidance such as recommendations, planning, and decision support. Unlike factual recall tasks, personalized guidance requires models to integrate information across multiple past conversations and reason about changing user preferences and experiences. However, existing conversational memory evaluations mainly focus on retrieval and factual recall. To study this challenge, we introduce PRAGMA, a benchmark for evaluating personalized guidance in long-term conversations. PRGAMA contains curated longitudinal conversation histories, evidence annotations, and guidance scenarios grounded in evolving user contexts and incorrect user assumptions. Experiments across retrieval systems, memory systems, and long-context models reveal that current systems struggle both to recover the appropriate conversational evidence and to effectively use it for personalized guidance. Our results highlight the need for memory architectures that support robust conversational retrieval and memory-grounded reasoning beyond evidence recall.