ReLay: Personalized LLM-Generated Plain-Language Summaries for Better Understanding, but at What Cost?

📄 arXiv: 2605.00468v1 📥 PDF

作者: Joey Chan, Yikun Han, Jingyuan Chen, Samuel Fang, Lauren D. Gryboski, Alexandra Lee, Sheel Tanna, Qingqing Zhu, Zhiyong Lu, Lucy Lu Wang, Yue Guo

分类: cs.CL

发布日期: 2026-05-01

💡 一句话要点

ReLay：个性化LLM生成的简明语言摘要，提升理解但需权衡安全性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 个性化摘要 大型语言模型 简明语言摘要 健康信息 用户理解 信息安全 ReLay数据集

📋 核心要点

  1. 现有简明语言摘要缺乏个性化，无法满足不同读者需求，尤其在健康领域可能导致误解。
  2. 论文提出利用大型语言模型进行个性化简明语言摘要生成，以提升读者对信息的理解。
  3. 实验表明个性化能提高理解和质量，但也存在强化偏见和产生幻觉的风险，需谨慎权衡。

📝 摘要（中文）

简明语言摘要(PLS)旨在使研究对普通读者易于理解，但它们通常采用一刀切的方式，忽略了读者信息需求和理解能力的差异。在健康领域，这种局限性尤为重要，因为对科学信息的误解会影响现实世界的决策。大型语言模型(LLM)为个性化PLS提供了新的机会，但个性化是否有帮助、哪种策略最有效以及如何平衡个性化与安全性仍不清楚。我们引入了ReLay，一个包含300个参与者-PLS对的数据集，来自50名普通参与者在静态（专家撰写）和交互式（LLM个性化）设置中。ReLay包括用户特征、健康信息需求、信息寻求行为、理解结果、交互日志和质量评级。我们使用ReLay来评估两种个性化方法下的五个LLM。个性化提高了理解和感知质量，但也增加了强化用户偏见和引入幻觉的风险，揭示了个性化与安全性之间的权衡。这些发现强调需要有效且值得信赖的个性化方法，以服务于不同的普通受众。

🔬 方法详解

问题定义：现有简明语言摘要（PLS）通常采用“一刀切”的方式，忽略了不同读者在信息需求和理解能力上的差异。尤其是在健康领域，这种缺乏个性化可能导致读者对科学信息的误解，进而影响其决策。因此，如何为不同读者生成个性化的PLS，以提升他们的理解能力，是一个亟待解决的问题。

核心思路：论文的核心思路是利用大型语言模型（LLM）的强大生成能力，根据读者的个人特征、信息需求和信息寻求行为，生成定制化的PLS。通过个性化定制，使摘要更贴合读者的知识背景和理解能力，从而提高信息的传递效率和读者的理解程度。

技术框架：ReLay数据集的构建包含静态（专家撰写）和交互式（LLM个性化）两种设置。在交互式设置中，LLM根据用户的特征和交互反馈，动态生成和调整PLS。整体流程包括：1) 收集用户特征和信息需求；2) LLM根据用户画像生成初始PLS；3) 用户与LLM进行交互，提供反馈；4) LLM根据反馈调整PLS，迭代优化。论文使用ReLay数据集评估了五种LLM在两种个性化方法下的表现。

关键创新：论文的关键创新在于：1) 构建了ReLay数据集，包含用户特征、信息需求、交互日志和质量评级等丰富信息，为个性化PLS的研究提供了数据基础；2) 提出了利用LLM进行个性化PLS生成的方法，并验证了其有效性；3) 揭示了个性化PLS在提升理解的同时，可能带来的偏见强化和幻觉风险，强调了安全性的重要性。

关键设计：论文评估了两种个性化方法，具体的技术细节未知。但可以推测，个性化方法可能涉及到：1) 用户画像构建：利用用户特征和信息需求，构建个性化的用户画像；2) Prompt工程：设计合适的Prompt，引导LLM生成符合用户需求的PLS；3) 强化学习：利用用户反馈，训练LLM生成更符合用户期望的PLS。具体的损失函数、网络结构等技术细节在论文中未详细描述，属于未知信息。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，个性化PLS能够显著提高读者的理解能力和对摘要质量的感知。然而，个性化也增加了LLM产生幻觉和强化用户固有偏见的风险。研究揭示了个性化与安全性之间的权衡，强调在追求个性化效果的同时，必须重视LLM的可靠性和公正性。具体的性能提升数据和对比基线在摘要中未明确给出，属于未知信息。

🎯 应用场景

该研究成果可应用于医疗健康、教育科普等领域，为不同背景的读者提供个性化的信息摘要，提升其对复杂信息的理解和吸收。例如，医生可以利用该技术为患者生成易于理解的病情报告，教师可以为学生生成定制化的学习资料。未来，该技术有望促进知识的普及和传播，提高公众的科学素养。

📄 摘要（原文）

Plain Language Summaries (PLS) aim to make research accessible to lay readers, but they are typically written in a one-size-fits-all style that ignores differences in readers' information needs and comprehension. In health contexts, this limitation is particularly important because misunderstanding scientific information can affect real-world decisions. Large language models (LLMs) offer new opportunities for personalizing PLS, but it remains unclear whether personalization helps, which strategies are most effective, and how to balance personalization with safety. We introduce ReLay, a dataset of 300 participant--PLS pairs from 50 lay participants in both static (expert-written) and interactive (LLM-personalized) settings. ReLay includes user characteristics, health information needs, information-seeking behavior, comprehension outcomes, interaction logs, and quality ratings. We use ReLay to evaluate five LLMs across two personalization methods. Personalization improves comprehension and perceived quality, but it also raises the risk of reinforcing user biases and introducing hallucinations, revealing a trade-off between personalization and safety. These findings highlight the need for personalization methods that are both effective and trustworthy for diverse lay audiences.