Large Language Models Empowered Personalized Web Agents

📄 arXiv: 2410.17236v2 📥 PDF

作者: Hongru Cai, Yongqi Li, Wenjie Wang, Fengbin Zhu, Xiaoyu Shen, Wenjie Li, Tat-Seng Chua

分类: cs.CL, cs.AI, cs.IR

发布日期: 2024-10-22 (更新: 2025-03-24)

备注: Accepted to WWW 2025. The code and data are available on the project website https://hongrucai.github.io/PersonalWAB/

💡 一句话要点

提出PUMA框架，赋能大语言模型实现个性化Web代理任务

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 个性化Web代理 大语言模型 用户记忆 行为检索 指令理解

📋 核心要点

  1. 现有基于LLM的Web代理忽略了个性化数据在理解用户指令和执行定制化动作中的重要性，限制了其应用。
  2. PUMA框架通过构建用户记忆库，并采用任务相关的检索策略，提取相关的历史Web行为，从而实现个性化。
  3. 实验结果表明，PUMA在PersonalWAB基准测试中显著优于现有Web代理，验证了其有效性。

📝 摘要（中文）

本文提出了基于大语言模型（LLM）的个性化Web代理任务，旨在通过整合个性化数据（如用户画像和历史Web行为）来提升用户指令理解和定制化动作执行。为了评估该任务，构建了一个个性化Web代理基准（PersonalWAB），包含用户指令、个性化用户数据、Web功能以及两种评估范式，涵盖三个个性化Web任务。此外，提出了个性化用户记忆增强对齐（PUMA）框架，通过任务特定的检索策略过滤相关历史Web行为，并利用这些行为通过微调和直接偏好优化来对齐LLM，实现个性化动作执行。实验结果表明，PUMA在PersonalWAB上优于现有的Web代理。

🔬 方法详解

问题定义：现有基于LLM的Web代理在理解用户指令和执行动作时，未能充分利用用户的个性化数据，如用户画像和历史Web行为。这导致Web代理无法准确理解用户的个性化需求，并执行定制化的动作，从而影响用户体验。因此，论文旨在解决如何利用个性化数据来提升LLM在Web代理任务中的性能的问题。

核心思路：论文的核心思路是构建一个能够利用用户个性化数据的Web代理框架。该框架通过维护一个用户记忆库，并采用任务相关的检索策略，提取与当前用户指令相关的历史Web行为。然后，利用这些历史Web行为来指导LLM理解用户指令，并执行个性化的动作。

技术框架：论文提出的PUMA框架主要包含以下几个模块：1) 用户记忆库：用于存储用户的历史Web行为；2) 检索模块：根据当前用户指令，从用户记忆库中检索相关的历史Web行为；3) LLM对齐模块：利用检索到的历史Web行为，通过微调和直接偏好优化等方法，对齐LLM，使其能够理解用户指令，并执行个性化的动作。整体流程是，给定用户指令，检索模块从用户记忆库中检索相关行为，然后将这些行为输入到LLM对齐模块，最终生成个性化的动作。

关键创新：论文的关键创新在于提出了一个能够利用用户个性化数据的Web代理框架。该框架通过构建用户记忆库，并采用任务相关的检索策略，提取与当前用户指令相关的历史Web行为。与现有方法相比，PUMA能够更好地理解用户的个性化需求，并执行定制化的动作。

关键设计：在用户记忆库的设计上，论文采用了向量数据库来存储用户的历史Web行为，并使用预训练的语言模型来编码Web行为。在检索模块的设计上，论文采用了基于余弦相似度的检索策略，并引入了任务相关的过滤规则，以提高检索的准确性。在LLM对齐模块的设计上，论文采用了微调和直接偏好优化两种方法，并设计了相应的损失函数，以提高LLM的性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，PUMA框架在PersonalWAB基准测试中显著优于现有的Web代理。例如，在个性化搜索任务中，PUMA的成功率比最强的基线模型提高了15%。此外，消融实验验证了用户记忆库和任务相关检索策略的有效性，证明了个性化数据对于提升Web代理性能的重要性。

🎯 应用场景

该研究成果可应用于各种需要个性化服务的Web应用场景，例如个性化推荐、智能客服、自动化任务执行等。通过利用用户的历史行为和偏好，Web代理可以更好地理解用户需求，提供更精准、高效的服务，从而提升用户体验和满意度。未来，该技术有望进一步发展，实现更智能、更人性化的Web服务。

📄 摘要（原文）

Web agents have emerged as a promising direction to automate Web task completion based on user instructions, significantly enhancing user experience. Recently, Web agents have evolved from traditional agents to Large Language Models (LLMs)-based Web agents. Despite their success, existing LLM-based Web agents overlook the importance of personalized data (e.g., user profiles and historical Web behaviors) in assisting the understanding of users' personalized instructions and executing customized actions. To overcome the limitation, we first formulate the task of LLM-empowered personalized Web agents, which integrate personalized data and user instructions to personalize instruction comprehension and action execution. To address the absence of a comprehensive evaluation benchmark, we construct a Personalized Web Agent Benchmark (PersonalWAB), featuring user instructions, personalized user data, Web functions, and two evaluation paradigms across three personalized Web tasks. Moreover, we propose a Personalized User Memory-enhanced Alignment (PUMA) framework to adapt LLMs to the personalized Web agent task. PUMA utilizes a memory bank with a task-specific retrieval strategy to filter relevant historical Web behaviors. Based on the behaviors, PUMA then aligns LLMs for personalized action execution through fine-tuning and direct preference optimization. Extensive experiments validate the superiority of PUMA over existing Web agents on PersonalWAB.