PDEU-Bench: Benchmarking the Personalized Planning Lifecycle of Tool-Calling LLM Agents
作者: Huayi Lai, Shichao Song, Qingchen Yu, Simin Niu, Mengwei Wang, Hanyu Wang, Xun Liang
分类: cs.AI
发布日期: 2026-09-28
💡 一句话要点
提出PDEU-Bench以评估个性化工具调用LLM代理的规划生命周期
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 个性化工具 大型语言模型 规划生命周期 用户偏好 多步骤交互 基准评估 记忆增强 任务导向代理
📋 核心要点
- 现有的个性化工具使用基准主要集中在孤立调用，缺乏对长期交互中用户偏好的持续遵循评估。
- 本文提出PDEU-Bench基准，旨在全面评估个性化工具使用代理的规划生命周期，包括计划定义、执行和更新。
- 实验结果显示，虽然现有个性化和记忆增强方法在某些阶段有所改善，但仍未能在整个生命周期中可靠地传播用户偏好。
📝 摘要（中文）
大型语言模型（LLM）代理正在从执行孤立指令的工具调用系统演变为通过持续的多步骤交互追求用户目标的任务导向代理。然而，现有的个性化工具使用基准主要评估孤立调用或反应性执行，尚不清楚代理在长期交互中是否能够制定、执行和修订明确的计划，同时保持用户偏好。为了解决这一问题，本文提出了PDEU-Bench，一个用于评估个性化工具使用代理完整规划生命周期的基准。PDEU-Bench包含214个长时间交互任务，涵盖12个日常领域和94种工具，针对偏好遵循和计划质量进行阶段性评估。对15个代表性开源和闭源LLM的广泛评估显示，局部工具执行与动态规划之间存在明显差距：LLM通常能够在单个调用中实例化偏好，但在构建连贯的计划定义和计划更新方面存在困难。
🔬 方法详解
问题定义：本文旨在解决现有个性化工具使用基准在评估长期交互中用户偏好持续遵循的不足，现有方法多集中于孤立调用，缺乏对完整规划生命周期的考量。
核心思路：论文提出PDEU-Bench基准，通过214个长时间交互任务，系统评估个性化工具使用代理在计划定义、执行和更新过程中的表现，确保用户偏好的持续遵循。
技术框架：PDEU-Bench的整体架构包括三个主要阶段：计划定义、计划执行和计划更新。每个阶段都有特定的评估指标，以确保全面评估代理的表现。
关键创新：最重要的创新在于提供了一个全面的基准，能够评估个性化工具使用代理在多步骤交互中如何保持用户偏好，并识别出局部执行与动态规划之间的差距。
关键设计：在设计中，论文采用了阶段性评估方法，关注偏好遵循和计划质量，并进行了细致的错误分析，以揭示在规划生命周期中偏好遗漏和冲突的问题。通过这些设计，研究为未来的个性化工具使用提供了新的研究方向。
🖼️ 关键图片
📊 实验亮点
实验结果表明，15个评估的LLM在局部工具执行中能够较好地实例化用户偏好，但在计划定义和更新方面表现不佳，显示出明显的性能差距。尽管个性化和记忆增强方法在某些阶段有所改善，但未能在整个生命周期中有效传播用户偏好。
🎯 应用场景
该研究的潜在应用领域包括智能助手、个性化推荐系统和人机交互等。通过改进个性化工具使用代理的规划能力，能够提升用户体验，增强系统的智能化水平，未来可能在多个行业中产生深远影响。
📄 摘要（原文）
Large language model (LLM) agents are evolving from tool-calling systems that execute isolated instructions into task-oriented agents that pursue user goals through sustained, multi-step interactions. However, existing benchmarks for personalized tool use largely assess isolated calls or reactive execution, leaving unclear whether agents can formulate, execute, and revise an explicit plan while preserving user preferences throughout long-term interaction. To address this gap, we introduce \textbf{PDEU-Bench} (\textbf{P}ersonalized plan \textbf{D}efinition, plan \textbf{E}xecution, and plan \textbf{U}pdate \textbf{Bench}mark), a benchmark for evaluating the complete planning lifecycle of personalized tool-using agents. PDEU-Bench comprises 214 long-horizon interaction tasks spanning 12 everyday domains and 94 tools, with stage-specific assessments of preference adherence and plan quality. Extensive evaluations of 15 representative open-source and closed-source LLMs reveal a pronounced gap between local tool execution and dynamic planning: LLMs can often instantiate preferences in individual calls, yet struggle to construct coherent plan definition and plan update. We further evaluate mainstream personalization and memory-augmentation methods. Although these methods improve particular stages, none of the evaluated methods reliably propagates user preferences throughout the complete lifecycle, and their gains frequently fail to transfer to subsequent execution. Fine-grained error analysis further reveals that preference omissions and conflicts persist throughout the planning lifecycle, highlighting the need for future research to parameterize LLMs with preference-aware information retrieval and memory capabilities. We provide the relevant code and data in the appendix to support future research.