PersONAL: Towards a Comprehensive Benchmark for Personalized Embodied Agents
作者: Filippo Ziliotto, Jelin Raphael Akkara, Alessandro Daniele, Lamberto Ballan, Luciano Serafini, Tommaso Campari
分类: cs.CV, cs.RO
发布日期: 2025-09-24
💡 一句话要点
PersONAL：面向个性化具身智能代理的综合基准测试
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 具身智能 个性化 对象导航 自然语言理解 基准测试
📋 核心要点
- 现有具身智能方法难以模拟个体人类的偏好和行为，限制了其在真实家庭环境中的应用。
- PersONAL基准测试通过构建个性化对象导航与定位任务，促进智能体理解用户特定语义。
- 实验表明现有方法与人类水平存在差距，强调了智能体感知、推理和记忆个性化信息的重要性。
📝 摘要（中文）
具身智能的最新进展使得智能体能够执行日益复杂的任务并适应不同的环境。然而，在以人为中心的真实场景（如家庭环境）中部署此类智能体仍然具有挑战性，这主要是由于难以对个体人类的偏好和行为进行建模。本文提出了PersONAL（个性化对象导航与定位），这是一个旨在研究具身智能中个性化的综合基准。智能体必须识别、检索和导航到与特定用户相关的对象，响应诸如“找到Lily的书包”之类的自然语言查询。PersONAL包含来自HM3D数据集的30多个逼真家庭场景中超过2,000个高质量的episode。每个episode都包含自然语言场景描述，其中明确了对象与其所有者之间的关联，要求智能体对用户特定的语义进行推理。该基准支持两种评估模式：（1）在未见过的环境中进行主动导航，以及（2）在先前映射的场景中进行对象定位。与最先进的基线进行的实验表明，与人类的表现存在显著差距，突出了对能够感知、推理和记忆个性化信息的具身智能体的需求；为现实世界的辅助机器人铺平了道路。
🔬 方法详解
问题定义：现有具身智能代理在理解和响应个性化需求方面存在不足。它们难以将对象与特定用户关联，并根据用户的偏好进行导航和定位。这限制了它们在真实家庭环境中的应用，例如辅助老年人或残疾人。
核心思路：PersONAL基准测试的核心思路是创建一个包含丰富个性化信息的环境，迫使智能体学习用户特定的语义关联。通过提供自然语言描述，将对象与其所有者关联起来，智能体需要理解这些关联才能成功完成任务。这种方法旨在弥合智能体理解人类意图和偏好方面的差距。
技术框架：PersONAL基准测试基于HM3D数据集，包含30多个逼真的家庭环境。每个episode包括一个自然语言场景描述，其中明确了对象与其所有者之间的关联。智能体需要根据自然语言查询，例如“找到Lily的书包”，识别、检索和导航到目标对象。该基准支持两种评估模式：主动导航（在未见过的环境中）和对象定位（在先前映射的场景中）。
关键创新：PersONAL的关键创新在于其对个性化信息的关注。与传统的具身智能基准测试不同，PersONAL强调智能体理解和利用用户特定语义的能力。这使得智能体能够更好地适应不同的用户和环境，并提供更个性化的服务。
关键设计：PersONAL的关键设计包括：(1) 使用HM3D数据集提供逼真的家庭环境；(2) 提供自然语言场景描述，明确对象与其所有者之间的关联；(3) 支持两种评估模式，以评估智能体在不同场景下的性能；(4) 提供超过2,000个高质量的episode，以确保评估的可靠性。
🖼️ 关键图片
📊 实验亮点
实验结果表明，现有的最先进的具身智能代理在PersONAL基准测试上的表现与人类水平存在显著差距。这表明，智能体在理解和利用个性化信息方面仍有很大的改进空间。该基准测试为未来的研究提供了一个有价值的平台，以开发更智能、更个性化的具身智能代理。
🎯 应用场景
PersONAL基准测试的研究成果可应用于开发更智能、更个性化的辅助机器人，例如帮助老年人或残疾人在家中导航、寻找物品或执行其他任务。此外，该研究还可以促进人机交互领域的发展，使智能体能够更好地理解人类的意图和偏好，从而提供更自然、更有效的交互。
📄 摘要（原文）
Recent advances in Embodied AI have enabled agents to perform increasingly complex tasks and adapt to diverse environments. However, deploying such agents in realistic human-centered scenarios, such as domestic households, remains challenging, particularly due to the difficulty of modeling individual human preferences and behaviors. In this work, we introduce PersONAL (PERSonalized Object Navigation And Localization, a comprehensive benchmark designed to study personalization in Embodied AI. Agents must identify, retrieve, and navigate to objects associated with specific users, responding to natural-language queries such as "find Lily's backpack". PersONAL comprises over 2,000 high-quality episodes across 30+ photorealistic homes from the HM3D dataset. Each episode includes a natural-language scene description with explicit associations between objects and their owners, requiring agents to reason over user-specific semantics. The benchmark supports two evaluation modes: (1) active navigation in unseen environments, and (2) object grounding in previously mapped scenes. Experiments with state-of-the-art baselines reveal a substantial gap to human performance, highlighting the need for embodied agents capable of perceiving, reasoning, and memorizing over personalized information; paving the way towards real-world assistive robot.