Agentic Scene Policies: Unifying Space, Semantics, and Affordances for Robot Action

📄 arXiv: 2509.19571v1 📥 PDF

作者: Sacha Morin, Kumaraditya Gupta, Mahtab Sandhu, Charlie Gauthier, Francesco Argenziano, Kirsty Ellis, Liam Paull

分类: cs.RO, cs.CV

发布日期: 2025-09-23

备注: Project page: https://montrealrobotics.ca/agentic-scene-policies.github.io/

💡 一句话要点

提出Agentic Scene Policies，统一空间、语义和可供性，实现机器人动作

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 机器人 自然语言处理 场景理解 可供性 运动规划

📋 核心要点

  1. 现有视觉-语言-动作模型在复杂指令和新场景中表现不佳，难以满足机器人执行开放式自然语言查询的需求。
  2. Agentic Scene Policies (ASP) 框架利用场景表示的可查询接口，显式推理对象的可供性，指导下游运动规划。
  3. 实验表明，ASP在桌面操作和房间级别查询任务中优于视觉-语言-动作模型，展示了其处理复杂任务的能力。

📝 摘要（中文）

本文提出Agentic Scene Policies (ASP)，一个agentic框架，利用现代场景表示的高级语义、空间和基于可供性的查询能力，来实现有能力的语言条件机器人策略。ASP可以通过显式推理对象的可供性，以零样本方式执行开放词汇查询，从而处理更复杂的技能。通过大量的实验，我们将ASP与视觉-语言-动作模型（VLAs）在桌面操作问题上进行了比较，并展示了ASP如何通过可供性引导的导航和扩展的场景表示来处理房间级别的查询。

🔬 方法详解

问题定义：论文旨在解决机器人如何根据自然语言指令，在复杂环境中执行任务的问题。现有方法，特别是端到端的视觉-语言-动作模型（VLAs），在处理复杂指令和新场景时存在泛化性不足的问题，难以有效利用场景中的语义信息和对象的可供性。

核心思路：论文的核心思路是将机器人策略分解为两个阶段：首先，利用场景表示来理解语言指令并提取相关信息；然后，利用提取的信息指导运动规划。通过显式地建模场景中的对象及其可供性，机器人可以更好地理解指令的意图，并规划出合适的动作序列。

技术框架：ASP框架主要包含以下几个模块：1) 场景表示模块：用于构建场景的语义、空间和可供性表示。2) 查询模块：用于根据自然语言指令查询场景表示，提取相关对象和可供性信息。3) 动作规划模块：根据查询结果，规划机器人的运动轨迹，执行相应的动作。整体流程是：接收自然语言指令 -> 查询场景表示 -> 获取目标对象和可供性信息 -> 规划并执行动作。

关键创新：ASP的关键创新在于其agentic的设计，将场景表示作为一个可查询的接口，允许机器人主动地探索和利用场景中的信息。通过显式地建模对象的可供性，ASP能够更好地理解指令的意图，并规划出更合理的动作序列。与传统的端到端方法相比，ASP具有更强的可解释性和泛化能力。

关键设计：论文中使用了先进的场景表示方法，例如NeRF或3D场景图，来构建场景的语义和空间表示。可供性信息可以通过预训练的模型或人工标注的方式获得。查询模块可以使用基于Transformer的模型，将自然语言指令映射到场景表示的查询向量。动作规划模块可以使用传统的运动规划算法，例如RRT或PRM。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，ASP在桌面操作任务上优于现有的视觉-语言-动作模型。此外，ASP还展示了处理房间级别查询的能力，例如通过可供性引导的导航，找到目标对象。这些结果表明，ASP具有很强的泛化能力和处理复杂任务的能力。

🎯 应用场景

该研究成果可应用于家庭服务机器人、工业自动化、医疗辅助等领域。例如，家庭服务机器人可以根据用户的自然语言指令，完成诸如“把苹果放在桌子上”之类的任务。在工业自动化中，机器人可以根据指令完成复杂的装配或搬运工作。该研究的未来影响在于提升机器人的智能化水平，使其能够更好地理解人类的意图，并在复杂环境中自主地完成任务。

📄 摘要（原文）

Executing open-ended natural language queries is a core problem in robotics. While recent advances in imitation learning and vision-language-actions models (VLAs) have enabled promising end-to-end policies, these models struggle when faced with complex instructions and new scenes. An alternative is to design an explicit scene representation as a queryable interface between the robot and the world, using query results to guide downstream motion planning. In this work, we present Agentic Scene Policies (ASP), an agentic framework that leverages the advanced semantic, spatial, and affordance-based querying capabilities of modern scene representations to implement a capable language-conditioned robot policy. ASP can execute open-vocabulary queries in a zero-shot manner by explicitly reasoning about object affordances in the case of more complex skills. Through extensive experiments, we compare ASP with VLAs on tabletop manipulation problems and showcase how ASP can tackle room-level queries through affordance-guided navigation, and a scaled-up scene representation. (Project page: https://montrealrobotics.ca/agentic-scene-policies.github.io/)