Finder: Agentic Closed-Loop Object Finding for Embodied Grounding
作者: Shixiong Xu, Zhiyuan Chen, Song Ding, Rui Luo, Xiaowei Liang, Dongxu Miao, Zhiying Du
分类: cs.CV
发布日期: 2026-09-16
💡 一句话要点
提出Finder以解决3D场景中物体查找问题
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 物体查找 具身智能 闭环控制 动态规划 证据收集
📋 核心要点
- 现有方法在物体查找中存在高成本和静态查询的局限性，无法有效处理不完整或模糊的证据。
- Finder通过闭环状态维护，结合规划、证据收集和候选验证，提供了一种动态的物体查找机制。
- 在多个实验中，Finder的成功率比强基线提高了15.75个百分点，显示出显著的性能提升。
📝 摘要（中文）
在部分观察的3D场景中，通过语言找到所指物体是具身智能体的核心能力。现有方法要么将物体搜索与在线探索结合，导致成本高昂，要么以静态、一锤子买卖的方式查询预构建的开放词汇地图和场景图。本文提出Finder，一种具身基础的闭环物体查找原语。Finder通过维护一个类型化的循环状态，将查询条件规划、证据收集、候选验证和接受/继续/中止控制连接起来。当证据不完整或模糊时，循环可以重新引导后续的感知和比较，而不仅仅是返回检索到的最佳物体。在Habitat/HM3D的开放词汇具身物体检索和真实RGB-D场景中，Finder的平均成功率提高了15.75个百分点。该原语还可迁移至顺序物体基础和具身物体中心问答，改善空间和时间定位，而无需改变内部的基础协议。
🔬 方法详解
问题定义：本文旨在解决在部分观察的3D场景中，通过语言找到物体的挑战。现有方法在处理不完整或模糊证据时效率低下，且常常依赖静态的场景表示，导致信息利用不充分。
核心思路：Finder的核心思路是将物体查找视为一个动态的闭环过程，而非简单的被动检索。通过维护一个类型化的循环状态，Finder能够在证据不足时调整后续的感知和决策过程。
技术框架：Finder的整体架构包括查询条件规划、证据收集、候选物体验证和控制机制四个主要模块。每个模块相互连接，形成一个反馈循环，以优化物体查找的效率和准确性。
关键创新：Finder的关键创新在于其闭环状态的设计，使得物体查找过程能够根据实时反馈进行调整。这与传统方法的静态检索方式形成了本质区别，提升了对复杂场景的适应能力。
关键设计：在设计中，Finder采用了特定的损失函数来优化候选物体的验证过程，并在网络结构上进行了调整，以支持动态的证据收集和决策过程。
🖼️ 关键图片
📊 实验亮点
Finder在Habitat/HM3D和真实RGB-D场景中的实验结果显示，平均成功率提高了15.75个百分点，显著优于现有强基线。这一提升表明Finder在动态物体查找中的有效性和实用性。
🎯 应用场景
该研究的潜在应用领域包括机器人导航、智能家居和增强现实等场景，能够显著提升具身智能体在复杂环境中的物体识别和交互能力。未来，Finder的技术可以扩展到更广泛的多模态理解任务中，推动智能体的自主学习与适应能力。
📄 摘要（原文）
Finding the object referred to by language in a partially observed 3D scene is a core capability for embodied agents. Existing approaches either couple object search with online exploration, which can be costly when relevant observations have already been captured, or query pre-built open-vocabulary maps and scene graphs in a static, one-shot fashion. We present Finder, an agentic closed-loop object-finding primitive for embodied grounding. Instead of treating grounding as passive retrieval from a fixed scene representation, Finder maintains a typed loop state that links query-conditioned planning, scoped evidence gathering, candidate verification, and accept/continue/abort control. When evidence is incomplete or ambiguous, the loop can redirect subsequent perception and comparison rather than simply returning the top retrieved object. On open-vocabulary embodied Object Retrieval in Habitat/HM3D and real-world RGB-D scenes, Finder improves the averaged 1m success rate by 15.75 points over strong baselines. The same primitive also transfers to sequential object grounding and embodied object-centric question answering, improving spatial and temporal localization without changing the inner grounding protocol. Project page: https://finder-vln.github.io.