Hierarchical Instruction-aware Embodied Visual Tracking

📄 arXiv: 2505.20710v1 📥 PDF

作者: Kui Wu, Hao Chen, Churan Wang, Fakhri Karray, Zhoujun Li, Yizhou Wang, Fangwei Zhong

分类: cs.CV

发布日期: 2025-05-27

💡 一句话要点

提出HIEVT，利用分层指令感知解决具身视觉跟踪中指令理解与动作生成鸿沟

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 具身视觉跟踪 强化学习 指令理解 空间目标 分层控制

📋 核心要点

  1. UC-EVT任务中，高级指令与低级动作间的巨大差距是现有强化学习方法面临的主要挑战。
  2. HIEVT通过引入空间目标作为中间表示，连接指令理解和动作生成，弥合了这一差距。
  3. 实验表明，HIEVT在多种环境和复杂指令下表现出良好的鲁棒性和泛化能力。

📝 摘要（中文）

用户中心具身视觉跟踪(UC-EVT)对基于强化学习的模型提出了新的挑战，因为高级用户指令和低级智能体动作之间存在巨大差距。虽然最近在语言模型(如LLM、VLM、VLA)方面的进展提高了指令理解能力，但这些模型在UC-EVT任务中面临着推理速度(LLM、VLM)或泛化能力(VLA)的关键限制。为了解决这些挑战，我们提出了分层指令感知具身视觉跟踪(HIEVT)智能体，它使用空间目标作为中介来桥接指令理解和动作生成。HIEVT首先引入基于LLM的语义-空间目标对齐器，将多样化的人类指令转换为直接标注所需空间位置的空间目标。然后，基于RL的自适应目标对齐策略（一种通用的离线策略）使跟踪器能够将目标定位到空间目标指定的位置。为了评估UC-EVT任务，我们收集了超过一千万条轨迹用于训练，并在一个已见环境和九个未见挑战性环境中进行评估。大量的实验和实际部署证明了HIEVT在不同环境、不同目标动态和复杂指令组合中的鲁棒性和泛化能力。完整的项目可在https://sites.google.com/view/hievt 获得。

🔬 方法详解

问题定义：论文旨在解决用户中心具身视觉跟踪(UC-EVT)任务中，高级用户指令与低级智能体动作之间存在的语义鸿沟问题。现有方法，如直接使用大型语言模型(LLM)或视觉语言模型(VLM)，存在推理速度慢的问题；而使用视觉语言动作模型(VLA)则泛化能力不足，难以适应复杂多变的环境和指令。

核心思路：论文的核心思路是将高级用户指令转化为智能体可理解的中间表示——空间目标。通过将指令映射到具体的空间位置，降低了指令理解的难度，并为智能体的动作生成提供了明确的目标。这种分层结构使得智能体能够更好地理解和执行用户指令。

技术框架：HIEVT包含两个主要模块：LLM-based Semantic-Spatial Goal Aligner（基于LLM的语义-空间目标对齐器）和RL-based Adaptive Goal-Aligned Policy（基于RL的自适应目标对齐策略）。首先，Semantic-Spatial Goal Aligner利用大型语言模型将用户指令转换为空间目标，即目标在图像中的位置。然后，Adaptive Goal-Aligned Policy使用强化学习训练的策略，根据空间目标控制智能体的动作，从而将目标定位到指定位置。

关键创新：论文的关键创新在于引入了空间目标作为指令理解和动作生成的桥梁。这种分层结构不仅简化了指令理解过程，还提高了智能体的泛化能力。此外，论文还提出了一个基于LLM的语义-空间目标对齐器，能够有效地将复杂的用户指令转换为空间目标。

关键设计：Semantic-Spatial Goal Aligner使用预训练的大型语言模型，并针对UC-EVT任务进行了微调，以提高指令理解的准确性。Adaptive Goal-Aligned Policy使用离线强化学习方法进行训练，使其能够适应不同的环境和目标动态。损失函数的设计旨在鼓励智能体将目标定位到空间目标指定的位置，并保持目标的稳定跟踪。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，HIEVT在UC-EVT任务中取得了显著的性能提升。在九个未见环境中，HIEVT的跟踪成功率和精度均优于现有方法。此外，HIEVT在真实世界部署中也表现出良好的鲁棒性和泛化能力，证明了其在实际应用中的潜力。

🎯 应用场景

该研究成果可应用于机器人辅助、智能监控、自动驾驶等领域。例如，在机器人辅助场景中，用户可以通过自然语言指令引导机器人完成特定任务，如“帮我找到红色的杯子并放到桌子上”。在智能监控中，可以根据用户的指令对特定目标进行跟踪和分析。未来，该技术有望实现更自然、更智能的人机交互。

📄 摘要（原文）

User-Centric Embodied Visual Tracking (UC-EVT) presents a novel challenge for reinforcement learning-based models due to the substantial gap between high-level user instructions and low-level agent actions. While recent advancements in language models (e.g., LLMs, VLMs, VLAs) have improved instruction comprehension, these models face critical limitations in either inference speed (LLMs, VLMs) or generalizability (VLAs) for UC-EVT tasks. To address these challenges, we propose \textbf{Hierarchical Instruction-aware Embodied Visual Tracking (HIEVT)} agent, which bridges instruction comprehension and action generation using \textit{spatial goals} as intermediaries. HIEVT first introduces \textit{LLM-based Semantic-Spatial Goal Aligner} to translate diverse human instructions into spatial goals that directly annotate the desired spatial position. Then the \textit{RL-based Adaptive Goal-Aligned Policy}, a general offline policy, enables the tracker to position the target as specified by the spatial goal. To benchmark UC-EVT tasks, we collect over ten million trajectories for training and evaluate across one seen environment and nine unseen challenging environments. Extensive experiments and real-world deployments demonstrate the robustness and generalizability of HIEVT across diverse environments, varying target dynamics, and complex instruction combinations. The complete project is available at https://sites.google.com/view/hievt.