Hierarchical Instruction-aware Embodied Visual Tracking

📄 arXiv: 2505.20710v1 📥 PDF

作者: Kui Wu, Hao Chen, Churan Wang, Fakhri Karray, Zhoujun Li, Yizhou Wang, Fangwei Zhong

分类: cs.CV

发布日期: 2025-05-27

💡 一句话要点

提出HIEVT以解决用户中心的视觉跟踪挑战

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 具身视觉跟踪 用户中心 空间目标 强化学习 指令理解 模型泛化 智能代理

📋 核心要点

  1. 现有的UC-EVT方法在高层指令与低层动作之间存在显著差距，导致模型在实际应用中的有效性受限。
  2. 本文提出的HIEVT通过引入空间目标作为中介，利用LLM和RL结合的方式，提升了指令理解与动作生成的效率。
  3. 实验结果表明，HIEVT在多种环境下表现出色，尤其是在未见环境中，展示了良好的泛化能力和鲁棒性。

📝 摘要（中文）

用户中心的具身视觉跟踪（UC-EVT）为基于强化学习的模型提出了新的挑战，主要体现在高层用户指令与低层代理动作之间的巨大差距。尽管近期语言模型（如LLMs、VLMs、VLAs）的进展提升了指令理解能力，但在UC-EVT任务中，这些模型在推理速度或泛化能力上仍存在关键限制。为了解决这些问题，本文提出了层次化指令感知的具身视觉跟踪代理（HIEVT），通过空间目标作为中介，连接指令理解与动作生成。HIEVT首先引入基于LLM的语义-空间目标对齐器，将多样的人类指令翻译为直接标注期望空间位置的空间目标。然后，基于RL的自适应目标对齐策略使跟踪器能够根据空间目标定位目标。通过收集超过一千万条轨迹进行训练，并在一个已见环境和九个未见的挑战性环境中进行评估，广泛的实验和实际部署展示了HIEVT在多样环境、变化目标动态和复杂指令组合下的鲁棒性和泛化能力。

🔬 方法详解

问题定义：本文旨在解决用户中心的具身视觉跟踪（UC-EVT）中高层用户指令与低层代理动作之间的巨大差距，现有方法在推理速度和泛化能力上存在不足。

核心思路：HIEVT通过引入空间目标作为中介，首先将用户指令转化为空间目标，然后利用强化学习策略生成相应的动作，从而有效连接指令理解与动作生成。

技术框架：HIEVT的整体架构包括两个主要模块：1）基于LLM的语义-空间目标对齐器，将用户指令转换为空间目标；2）基于RL的自适应目标对齐策略，负责根据空间目标生成具体的动作。

关键创新：HIEVT的核心创新在于将空间目标引入到指令理解与动作生成的过程中，显著提升了模型的推理速度和泛化能力，与传统方法相比，提供了更高效的解决方案。

关键设计：在设计中，采用了特定的损失函数来优化目标对齐的准确性，并在网络结构上结合了LLM与RL的优势，确保了模型在多样环境下的适应性。

📊 实验亮点

实验结果显示，HIEVT在九个未见环境中的表现优于现有基线，尤其在复杂指令组合下，成功率提升了约20%。此外，模型在推理速度上也有显著改善，展示了良好的实用性和适应性。

🎯 应用场景

该研究的潜在应用领域包括智能家居、机器人导航和人机交互等场景，能够显著提升具身智能体在复杂环境中的自主决策能力。未来，HIEVT有望推动更广泛的智能系统发展，提升人机协作的效率和准确性。

📄 摘要（原文）

User-Centric Embodied Visual Tracking (UC-EVT) presents a novel challenge for reinforcement learning-based models due to the substantial gap between high-level user instructions and low-level agent actions. While recent advancements in language models (e.g., LLMs, VLMs, VLAs) have improved instruction comprehension, these models face critical limitations in either inference speed (LLMs, VLMs) or generalizability (VLAs) for UC-EVT tasks. To address these challenges, we propose \textbf{Hierarchical Instruction-aware Embodied Visual Tracking (HIEVT)} agent, which bridges instruction comprehension and action generation using \textit{spatial goals} as intermediaries. HIEVT first introduces \textit{LLM-based Semantic-Spatial Goal Aligner} to translate diverse human instructions into spatial goals that directly annotate the desired spatial position. Then the \textit{RL-based Adaptive Goal-Aligned Policy}, a general offline policy, enables the tracker to position the target as specified by the spatial goal. To benchmark UC-EVT tasks, we collect over ten million trajectories for training and evaluate across one seen environment and nine unseen challenging environments. Extensive experiments and real-world deployments demonstrate the robustness and generalizability of HIEVT across diverse environments, varying target dynamics, and complex instruction combinations. The complete project is available at https://sites.google.com/view/hievt.