VP-EVT: Active Visibility Preservation for Embodied Visual Tracking

📄 arXiv: 2610.21999v1 📥 PDF

作者: Yanci Wen, Tianle Zeng, Jianwei Peng, Weixi Situ, Hanjing Ye, Hong Zhang

分类: cs.RO

发布日期: 2026-10-15

💡 一句话要点

提出VP-EVT以解决动态场景下的可见性保持问题

🎯 匹配领域: 支柱六：视频提取与匹配 (Video Extraction)

关键词: 动态场景 目标跟踪 行人遮挡 机器人技术 视觉感知 运动控制 人机协作

📋 核心要点

  1. 现有EVT方法在动态场景中面临严重的行人遮挡问题，导致目标跟踪的持续性和准确性下降。
  2. VP-EVT框架将目标可见性视为运动控制的核心目标，通过语言引导的感知和历史信息来应对遮挡。
  3. VP-EVT在风险分割上成功率提升121.4%，显著减少了可见性缺失和目标丢失时间，表现优于竞争基线。

📝 摘要（中文）

Embodied Visual Tracking (EVT)是智能机器人在动态环境中与人类协作的重要能力，然而，行人遮挡问题严重影响现有EVT方法的效果。为此，本文提出VP-EVT框架，将目标可见性作为运动控制的明确目标，通过语言引导的感知提取目标和行人观察。当遮挡导致观察不完整时，VP-EVT结合视觉历史和自我运动来维持相对位置和运动的估计。通过这些估计，VP-EVT预测持续跟随是否会保持遮挡，并在风险低时保留原跟随动作，反之则调整视角以恢复稳定跟随。实验结果表明，VP-EVT在风险分割上成功率提高121.4%，可见性缺失和最长目标丢失时间分别减少78.8%和74.4%。

🔬 方法详解

问题定义：本文旨在解决动态场景中行人遮挡对EVT的影响，现有方法在严重遮挡情况下常常导致目标丢失，缺乏主动的可见性保持机制。

核心思路：VP-EVT框架将目标可见性作为运动控制的明确目标，通过理解遮挡源和机器人运动对遮挡的影响，主动调整跟随策略。

技术框架：VP-EVT的整体架构包括语言引导的感知模块、视觉历史与自我运动结合的估计模块，以及基于风险评估的运动控制模块，形成闭环控制系统。

关键创新：VP-EVT的创新在于将目标可见性作为运动控制的核心目标，而非跟随的副产品，显著提高了在动态环境中的跟踪稳定性。

关键设计：VP-EVT使用语言引导的感知来分离目标和行人观察，结合视觉历史和自我运动估计相对位置，并通过递归控制器协调视角调整，确保稳定跟随。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

VP-EVT在风险分割上的成功率提升达121.4%，同时可见性缺失和最长目标丢失时间分别减少了78.8%和74.4%，显示出其在动态场景下的显著优势，超越了现有竞争基线。

🎯 应用场景

VP-EVT的研究成果可广泛应用于人机协作机器人、自动驾驶车辆及智能监控系统等领域，提升其在复杂动态环境中的目标跟踪能力，具有重要的实际价值和未来影响。

📄 摘要（原文）

Embodied Visual Tracking (EVT) is an essential capability for intelligent robots in human-robot collaboration, requiring an agent to follow a designated target person in dynamic environments relying solely on egocentric visual perception. However, persistent pedestrian occlusions in dynamic scenes pose critical challenges to existing EVT methods. Lacking proactive visibility preservation, reactive tracking methods frequently experience prolonged target loss under severe occlusions. Therefore, we propose VP-EVT, a framework that treats target visibility as an explicit objective of motion control rather than a by-product of following. Acting on this objective requires understanding both what obstructs the target and how robot motion can change that obstruction. VP-EVT therefore uses language-guided perception to extract separate target and pedestrian observations. When occlusion makes current observations incomplete, VP-EVT combines visual history with ego-motion to maintain estimates of their relative positions and motion. Using these estimates and the current following waypoints, VP-EVT predicts whether continued following will sustain the obstruction. When the predicted risk is low, the original following motion is retained; otherwise, a recurrent controller combines updated estimates with maneuver context from preceding decisions to coordinate viewpoint adjustment and the return to stable following. Moreover, we introduce OccEVT-Bench for closed-loop evaluation of persistent occlusion and collect expert demonstrations for training. On its Risk split, VP-EVT improves success rate by 121.4% relative to a competitive baseline and reduces visibility deficit and longest target-loss duration by 78.8% and 74.4%, respectively.