VLX-Go: Robust Embodied Tracking through Multi-Stage Learning and On-Policy Refinement
作者: Kyusong Lee, Heting Ying, Tiancheng Zhao
分类: cs.CV, cs.CL, cs.RO
发布日期: 2026-10-14
备注: tech report
💡 一句话要点
提出VLX-Go以解决多目标跟踪中的挑战
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 具身视觉跟踪 多模态学习 视觉-语言对齐 机器人导航 干扰物跟踪
📋 核心要点
- 现有方法在单目标跟踪与干扰物跟踪之间的成功率差异显著，导致多目标跟踪面临挑战。
- 本文提出的VLX-Go策略通过视觉-语言对齐和多模态推理，提升了跟踪精度和鲁棒性。
- 实验结果显示，VLX-Go在干扰物跟踪成功率上达到了58.22%，较之前模型提升了2.42个百分点。
📝 摘要（中文）
具身视觉跟踪要求机器人从视觉观察中识别指定目标，并控制自身运动以跟随该目标。尽管跟随孤立个体相对简单，但在干扰物中跟随目标仍然具有挑战性。现有方法在单目标与干扰物跟踪之间的成功率显著下降，促使我们关注人跟随机器人必须导航的共享空间。本文提出了VLX-Go，一种基于视觉-语言的路径策略，假设视觉和语言表示应在学习特定运动之前对齐。该策略结合了互补的冻结视觉编码器、多尺度时间上下文、变换器骨干和轻量级头部进行机器人中心的路径预测。通过视觉-语言对齐、多模态推理和跟踪专业化的多阶段训练，最终实现了58.22%的干扰物跟踪成功率。
🔬 方法详解
问题定义：本文旨在解决具身视觉跟踪中，机器人在干扰物环境中跟踪目标的挑战。现有方法在处理干扰物时成功率显著下降，缺乏有效的多目标跟踪策略。
核心思路：VLX-Go策略的核心在于视觉与语言表示的对齐，确保在学习特定运动之前，机器人能够理解目标与环境之间的关系。通过多阶段训练，逐步提升跟踪能力。
技术框架：整体架构包括三个主要阶段：首先进行视觉-语言对齐，其次进行多模态推理，最后专注于跟踪专业化。该策略结合了冻结的视觉编码器和变换器骨干，确保信息的有效传递。
关键创新：最重要的创新点在于多阶段学习策略，通过逐步引入复杂性来提升跟踪能力，尤其是在干扰物环境中。与现有方法相比，VLX-Go在处理多目标跟踪时表现出更高的鲁棒性。
关键设计：在设计中，采用了多尺度时间上下文和轻量级头部结构，以实现高效的路径预测。同时，训练过程中使用了19,532个oracle样本，确保模型的有效性。损失函数的设计也经过精心调整，以优化跟踪性能。
🖼️ 关键图片
📊 实验亮点
实验结果显示，VLX-Go在干扰物跟踪成功率上达到了58.22%，相比于之前的OmTrackVLA模型提升了2.42个百分点。同时，碰撞率降低了1.99个百分点，表明该方法在提高跟踪精度的同时，增强了安全性。
🎯 应用场景
该研究的潜在应用领域包括服务机器人、自动驾驶车辆和人机交互系统等。通过提升机器人在复杂环境中的跟踪能力，VLX-Go有望在实际应用中实现更高的安全性和效率，推动智能机器人技术的发展。未来，该方法也可以扩展到其他多模态任务，如物体识别和环境理解。
📄 摘要（原文）
Embodied visual tracking requires a robot to identify a designated target from visual observations and control its own motion to follow that target through an environment. Following an isolated person is a comparatively simple demonstration of embodied visual tracking, but following the intended person among distractors remains challenging. Existing methods exhibit a substantial drop in success from single-target to distractor tracking, motivating a focus on the shared spaces that person-following robots must navigate. We present \method{}, a vision--language waypoint policy built around the hypothesis that visual and language representations should be aligned before tracking-specific motion is learned. The policy combines complementary frozen visual encoders, multiscale temporal context, a transformer backbone, and a lightweight head for robot-centric waypoint prediction. Its training progresses through vision--language alignment, multimodal reasoning mid-training, and tracking specialization on 19,532 oracle episodes. Compared with 41.54\% distractor-tracking success for our earlier OmTrackVLA model, the complete multi-stage recipe achieves 55.80\%. We then explore on-policy refinement using filtered oracle labels for states visited by the policy. This preliminary study adds 2.42 percentage points of distractor-tracking success, reaching 58.22\%, while reducing collision rate by 1.99 pts. The final policy records the highest distractor- and ambiguous-tracking success rates among the compared methods. These results support staged multimodal learning as a promising direction for tracking among distractors and motivate further study of on-policy refinement for person following in shared spaces.