UniTrackPLA: Unified Panorama-Language-Action Model for Instruction-Guided Navigation and Dynamic Person Tracking

📄 arXiv: 2610.00878v1 📥 PDF

作者: Pengfei Qi, Haoran Lin, Sizhuang Chen, Kai Luo, Sirui Zhang, Xinqi Liu, Fei Cheng, Wenrui Chen, Liming Yin, Kailun Yang

分类: cs.RO, cs.CV, eess.IV

发布日期: 2026-10-01

备注: The project page is at https://tw5775.github.io/UniTrackPLA

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出UniTrackPLA以解决指令引导导航与动态人追踪问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 全景感知 指令引导导航 动态人追踪 机器人技术 多模态学习

📋 核心要点

  1. 现有方法通常依赖于前向观察，无法有效处理全向感知和统一控制，限制了机器人在复杂环境中的导航和追踪能力。
  2. UniTrackPLA通过全景感知编码和共享视觉-语言骨干网络，统一处理指令引导导航和动态人追踪任务，提升了系统的灵活性和效率。
  3. 实验结果表明，UniTrackPLA在追踪成功率上从23.50%提升至35.00%，并在多种真实场景中表现出色，验证了其有效性。

📝 摘要（中文）

通用的具身机器人应支持根据语言指定的目的地进行导航，并在任意初始目标方位下进行动态人追踪。然而，现有方法通常依赖于前向观察，并通过分离的策略来解决这些任务，限制了全向感知和统一闭环控制。本文提出了UniTrackPLA，一个统一的全景-语言-动作模型，用于指令引导导航和动态人追踪。其全景感知编码（PAE）保留了从每个全景投影的视角视图的时间和方位结构，使得经过视角预训练的视觉编码器能够处理全向观察。共享的视觉-语言骨干网络将指令与全景上下文结合，并为两个任务预测连续的机器人中心航点。世界-动作一致性（WAC）进一步预测基于动作的未来视觉状态，并在线验证航点前缀，允许可靠的动作重用，同时在不一致时触发重新规划。

🔬 方法详解

问题定义：本文旨在解决具身机器人在复杂环境中进行指令引导导航和动态人追踪的挑战。现有方法往往依赖于前向观察，无法实现全向感知和统一控制，导致性能受限。

核心思路：UniTrackPLA的核心思路是通过全景感知编码（PAE）和共享视觉-语言骨干网络，统一处理导航和追踪任务，从而提升机器人的灵活性和响应能力。

技术框架：该方法的整体架构包括全景感知编码模块、共享视觉-语言骨干网络和世界-动作一致性模块。PAE模块处理全向观察，骨干网络将指令与全景上下文结合，WAC模块则确保动作的一致性和可靠性。

关键创新：最重要的技术创新在于引入了全景感知编码和世界-动作一致性机制，使得机器人能够在复杂环境中实现更高效的导航和追踪，区别于传统方法的分离策略。

关键设计：在设计中，PAE模块保留了视角结构，允许使用经过预训练的视觉编码器；共享骨干网络通过语言指令生成航点；WAC模块则通过在线验证航点前缀，确保动作的一致性和可靠性。具体的损失函数和网络结构设计也经过精心调整，以优化性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

UniTrackPLA在实验中表现出色，追踪成功率从23.50%提升至35.00%，而在多模态导航任务中，Omni-VLN成功率和SPL分别从13.00%和12.77%提升至19.75%和19.29%。在真实场景中，结合76条路线后，EP@0.2m的表现从42.92%提升至92.08%。

🎯 应用场景

UniTrackPLA的研究成果在多个领域具有潜在应用价值，包括智能家居、服务机器人和安防监控等。通过实现高效的导航和动态人追踪，该模型能够提升机器人在复杂环境中的自主决策能力，推动具身智能的发展。

📄 摘要（原文）

General-purpose embodied robots should support both navigation toward language-specified destinations and dynamic person tracking under arbitrary initial target azimuths. However, existing methods typically rely on forward-facing observations and address these tasks with separate policies, limiting omnidirectional perception and unified closed-loop control. We present UniTrackPLA, a unified panorama-language-action model for instruction-guided navigation and dynamic person tracking. Its Panoramic-Aware Encoding (PAE) preserves the temporal and azimuthal structure of perspective views projected from each panorama, enabling perspective-pretrained visual encoders to process omnidirectional observations. A shared vision-language backbone grounds instructions in the panoramic context and predicts continuous robot-centric waypoint chunks for both tasks. World-Action Consistency (WAC) further predicts action-conditioned future visual states and verifies waypoint prefixes online, allowing reliable actions to be reused while triggering replanning upon inconsistency. We also introduce OmniTrackNav-Bench, comprising 5,000 simulated tracking trajectories, 10,000 simulated VLN routes, and 96 verified real-world routes, providing 919,978 waypoint-supervision instances. UniTrackPLA improves overall tracking SR from 23.50% to 35.00% and Omni-VLN SR/SPL from 13.00%/12.77% to 19.75%/19.29%. Incorporating 76 real-world routes further improves held-out EP@0.2m from 42.92% to 92.08%. Closed-loop experiments on a Go2-W robot demonstrate unified panoramic tracking and navigation across indoor and outdoor environments. The project page is at https://tw5775.github.io/UniTrackPLA.