TrajMamba: An Ego-Motion-Guided Mamba Model for Pedestrian Trajectory Prediction from an Egocentric Perspective

📄 arXiv: 2603.14739v1 📥 PDF

作者: Yusheng Peng, Gaofeng Zhang, Liping Zheng

分类: cs.CV, cs.AI

发布日期: 2026-03-16

备注: Accept by ICRA 2026

💡 一句话要点

提出基于自车运动引导的Mamba模型TrajMamba，用于自中心视角的行人轨迹预测。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱六：视频提取与匹配 (Video Extraction) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 行人轨迹预测 自中心视角 Mamba模型 自车运动引导 序列建模

📋 核心要点

  1. 自中心视角的行人轨迹预测面临行人与自车相对运动建模的挑战，现有方法难以有效捕捉这种复杂动态关系。
  2. 提出TrajMamba模型，利用Mamba架构提取行人与自车运动特征，并通过自车运动引导解码器显式建模相对运动。
  3. 在PIE和JAAD数据集上的实验结果表明，TrajMamba模型达到了最先进的性能，验证了其有效性。

📝 摘要（中文）

本文提出了一种基于Mamba模型的自车运动引导轨迹预测网络，用于解决自动驾驶和机器人导航等领域中，自中心视角下行人轨迹预测的关键问题。该问题的主要挑战在于自车相机与被跟踪行人之间复杂的动态相对运动。为了应对这一挑战，我们使用两个Mamba模型作为编码器，分别从行人和自车运动中提取行人运动和自车运动特征。然后，一个自车运动引导的Mamba解码器通过将行人运动特征作为历史上下文，并将自车运动特征作为引导线索，显式地建模行人和车辆之间的相对运动，从而捕获解码后的特征。最后，从对应于未来时间戳的解码特征中生成未来轨迹。大量实验表明，该模型是有效的，并在PIE和JAAD数据集上实现了最先进的性能。

🔬 方法详解

问题定义：论文旨在解决自中心视角下行人轨迹预测问题，该问题在自动驾驶和机器人导航等领域至关重要。现有方法难以有效建模自车与行人之间的复杂动态相对运动，导致预测精度受限。

核心思路：论文的核心思路是利用Mamba模型的序列建模能力，分别提取行人和自车的运动特征，并通过一个自车运动引导的Mamba解码器，显式地建模两者之间的相对运动。这种设计能够更好地捕捉行人轨迹预测中的上下文信息和引导信息。

技术框架：TrajMamba模型主要包含三个模块：行人运动编码器、自车运动编码器和自车运动引导的Mamba解码器。首先，两个Mamba编码器分别提取行人和自车的运动特征。然后，解码器将行人运动特征作为历史上下文，自车运动特征作为引导线索，进行解码，生成未来轨迹的预测。

关键创新：该论文的关键创新在于提出了自车运动引导的Mamba解码器，它能够显式地建模行人和自车之间的相对运动。通过将自车运动特征作为引导信息，解码器可以更好地预测行人的未来轨迹，从而提高预测精度。此外，使用Mamba模型作为编码器和解码器，能够有效地处理序列数据，并捕捉长期依赖关系。

关键设计：论文中使用了两个独立的Mamba模型作为编码器，分别处理行人和自车的运动数据。解码器也采用了Mamba架构，并引入了自车运动引导机制。具体的参数设置和损失函数等技术细节在论文中进行了详细描述，但具体数值未知。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

TrajMamba模型在PIE和JAAD数据集上取得了state-of-the-art的性能。具体提升幅度未知，但实验结果表明，该模型能够有效地建模行人和自车之间的相对运动，从而提高行人轨迹预测的准确性。

🎯 应用场景

该研究成果可应用于自动驾驶、机器人导航、智能监控等领域。通过准确预测行人的未来轨迹，可以提高自动驾驶车辆的安全性，辅助机器人更好地进行路径规划，并为智能监控系统提供更可靠的行人行为分析。

📄 摘要（原文）

Future trajectory prediction of a tracked pedestrian from an egocentric perspective is a key task in areas such as autonomous driving and robot navigation. The challenge of this task lies in the complex dynamic relative motion between the ego-camera and the tracked pedestrian. To address this challenge, we propose an ego-motion-guided trajectory prediction network based on the Mamba model. Firstly, two Mamba models are used as encoders to extract pedestrian motion and ego-motion features from pedestrian movement and ego-vehicle movement, respectively. Then, an ego-motion guided Mamba decoder that explicitly models the relative motion between the pedestrian and the vehicle by integrating pedestrian motion features as historical context with ego-motion features as guiding cues to capture decoded features. Finally, the future trajectory is generated from the decoded features corresponding to the future timestamps. Extensive experiments demonstrate the effectiveness of the proposed model, which achieves state-of-the-art performance on the PIE and JAAD datasets.