Synthetic-to-Real Translation for Class-Agnostic Motion Prediction

📄 arXiv: 2607.06319v1 📥 PDF

作者: Yizheng Wu, Hongwei Fan, Kewei Wang, Ruibo Li, Xingyi Li, Xiao Song, Zhe Wang, Chenjing Ding, Dongliang Wang, Zhiguo Cao, Guosheng Lin

分类: cs.CV

发布日期: 2026-07-07

💡 一句话要点

提出合成到真实的运动预测方法以解决数据标签获取成本高的问题

🎯 匹配领域: 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation)

关键词: 运动预测 合成数据 真实数据 对象感知 自动驾驶 知识转移 深度学习

📋 核心要点

  1. 现有的运动预测方法在合成到真实数据的转移过程中表现不佳，导致知识转移不可靠。
  2. 本文提出了一种结合对象感知运动预测和对象辅助运动增强的运动知识转移框架，以提高领域不变特征学习。
  3. 实验结果显示，所提方法在真实场景中有效缩小了领域间的差距，性能显著提升。

📝 摘要（中文）

运动理解对于确保自动驾驶系统的安全性和鲁棒性至关重要，因此运动预测引起了越来越多的关注。然而，获取真实世界运动标签的高成本是该领域的一大挑战。因此，能够将运动知识从合成数据转移到真实数据是理想的。为此，本文探索了合成到真实的运动预测（SRMP）的潜力。现有的简单运动回归方法对合成到真实的领域转移非常敏感，导致知识转移不可靠。为了解决这一问题，本文提出了一种新颖的方法，集成了运动知识转移框架，包含两个关键组件：对象感知运动预测和对象辅助运动增强。此外，本文还提出了一个基于物理的生成管道，生成了首个针对SRMP研究的合成4D LiDAR数据集Motion4D，解决了合成运动数据集的缺乏问题。实验结果表明，本文的方法有效弥补了领域间的差距，并在真实场景中表现出色。

🔬 方法详解

问题定义：本文旨在解决合成数据到真实数据的运动预测中的知识转移问题。现有的简单运动回归方法对领域转移敏感，导致预测不准确。

核心思路：提出一种新颖的运动知识转移框架，包含对象感知运动预测和对象辅助运动增强，以增强领域不变特征的学习能力。

技术框架：整体架构包括两个主要模块：对象感知运动预测模块，通过建模运动模式和对象感知先验的联合分布来提高特征学习；对象辅助运动增强模块，通过过滤运动噪声来优化运动标签。

关键创新：最重要的创新在于引入对象感知机制，使得运动预测不仅依赖于运动模式，还考虑对象的存在与特性，从而提高了模型的鲁棒性。

关键设计：在模型设计中，采用了特定的损失函数以平衡运动预测的准确性和对象感知的有效性，同时在网络结构上进行了优化，以适应合成到真实的转移需求。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，所提方法在真实场景中的表现优于现有基线，具体性能提升幅度达到XX%（具体数据需根据实验结果填写），有效缩小了合成与真实数据之间的领域差距。

🎯 应用场景

该研究的潜在应用领域包括自动驾驶、机器人导航和智能交通系统等。通过有效的运动预测，能够提升自动驾驶系统的安全性和可靠性，减少对真实数据标签的依赖，从而降低开发成本。未来，该方法可能推动更多基于合成数据的智能系统的应用与发展。

📄 摘要（原文）

Motion understanding is critical for ensuring safety and robustness in autonomous driving systems, driving increasing interest in motion prediction. A key challenge in this domain is the high cost associated with acquiring real-world motion labels. It is therefore ideal if we could transfer motion knowledge from synthetic data to real data. In this context, we explore the potential of synthetic-to-real translation for motion prediction (SRMP). However, the most used naive motion regression methods are notably sensitive to the synthetic-to-real domain shift, resulting in unreliable knowledge translation. To address this, we propose a novel approach integrating a motion knowledge translation framework with two key components: (1) objectness-aware motion prediction, which explicitly models the joint distribution of motion patterns and objectness priors to improve domain-invariant feature learning, and (2) objectness-aided motion enhancement, a motion label refinement mechanism that leverages learned objectness priors to filter motion noise. Furthermore, we present a physically-based pipeline for generating Motion4D, the first synthetic 4D LiDAR dataset tailored for SRMP research, addressing the lack of synthetic motion datasets. Experimental results demonstrate that our approach effectively bridges the domain gaps and yields superior performance on real scenes.