Ego-Human Motion Prediction with 3D-Aware LLM

📄 arXiv: 2607.07001v1 📥 PDF

作者: Yujin Bae, Jaewoo Jeong, Hyeonseong Kim, Kuk-Jin Yoon

分类: cs.CV

发布日期: 2026-07-08

备注: Accepted to ECCV 2026

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出Ego3DLM以解决人类动作预测中的3D语义理解问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱四：生成式动作 (Generative Motion) 支柱六：视频提取与匹配 (Video Extraction) 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 人类动作预测 3D语义理解 多模态融合 自我中心视角 强化学习

📋 核心要点

  1. 现有方法在自我中心的人类动作预测中，往往忽视3D空间和语义上下文的影响，导致预测效果不佳。
  2. Ego3DLM通过整合姿态和语言的预测，强调3D环境的空间和语义理解，采用单次自回归解码。
  3. 在Nymeria基准测试中，Ego3DLM在多个任务上实现了最先进的性能，验证了其有效性和创新性。

📝 摘要（中文）

从自我中心的视角预测人类动作对于增强现实/虚拟现实、人与机器人协作及具身人工智能至关重要。尽管近期研究将语言作为语义先验以减少自我中心预测的模糊性，但大多忽视了3D空间和语义上下文的影响，并将姿态和语言预测视为独立的推理流。本文提出Ego3DLM，强调准确的动作预测需要对3D环境的空间和语义进行明确理解，并将姿态与语言的预测整合为一个整体。Ego3DLM在单次自回归过程中同时解码过去和未来的姿态及叙述，确保跨模态和时间的一致性。实验结果表明，Ego3DLM在未来动作预测、过去动作跟踪和动作描述方面均取得了最先进的性能。

🔬 方法详解

问题定义：本文旨在解决自我中心视角下的人类动作预测问题，现有方法未能有效利用3D空间和语义上下文，导致预测不准确。

核心思路：Ego3DLM的核心思想是将姿态和语言的预测整合为一个统一的过程，通过对3D环境的空间和语义理解来提高预测的准确性。

技术框架：Ego3DLM的整体架构包括三个主要阶段：1) 空间-语义场景意识的预训练；2) 对所有四个输出进行的整体指令调优；3) 基于GRPO的强化微调，优化姿态与语言的一致性。

关键创新：Ego3DLM的创新在于同时解码过去和未来的姿态及叙述，确保跨模态和时间的一致性，这与现有方法的分离推理流有本质区别。

关键设计：在训练过程中，采用了三阶段的训练方案，设计了特定的损失函数以优化姿态与语言的保真度，并通过引入内外模态奖励来增强模型的学习效果。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在Nymeria基准测试中，Ego3DLM在未来动作预测、过去动作跟踪和动作描述任务上均达到了最先进的性能，显示出在这些任务中相较于现有方法有显著提升，具体性能数据未提供。

🎯 应用场景

Ego3DLM的研究成果在增强现实、虚拟现实、人与机器人协作等领域具有广泛的应用潜力。通过准确预测人类动作，能够为用户提供更为自然和智能的交互体验，推动具身人工智能的发展。

📄 摘要（原文）

Anticipating human motion from an egocentric perspective is fundamental for proactive assistance in AR/VR, human-robot collaboration, and embodied AI. While recent works incorporate language as a semantic prior to reduce the ill-posed nature of egocentric forecasting, they largely neglect the 3D spatial and semantic context that governs how motion unfolds, and treat pose and language prediction as separate inference streams. We introduce Ego3DLM, built on two core principles: accurate motion forecasting requires explicit spatial and semantic understanding of the 3D environment, and pose and language must be predicted holistically in a single pass, since motion is inherently tied to the semantic interpretation of actions being performed. Given three-point tracking, 3D scene features, and egocentric video, Ego3DLM simultaneously decodes past pose, future pose, past narration, and future narration in a single autoregressive pass, grounding predicted poses and descriptions in one another to enforce cross-modal and temporal consistency. We adopt a three-stage training scheme: (1) spatial-semantic scene awareness pretraining; (2) holistic instruction tuning over all four outputs in a single pass; and (3) GRPO-based reinforcement finetuning with intra- and inter-modal rewards that directly optimize pose-language fidelity. Experiments on the Nymeria benchmark demonstrate that Ego3DLM achieves state-of-the-art performance across future motion prediction, past motion tracking, and motion description, showing that 3D scene grounding and holistic cross-modal prediction yield physically plausible and semantically coherent motion forecasts. The project page is available at https://jaewoo97.github.io/Ego3DLM/.