Revisiting Numerical Forecasting Models for Language-Based Trajectory Prediction

📄 arXiv: 2610.07954v1 📥 PDF

作者: JunGyu Lee, Inhwan Bae, Hae-Gon Jeon

分类: cs.CV

发布日期: 2026-10-06

备注: 35 pages, 15 figures. Project page: https://jungyu0413.github.io/MoRE/

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出MoRE框架以解决语言基础轨迹预测中的数值预测问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 轨迹预测 强化学习 数值预测 语言模型 行为意图 社会背景 专家奖励 不确定性加权

📋 核心要点

  1. 现有的语言基础轨迹预测方法在处理连续坐标动态时存在间接指导的问题，限制了模型的表现。
  2. 本文提出MoRE框架，通过强化学习将数值预测的先验知识融入语言基础预测器，提升轨迹预测的准确性。
  3. 实验结果表明，MoRE在ETH-UCY上将ADE从0.22降至0.20，FDE从0.32降至0.29，且显著减少了碰撞率。

📝 摘要（中文）

基于语言的轨迹预测模型将坐标表示为离散的标记，并学习目的地和群体推理等辅助任务。这种形式使模型能够捕捉行为意图和社会背景，超越坐标动态。然而，标记级目标仅对连续坐标空间动态提供间接指导。为了解决这一局限性，本文提出了MoRE（Mixture of Reward Experts）框架，通过强化学习将数值预测先验转移到预训练的语言基础预测器中。五个冻结的数值预测器提供运动和交互的互补坐标级知识，其预测被转换为专家奖励，并通过不确定性加权共识进行组合。MoRE在ETH-UCY数据集上显著降低了ADE和FDE，并减少了碰撞率，改善了行人间距的匹配，且未增加推理内存或延迟。

🔬 方法详解

问题定义：本文旨在解决现有语言基础轨迹预测模型在连续坐标动态预测中的不足，特别是标记级目标对坐标空间动态的间接指导问题。

核心思路：通过引入MoRE框架，结合数值预测器的专家知识与语言基础模型的上下文建模，提升轨迹预测的准确性和鲁棒性。

技术框架：MoRE框架包括数值预测器的冻结输出、专家奖励的生成与组合、以及基于强化学习的策略优化。专家预测在PPO训练前计算并缓存，避免在策略更新或推理时重复计算。

关键创新：MoRE的创新在于将数值预测的先验知识通过专家奖励的形式引入语言基础模型，形成了一种新的融合方式，显著提升了预测性能。

关键设计：在设计中，采用不确定性加权共识来组合专家奖励，并通过真实奖励锚定预测目标，同时聚焦于预测熵排名前1%的困难样本进行策略优化。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在ETH-UCY数据集上，MoRE框架将ADE从0.22降低至0.20，FDE从0.32降低至0.29，相较于基线策略，ADE在SDD和NBA上分别减少了17.9%和12.7%。同时，MoRE还有效降低了碰撞率，改善了行人间距匹配，且未增加推理内存或延迟。

🎯 应用场景

该研究的潜在应用领域包括自动驾驶、智能交通系统和人机交互等场景，能够有效提升轨迹预测的准确性和安全性。未来，MoRE框架可能推动更多基于语言的智能系统的发展，增强其对复杂环境的适应能力。

📄 摘要（原文）

Language-based trajectory predictors represent coordinates as discrete tokens and learn auxiliary tasks such as destination and group reasoning. This formulation enables the model to capture behavioral intent and social context beyond coordinate dynamics alone. However, token-level objectives provide only indirect guidance for continuous coordinate-space dynamics. To address this limitation, we introduce MoRE (Mixture of Reward Experts), a refinement framework that transfers numerical forecasting priors into a pretrained language-based predictor through reinforcement learning. Five frozen numerical predictors provide complementary coordinate-level knowledge of motion and interactions. Their predictions are converted into expert rewards and combined through an uncertainty-weighted consensus that penalizes disagreement. A ground-truth reward anchors the prediction to the target trajectory. To focus refinement on difficult cases, MoRE refines the policy using the top 1% of training samples ranked by predictive entropy. Expert predictions are computed once and cached before PPO training, so the experts are not run during policy updates or inference. In this way, MoRE combines the contextual modeling of the language-based predictor with coordinate-level feedback from numerical experts. On ETH-UCY, MoRE reduces ADE from 0.22 to 0.20 m and FDE from 0.32 to 0.29 m. Relative to the base policy, ADE decreases by 17.9% on SDD and 12.7% on NBA. On ETH-UCY, MoRE also reduces collision rates and better matches ground-truth pedestrian spacing, without increasing measured inference memory or latency. The project page is available at https://jungyu0413.github.io/MoRE/.