Adaptive Rollout Truncation Based on Epistemic Uncertainty for Efficient Offline World Model Training

📄 arXiv: 2609.21482v1 📥 PDF

作者: Nikodem Sebastian Zymla, Laurin Thiele, Johannes Pitz

分类: cs.RO, cs.LG

发布日期: 2026-09-18

备注: 8 pages, 12 figures. Accepted at the IEEE/RSJ IROS 2026 Workshop "Rethinking Uncertainty for Modern Robotics Paradigms"

💡 一句话要点

提出基于认知不确定性的自适应截断策略以提高离线世界模型训练效率

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 世界模型 自适应训练 认知不确定性 机器人技术 模型优化 计算效率 多步预测

📋 核心要点

  1. 现有的训练方法在模型不准确时使用固定的展开长度，导致计算成本高且早期错误放大。
  2. 提出了一种基于认知不确定性的自适应展开策略，动态调整展开长度以提高训练效率。
  3. 实验结果显示，该方法在ANYmal-D上减少72%的计算量，同时保持与基线相当的性能。

📝 摘要（中文）

准确的神经世界模型在基于模型的机器人技术中至关重要，它们使机器人能够从先前观察到的轨迹中预测未来状态。多步自回归训练可以改善长时间预测，但固定的展开时间会增加计算成本，并在模型尚不准确时放大早期训练错误。现有训练方案通常在优化过程中使用相同的展开长度，而不考虑模型当前的预测可靠性。本文提出了一种基于认知不确定性的自适应展开策略，采用自动课程训练方案，模型在认知不确定性超过阈值时终止自回归展开。实验表明，该方法在ANYmal-D和ANT上的预测准确性与固定时间训练相当或更优，同时所需的累计展开步骤显著减少。

🔬 方法详解

问题定义：本文旨在解决现有模型训练中固定展开长度导致的计算效率低下和早期错误放大的问题。现有方法未能根据模型的预测可靠性动态调整展开长度。

核心思路：提出了一种基于认知不确定性的自适应展开策略，通过在认知不确定性超过设定阈值时终止展开，来提高训练效率和准确性。这样的设计可以有效减少不必要的计算，同时提高模型的学习效果。

技术框架：整体架构包括两个主要阶段：首先是一个两阶段的热身过程，用于稳定不确定性估计；其次是自适应截断阶段，根据不确定性动态调整展开长度。主要模块包括五头集成网络和蒙特卡洛Dropout用于不确定性估计。

关键创新：最重要的创新在于引入了认知不确定性作为自适应截断的依据，这与现有方法的固定展开长度形成了本质区别，使得训练过程更加灵活和高效。

关键设计：采用五头集成网络共享递归骨干结构进行不确定性估计，并通过蒙特卡洛Dropout进行补充。热身阶段的设计确保了不确定性估计的稳定性，进而支持自适应截断的实施。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，基于集成的不确定性自适应截断方法在ANYmal-D和ANT上达到了与固定时间训练相当或更优的预测准确性，同时减少了约72%的计算量。这一成果展示了认知不确定性在提高世界模型训练效率方面的有效性。

🎯 应用场景

该研究的潜在应用领域包括自主机器人、智能制造和复杂环境中的决策支持系统。通过提高世界模型训练的计算效率，能够加速机器人在动态环境中的学习和适应能力，进而提升其在实际应用中的表现和可靠性。

📄 摘要（原文）

Accurate neural world models are central to model-based robotics, where they enable robots to predict future states from previously observed trajectories. Multi-step autoregressive training improves long-horizon prediction, but fixed rollout horizons also increase computational cost and can amplify early training errors when the model is still inaccurate. Existing training schemes typically use the same rollout length throughout optimization, independent of the model's current predictive reliability. We propose an epistemic uncertainty-driven adaptive rollout strategy for offline world model training following an auto-curriculum training scheme. Instead of always unrolling to a fixed horizon, the model terminates autoregressive rollouts once epistemic uncertainty exceeds a threshold calibrated from a warm-up phase. We study two uncertainty estimators: a five-head ensemble with a shared recurrent backbone and Monte Carlo Dropout. A two-stage warm-up procedure stabilizes uncertainty estimates before we enable adaptive truncation. Experiments on ANYmal-D and ANT show that ensemble-based adaptive truncation matches or improves the prediction accuracy of fixed-horizon training and the RWM-U baseline while requiring substantially fewer cumulative rollout steps. Training a world model on ANYmal-D following the presented approach reaches comparable final performance with the baselines with roughly 72% less rollout computation. These results indicate that epistemic uncertainty is useful not only for downstream policy regularization, but also for making world model training itself more compute-efficient.