FlexiWorld: Learning and Planning via Flexible Action Chunks Across Multiple Time Scales

📄 arXiv: 2609.35138v1 📥 PDF

作者: Shidu Ren, Qilin Gu, Zhenghao Ni, Junhan Sun, Jiaqi Wang, Damien Scieur, Yunze Liu

分类: cs.LG

发布日期: 2026-09-28

备注: 25 pages, 12 figures. Project page: https://shidu-ren.github.io/FlexiWorld-Project-Page/

💡 一句话要点

提出FlexiWorld以解决长时间跨度目标规划问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 长时间规划 可变长度动作块 目标监督 自回归模型 机器人控制 智能决策

📋 核心要点

  1. 现有方法通常使用固定长度的动作块，限制了目标条件动作生成的灵活性，难以应对长时间跨度的规划任务。
  2. FlexiWorld通过引入可变长度的动作块和混合跨度的目标监督，提升了长时间控制的能力，并采用学生强迫减少暴露偏差。
  3. 在四个基准测试中，FlexiWorld与ARCEM结合实现了89.29%的平均成功率，相较于最强基线有显著提升，展示了其有效性。

📝 摘要（中文）

FlexiWorld是一种基于JEPA的世界模型，通过结合混合跨度的目标监督与可变长度的动作块，提升了长时间控制的能力。现有方法通常使用固定长度的动作块，忽略了目标条件的动作生成或将监督限制在短目标跨度内。FlexiWorld在训练过程中随机划分动作为可变长度块，并与因果动作编码器及自回归演员共同训练。通过学生强迫减少暴露偏差，规划阶段采用动作残差交叉熵方法（ARCEM），结合动作残差搜索与块内自回归反馈。实验结果显示，FlexiWorld在四个基准测试中取得了89.29%的平均成功率，相较于最强基线的83.98%有显著提升。

🔬 方法详解

问题定义：本论文旨在解决现有长时间跨度目标规划方法中固定长度动作块的局限性，导致目标条件动作生成能力不足的问题。

核心思路：FlexiWorld的核心思路是结合混合跨度的目标监督与可变长度的动作块，通过灵活的训练策略提升长时间控制的效果。

技术框架：整体架构包括因果动作编码器、自动回归演员和动作残差交叉熵方法（ARCEM）。训练过程中，随机划分动作为可变长度块，并进行联合训练。

关键创新：最重要的技术创新在于引入可变长度的动作块和混合跨度的目标监督，这与现有方法的固定长度设计形成了本质区别，提升了模型的灵活性和效果。

关键设计：在训练中采用学生强迫策略以减少暴露偏差，损失函数设计上结合了动作残差搜索与块内自回归反馈，确保了模型的高效学习与规划能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在实验中，FlexiWorld结合ARCEM方法实现了89.29%的平均成功率，显著高于最强基线的83.98%。此外，混合跨度监督和可变长度动作块的引入，提升了直接控制能力，展示了该方法在长时间规划中的优势。

🎯 应用场景

FlexiWorld的研究成果在机器人控制、自动驾驶和智能决策等领域具有广泛的应用潜力。通过提升长时间跨度的目标规划能力，该方法能够更好地应对复杂环境中的动态决策问题，推动智能系统的自主性和灵活性。

📄 摘要（原文）

Latent world models predict future states for goal-directed planning using action chunks spanning multiple primitive steps. Existing methods typically use fixed-length chunks and either omit goal-conditioned action generation or limit their supervision to short goal spans. We introduce FlexiWorld, a JEPA-based world model that combines mixed-span goal supervision with variable-length action chunks to improve long-horizon control. During training, we sample varying goal spans and randomly partition the actions into variable-length chunks. We jointly train the world model with a causal action encoder that embeds variable-length chunks and an autoregressive actor that generates primitive actions sequentially. Student Forcing reduces exposure bias by training on generated action prefixes. For planning, Actor-Residual Cross-Entropy Method (ARCEM) combines action-residual search with within-chunk autoregressive feedback and chunk-boundary latent prediction. Across four benchmarks and goal distances, FlexiWorld with ARCEM achieves 89.29% mean success, compared with 83.98% for the strongest baseline. PushT ablations show improved direct control from mixed-span supervision, variable-length chunks, and Student Forcing. Without retraining, FlexiWorld supports different planning chunk lengths: longer chunks accelerate ARCEM by approximately $1.3\times$ on average while maintaining comparable average success.