Keeping JEPA World Models Plannable When Little of the Frame Moves
作者: Florian Strohm, Patrick Wagner, Jannik Schwab, Marco Huber
分类: cs.AI
发布日期: 2026-10-02
💡 一句话要点
提出SLIM基准以解决语言目标规划中的帧移动问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 潜在世界模型 语言目标规划 逆动态损失 机器人导航 多模态交互
📋 核心要点
- 现有的LeWM世界模型在处理语言目标时表现不佳，特别是在帧移动较少的情况下，导致成功率极低。
- 论文提出通过引入逆动态辅助损失来增强编码器的动作敏感性，从而改善潜在表示的质量。
- 实验结果显示，经过修复的潜在表示在语言目标规划中取得了显著提升，成功率从0.003提高到0.35，且在不同任务层次上均有改善。
📝 摘要（中文）
本文提出了一种通过语言而非目标帧来指定目标的自然接口，以便在潜在世界模型中进行规划。然而，测试需要在语言能够区分多个对象的场景中进行。为此，研究者构建了SLIM基准，该基准包含多个小物体及其在相同场景中的视觉和语言目标。实验表明，LeWM世界模型在PushT任务中成功率不足1%，而通过引入逆动态辅助损失，成功率提升至0.35，且在中等和困难推送层次上表现显著提高。
🔬 方法详解
问题定义：本文旨在解决在潜在世界模型中使用语言目标进行规划时，现有方法在帧移动较少的情况下表现不佳的问题。LeWM模型在PushT任务中的成功率低于1%，主要原因在于编码器的潜在表示对动作不敏感。
核心思路：论文的核心思路是通过引入逆动态辅助损失，增强编码器的动作敏感性，使得潜在表示能够更好地解码推动者和物体的位置，从而提高规划的成功率。
技术框架：整体架构包括一个编码器、一个逆动态辅助损失模块和一个语言目标头。编码器负责生成潜在表示，辅助损失模块在训练时优化潜在表示的动作敏感性，而语言目标头则用于从语言输入生成规划指令。
关键创新：最重要的技术创新在于引入逆动态辅助损失，该损失在测试时被丢弃，但在训练过程中显著提高了潜在表示的质量，使得模型能够更有效地进行规划。
关键设计：在损失函数设计上，逆动态损失与编码器的潜在表示相结合，确保模型在训练时能够学习到更具动作敏感性的特征。此外，语言目标头的设计允许模型在不重新训练世界模型的情况下，直接从语言输入生成规划指令。
🖼️ 关键图片
📊 实验亮点
实验结果显示，经过逆动态辅助损失修复的潜在表示在语言目标规划中成功率从0.003提升至0.35，且在中等和困难推送层次上成功率分别从0.04提升至0.25，表现与目标帧基线相当。这表明该方法在规划能力上具有显著的提升。
🎯 应用场景
该研究的潜在应用领域包括机器人导航、自动化控制和人机交互等。通过改进的语言目标规划能力，系统能够更自然地理解和执行人类指令，从而在实际应用中提高效率和用户体验。未来，该方法可能会推动更复杂的多模态交互系统的发展。
📄 摘要（原文）
Specifying a goal in language rather than as a goal frame is a natural interface for planning with a latent world model, but testing it needs scenes in which language must discriminate between several objects. We build SLIM, a pushing benchmark with several small objects and paired visual and language goals on identical scenes. On SLIM a LeWM world model that solves PushT succeeds on under 1% of trials, although a scripted controller with simulator state solves every tier. Probes locate the failure in the encoder: its latent is nearly action-insensitive, neither pusher nor object positions can be decoded from it, and rollouts are no better than copying the current latent forward. One inverse-dynamics auxiliary loss, applied to encoder latents and to predicted latents through a shared head discarded at test time, restores every probe and raises success from 0.003 to 0.35 (0.16 on the hard pushing tier, where a goal-agnostic policy scores zero), and improves PushT at twice the trained horizon. Controls attribute the repair to the gradient into the encoder, and a response sweep shows that the vanilla model plans once enough of the frame responds to actions. A cheap action-sensitivity probe, computable without environment access, acts as an empirical necessary condition: all configurations below its threshold failed to plan. On the repaired latent, a small language-goal head plans from sentences without retraining the world model: it reaches 0.84 on navigation (visual-goal oracle 1.00), follows the named zone when it is swapped with a decoy, and degrades gracefully to unseen nouns. A single goal sentence rarely completes a push, but given the push as a sequence of stage sentences the head raises success on the medium and hard pushing tiers from 0.04 to 0.25, on par with the goal-frame oracle, also when the switch between stages is read from the latent alone.