Supervise What Decides Success: Criterion-Aligned Auxiliary Losses for Latent World-Model Planning
作者: Takumi Hara, Kanata Suzuki
分类: cs.LG, cs.RO
发布日期: 2026-10-01
备注: 21 pages, 6 figures, 10 tables. Under review
💡 一句话要点
提出辅助损失以优化潜在世界模型的成功判定
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 潜在世界模型 辅助损失 成功标准量 机器人控制 自动化规划
📋 核心要点
- 现有潜在世界模型在判定任务成功时，无法有效区分成功与失败的候选动作序列，导致性能不足。
- 本研究提出了一种新的辅助损失，通过将成功标准量作为训练目标，提升潜在状态的有效性。
- 实验结果表明，该方法在PushT和立方体任务上分别提高了3.5%和3.4%的成功率，具有显著的统计意义。
📝 摘要（中文）
潜在世界模型通过在潜在空间中对候选动作序列进行评分来进行规划。然而，任务的成功是通过物理量来判断的，称为成功标准量。在我们研究的四种潜在世界模型中，末端执行器的位置在潜在状态中的编码误差超过了成功标准所允许的范围，导致无法有效区分成功与失败的候选。为此，我们提出了一种辅助损失，利用成功标准量作为训练目标，而现有模型仅将其作为输入。在训练过程中，在线性头部上回归成功标准量，并将回归误差加入训练损失中。训练后，该头部被丢弃，模型及其测试时的输入保持不变。该损失单独在PushT和立方体任务上分别提高了3.5%和3.4%的成功率，且均具有统计显著性。
🔬 方法详解
问题定义：本论文旨在解决潜在世界模型在任务成功判定中的不足，现有方法无法有效区分成功与失败的候选动作序列，导致成功率低下。
核心思路：我们提出了一种辅助损失，利用成功标准量作为训练目标，从而提升潜在状态的有效性，使模型能够更好地反映任务成功的关键因素。
技术框架：整体架构包括一个编码器和预测器，训练过程中在其输出上添加一个线性头部以回归成功标准量，回归误差被纳入训练损失中。训练完成后，线性头部被丢弃，模型在测试时保持不变。
关键创新：最重要的创新在于将成功标准量作为训练目标，而非仅作为输入，这一设计使得模型能够更好地捕捉任务成功的本质特征。
关键设计：在损失函数中加入了回归成功标准量的误差，确保模型在训练过程中能够优化与任务成功相关的潜在状态特征。
🖼️ 关键图片
📊 实验亮点
实验结果显示，提出的辅助损失在PushT和立方体任务上分别提高了3.5%和3.4%的成功率，这些提升均具有统计显著性，验证了方法的有效性和创新性。
🎯 应用场景
该研究的潜在应用领域包括机器人控制、自动化规划和智能系统设计等。通过优化潜在世界模型的成功判定能力，可以提升机器人在复杂环境中的操作效率和成功率，具有重要的实际价值和广泛的应用前景。
📄 摘要（原文）
Latent world models plan by scoring candidate action sequences with distances in latent space. However, task success is judged by physical quantities, which we call the success-criterion quantities. In all four latent world models we examine, the end-effector position is encoded in the latent state with an error larger than the success criterion allows. Such a latent state cannot separate successful candidates from failing ones. We propose an auxiliary loss that uses success-criterion quantities as training targets, whereas existing latent world models take them only as inputs. During training, a linear head on the encoder and predictor outputs regresses the success-criterion quantities, and the regression error is added to the training loss. The head is discarded after training, so the model, its cost, and its inputs at test time are unchanged. This loss alone improves the success rate on PushT and cube by 3.5% and 3.4% (absolute), respectively, and both improvements are statistically significant. A success criterion thus specifies what a world model must retain in its latent state, and we show that it can serve directly as a training target.