Modeling Latent Disturbances for Robust Decision-Making in World Models
作者: Junwon Seo, Andrea Bajcsy
分类: cs.RO, cs.AI, cs.LG
发布日期: 2026-10-06
💡 一句话要点
提出潜在干扰模型以增强世界模型中的决策鲁棒性
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 鲁棒优化 潜在空间 世界模型 动态感知 异常检测 保形预测 机器人控制
📋 核心要点
- 现有方法在学习的潜在空间中定义干扰时面临挑战，难以准确反映系统的不确定性。
- 论文提出通过对学习的潜在动态进行扰动来建模潜在空间干扰，确保转变的合理性和悲观性。
- 实验显示，该方法在模拟和硬件实验中均显著提高了决策的鲁棒性，减少了失败率。
📝 摘要（中文）
本文研究了在世界模型的潜在空间中进行鲁棒决策的问题。鲁棒优化是一种数学框架，允许机器人在明确指定的动态和物理干扰下选择有效的动作。然而，将这一原则应用于学习的潜在空间时，面临如何定义潜在空间干扰以真实反映系统不确定性的挑战。我们提出将潜在空间干扰建模为对学习的潜在动态的扰动，从而引入悲观但合理的转变。通过结合动态感知相似性度量和异常检测，我们构建了一组合理的潜在动态，并利用保形预测校准不确定性集。实验结果表明，该方法在安全过滤和基于采样的策略引导中显著降低了失败率，分别达到70%和54%。
🔬 方法详解
问题定义：本文旨在解决在世界模型的潜在空间中进行鲁棒决策时，如何定义潜在空间干扰以真实反映系统不确定性的问题。现有方法未能有效处理这一挑战，导致决策的鲁棒性不足。
核心思路：论文的核心思路是将潜在空间干扰视为对学习的潜在动态的扰动，旨在引入悲观但合理的状态转变。这种设计确保了在不确定性下的决策仍然有效。
技术框架：整体架构包括潜在动态的构建、潜在干扰的建模、以及鲁棒优化的联合优化。主要模块包括动态感知相似性度量、异常检测和保形预测。
关键创新：最重要的技术创新在于结合动态感知相似性度量与异常检测，构建合理的潜在动态集合，并通过保形预测校准不确定性集。这与现有方法的本质区别在于更好地处理了潜在空间的不确定性。
关键设计：关键设计包括动态感知相似性度量的选择、异常检测算法的实现，以及保形预测的具体应用。这些设计确保了潜在干扰的合理性和鲁棒性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，模型在安全过滤中减少了70%的失败率，在基于采样的策略引导中减少了54%的失败率。这些结果表明，潜在干扰模型显著增强了决策的鲁棒性，具有良好的应用前景。
🎯 应用场景
该研究的潜在应用领域包括机器人控制、自动驾驶和智能制造等。通过增强决策的鲁棒性，能够在复杂和不确定的环境中提高系统的安全性和可靠性，具有重要的实际价值和未来影响。
📄 摘要（原文）
In this paper, we study robust decision-making in the latent space of world models (WMs). Robust optimization is a mathematical framework where, given explicitly specified dynamics and physically meaningful disturbances, a robot can select actions that remain effective even under worst-case disturbances. However, applying this principle to the learned latent space of WMs introduces a fundamental challenge: because WMs have fully learned state spaces and dynamics inferred from high-dimensional observations, it is unclear how to define latent-space disturbances that faithfully represent uncertainty in the underlying system. Our key idea is to model a latent-space disturbance as a perturbation to the learned latent dynamics that induces pessimistic but plausible transitions. Specifically, we construct a set of plausible latent dynamics by combining a dynamics-aware similarity metric that captures plausible transitions with out-of-distribution detection that excludes implausible latent states. We calibrate this uncertainty set over latent dynamics using conformal prediction, ensuring that WM imaginations induced by the latent disturbance remain plausible without becoming overly pessimistic. We then jointly optimize robust robot actions and the worst-case latent disturbances through game-theoretic optimization. We leverage this latent-space robust optimization to robustify policy steering, considering two paradigms: latent safety filtering and sample-and-verify steering of a generative control policy. Our controlled simulation experiments show that our latent disturbance enables robust decision-making directly in WM latent spaces, and hardware experiments with a Franka manipulator show that modeling latent disturbances enables robust policy steering, reducing failures by 70% in safety filtering and 54% in sampling-based policy steering. Project website: https://junwon.me/LatentDisturbance/.