What You Don't Know Can Hurt You: How Well do Latent Safety Filters Understand Partially Observable Safety Constraints?
作者: Matthew Kim, Kensuke Nakamura, Andrea Bajcsy
分类: cs.RO
发布日期: 2025-10-07
备注: 8 tables 6 figures
💡 一句话要点
针对部分可观测安全约束，提出基于互信息的潜在安全滤波器评估与改进方法
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 安全控制 潜在空间 互信息 多模态学习 机器人 部分可观测性 世界模型
📋 核心要点
- 现有基于潜在空间的安全控制方法假设安全关键特征在潜在状态中是可观测的，但实际中部分可观测性可能导致短视的安全行为。
- 论文提出一种基于互信息的度量方法，用于评估观测数据捕获安全相关特征的能力，从而预测潜在安全滤波器的失效。
- 论文提出一种多模态监督训练策略，利用额外模态在训练时塑造潜在状态，提高安全性，且部署时无需额外模态。
📝 摘要（中文）
安全控制技术，如Hamilton-Jacobi可达性，为合成安全机器人策略提供了原则性方法，但通常假设手工设计的状态空间和完全可观测性。最近的研究通过潜在空间安全控制放宽了这些假设，其中状态表示和动力学通过世界模型联合学习，世界模型从当前观测和动作重建未来的高维观测（例如，RGB图像）。这使得难以解析指定的安全约束（例如，溢出）可以被构建为潜在空间中的分类问题，允许控制器直接从原始观测中操作。然而，这些方法假设安全关键特征在学习到的潜在状态中是可观测的。我们提出问题：何时潜在状态空间足以进行安全控制？为了研究这个问题，我们检查了基于温度的故障，类似于烹饪或制造任务中的过热，并发现仅RGB观测会产生短视的安全行为，例如，避免看到故障状态而不是防止故障本身。为了预测这种行为，我们引入了一种基于互信息的度量，用于识别观测何时未能捕获安全相关特征。最后，我们提出了一种多模态监督训练策略，该策略在训练期间使用额外的感官输入来塑造潜在状态，但在部署时不需要额外的模态，并在模拟和硬件上使用Franka Research 3机械臂防止蜡锅过热来验证我们的方法。
🔬 方法详解
问题定义：论文旨在解决部分可观测环境下，基于RGB图像等不完备观测的潜在空间安全控制方法可能失效的问题。现有方法通常假设潜在空间能够完整地表示安全相关的状态信息，但实际应用中，由于观测的局限性，潜在空间可能无法捕捉到所有关键的安全特征，导致控制器做出短视的决策，例如避免看到危险状态，而不是真正防止危险发生。
核心思路：论文的核心思路是利用互信息来衡量观测数据与安全相关特征之间的关联程度。如果观测数据与安全特征的互信息较低，则表明观测数据无法有效地捕捉到安全信息，潜在空间也难以学习到可靠的安全表示，从而导致安全控制失效。基于此，论文提出了一种多模态监督训练策略，通过引入额外的模态信息来增强潜在空间的安全性。
技术框架：论文的技术框架主要包含以下几个模块：1) 基于世界模型的潜在空间学习模块，用于从观测数据中学习潜在状态表示和动力学模型；2) 基于互信息的安全评估模块，用于评估观测数据与安全相关特征之间的关联程度；3) 多模态监督训练模块，用于利用额外的模态信息来增强潜在空间的安全性。整体流程是，首先利用世界模型学习潜在空间，然后利用互信息评估观测数据的安全性，如果安全性不足，则利用多模态监督训练来改进潜在空间。
关键创新：论文最重要的技术创新点在于提出了基于互信息的安全评估方法。该方法能够定量地评估观测数据在安全控制中的有效性，从而为潜在空间安全控制的设计和改进提供了理论依据。此外，多模态监督训练策略也是一个重要的创新点，它能够在不增加部署成本的前提下，有效地提高潜在空间的安全性。
关键设计：在互信息计算方面，论文采用了一种基于神经网络的互信息估计方法。在多模态监督训练方面，论文设计了一种损失函数，该损失函数同时考虑了潜在空间的重构误差、动力学模型的预测误差以及多模态信息的一致性。具体而言，损失函数包含三项：重构损失（衡量潜在状态重构原始观测的能力），动力学损失（衡量潜在状态预测未来状态的能力），以及多模态一致性损失（衡量不同模态信息在潜在空间中的对齐程度）。
🖼️ 关键图片
📊 实验亮点
论文通过模拟和硬件实验验证了所提出方法的有效性。在蜡锅过热的实验中，仅使用RGB图像作为观测时，机器人容易出现短视的安全行为。而通过多模态监督训练，机器人能够更有效地防止蜡锅过热，显著提高了安全性。实验结果表明，基于互信息的安全评估方法能够准确地预测潜在安全滤波器的失效，多模态监督训练策略能够有效地改进潜在空间的安全性。
🎯 应用场景
该研究成果可应用于机器人安全控制领域，尤其是在环境感知受限或安全约束难以直接建模的场景下，例如烹饪机器人、制造机器人等。通过评估观测数据的安全性并利用多模态信息进行训练，可以提高机器人在复杂环境中的安全性和可靠性，降低事故发生的风险。未来，该方法可以扩展到其他安全关键领域，如自动驾驶、医疗机器人等。
📄 摘要（原文）
Safe control techniques, such as Hamilton-Jacobi reachability, provide principled methods for synthesizing safety-preserving robot policies but typically assume hand-designed state spaces and full observability. Recent work has relaxed these assumptions via latent-space safe control, where state representations and dynamics are learned jointly through world models that reconstruct future high-dimensional observations (e.g., RGB images) from current observations and actions. This enables safety constraints that are difficult to specify analytically (e.g., spilling) to be framed as classification problems in latent space, allowing controllers to operate directly from raw observations. However, these methods assume that safety-critical features are observable in the learned latent state. We ask: when are latent state spaces sufficient for safe control? To study this, we examine temperature-based failures, comparable to overheating in cooking or manufacturing tasks, and find that RGB-only observations can produce myopic safety behaviors, e.g., avoiding seeing failure states rather than preventing failure itself. To predict such behaviors, we introduce a mutual information-based measure that identifies when observations fail to capture safety-relevant features. Finally, we propose a multimodal-supervised training strategy that shapes the latent state with additional sensory inputs during training, but requires no extra modalities at deployment, and validate our approach in simulation and on hardware with a Franka Research 3 manipulator preventing a pot of wax from overheating.