Social-WM: Safety-Aware Latent World Models for Robot Social Navigation

📄 arXiv: 2609.40177v1 📥 PDF

作者: Zhihao Zheng, Mooi Choo Chuah

分类: cs.RO

发布日期: 2026-09-30

备注: 9 pages, 5 figures. Submitted to IEEE ICRA 2027

💡 一句话要点

提出Social-WM以解决机器人安全社交导航问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱六：视频提取与匹配 (Video Extraction) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 社交导航 潜在世界模型 逆动力学 安全性 机器人技术 机器学习 行为预测

📋 核心要点

  1. 现有方法在社交导航中未能有效处理名义行为与可实现行为之间的差异，导致安全性不足。
  2. 论文提出Social-WM框架，通过动作条件的未来预测学习安全相关后果，解决社交导航中的安全性问题。
  3. 在Social-HM3D数据集上，Social-WM实现了63.77%的成功率，同时将人类碰撞率降低至21.67%，并在零-shot转移到Social-MP3D时表现出色。

📝 摘要（中文）

安全的社交导航要求机器人不仅要预测其行为的未来后果，还需考虑在周围物理和社交约束下，名义行为是否可执行。我们提出了Social-WM，这是一个高效的潜在世界模型规划框架，基于自我中心的RGB视频序列进行训练。我们的关键观察是，社交导航经验中名义行为与可实现行为之间存在系统性差异：在自由空间中，名义的前进行为可以完全执行，但在接近行人或障碍物时需要受到约束。Social-WM通过基于行为的未来预测直接学习这些安全相关的后果，并引入了可实现的逆动力学目标，将观察到的潜在转变与实际实现的行为关联。在部署时，候选行为通过潜在世界模型进行想象，逆动力学模型估计其可实现性，从而在执行前提供安全信号。

🔬 方法详解

问题定义：本论文旨在解决机器人在社交导航中面临的安全性问题，现有方法未能有效考虑名义行为与可实现行为之间的差异，导致潜在的碰撞风险。

核心思路：Social-WM框架通过动作条件的未来预测，直接学习与安全相关的后果，并引入逆动力学目标，以确保机器人在执行行为时的安全性。

技术框架：整体架构包括潜在世界模型和逆动力学模型两个主要模块。潜在世界模型用于生成候选行为，而逆动力学模型则用于评估这些行为的可实现性。

关键创新：最重要的技术创新在于引入了可实现的逆动力学目标，使得模型能够将观察到的潜在转变与实际执行的行为关联，从而提供安全信号。

关键设计：在模型训练中，使用了动作条件的未来预测损失函数，确保模型能够准确学习到名义行为与可实现行为之间的差异，同时保持目标独立性，支持位置和图像目标导航。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在Social-HM3D数据集上，Social-WM实现了63.77%的成功率，并将人类碰撞率降低至21.67%。在零-shot转移到Social-MP3D时，模型表现依然强劲，未使用显式的行人跟踪或在线强化学习，展示了其良好的泛化能力。

🎯 应用场景

该研究的潜在应用领域包括服务机器人、自动驾驶汽车和人机交互系统等，能够显著提升机器人在复杂社交环境中的安全性和导航能力。未来，随着技术的进一步发展，Social-WM有望在更多实际场景中得到应用，推动智能机器人技术的进步。

📄 摘要（原文）

Safe social navigation requires a robot to anticipate not only the future consequences of its actions, but also whether a nominal action can actually be executed under surrounding physical and social constraints. We present Social-WM, an efficient latent world-model planning framework trained from egocentric RGB video sequences. Our key observation is that social-navigation experience contains a systematic discrepancy between the nominal action and the realizable action: a nominal forward action may be fully executed in free space, but needs to be constrained when heading towards a pedestrian or obstacle. Social-WM learns these safety-relevant consequences directly through action-conditioned future prediction, where the target is the actual observed future following each command. We further introduce a realizable inverse-dynamics objective that associates observed latent transitions with the action actually realized rather than the nominal one. At deployment, candidate actions are imagined through the latent world model, and the inverse dynamics model estimates their realizability; nominal--realizable discrepancy then provides a safety signal before execution. The learned dynamics and realizability model remain goal-independent and support both position- and image-goal navigation. On Social-HM3D, Social-WM achieves 63.77% success while reducing human collisions to 21.67%, and maintains strong performance under zero-shot transfer to Social-MP3D, without explicit pedestrian tracking, privileged human state, or online reinforcement learning.