Feeling Terrain Before Crossing: World Models for Off-Road Navigation
作者: E-In Son, Dong-Wook Kim, Ji-Hoon Hwang, Kangsun Lee, Jisung Bae, Jung-Taak Kim, Seung-Woo Seo
分类: cs.RO, cs.CV
发布日期: 2026-09-17
备注: 8 pages, 6 figures
💡 一句话要点
提出Feel-WM以解决越野导航中的机器人感知问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 越野导航 本体感知 机器人感知 世界模型 动态预测 自监督学习 复杂地形 无人驾驶
📋 核心要点
- 现有的越野导航方法未能充分考虑机器人与地形的互动，导致预测不准确。
- 本文提出Feel-WM，通过结合本体感知来预测机器人在越野环境中的感知和行为。
- 实验结果显示，Feel-WM在多种越野场景下的导航表现优于传统的视觉导航模型。
📝 摘要（中文）
导航世界模型通过预测每个候选动作序列产生的未来来进行规划，而不是直接将观察映射到动作。与城市环境不同，越野导航依赖于机器人与地形的互动，因此预测不仅要涵盖相机所见，还要考虑机器人所感受到的情况。现有的场景聚焦模型未能预测机器人在规划轨迹上的滑动、倾斜或震动程度。本文提出的Feel-WM是首个结合本体感知的越野导航世界模型，能够预测机器人所感受到的情况及相机所见的场景。物理未来以未来的本体感知状态和失败风险的形式呈现，均通过机器人的自身经验学习而来。实验表明，Feel-WM在开放环路规划和闭环粗糙地形导航中优于仅依赖视觉的导航模型。
🔬 方法详解
问题定义：本文旨在解决越野导航中机器人对地形感知不足的问题。现有方法主要依赖视觉信息，未能有效预测机器人在复杂地形中的动态表现，如滑动和倾斜等。
核心思路：Feel-WM通过引入本体感知信息，增强了对机器人在越野环境中感知的预测能力。这种设计使得模型不仅考虑视觉输入，还能更准确地反映机器人与地形的互动。
技术框架：Feel-WM的整体架构包括两个主要模块：一是基于本体感知的物理未来预测，二是结合场景信息的规划模块。模型通过学习机器人自身的经验来生成未来的本体状态和失败风险。
关键创新：Feel-WM的最大创新在于首次将本体感知与场景预测结合，形成了一个更全面的越野导航模型。这一方法与传统的视觉模型相比，显著提升了对复杂地形的适应能力。
关键设计：在模型设计中，采用了自监督学习方法来训练本体感知状态，并设计了专门的损失函数来平衡预测的失败风险与目标相似度，从而优化规划效果。具体的网络结构和参数设置在实验中经过多次调优，以确保最佳性能。
🖼️ 关键图片
📊 实验亮点
在实际越野数据和模拟实验中，Feel-WM在开放环路规划和闭环粗糙地形导航方面表现优异，相较于传统视觉导航模型，成功率提升了显著的百分比。在山地小径上的实地测试中，Feel-WM能够有效预测前方的粗糙地面并进行规避，完成了传统端到端策略无法实现的任务。
🎯 应用场景
Feel-WM在越野导航中的应用潜力巨大，尤其适用于无人驾驶车辆、探测机器人和救援机器人等领域。其能够有效提升机器人在复杂地形中的自主导航能力，降低事故风险，具有重要的实际价值和未来影响。
📄 摘要（原文）
Navigation world models plan by foresight, predicting the future that each candidate action sequence produces and selecting the best, rather than mapping observations to actions directly. Unlike urban settings where a predicted scene is a sufficient proxy, off-road navigation hinges on the robot--terrain interaction, so the prediction must cover not only what the camera will see but what the robot will feel. However, existing scene-focused models do not predict how much the robot will slip, tilt or shake along a planned trajectory. Proprioception captures these dynamics directly and, when used as input, improves the prediction of the physical future. We present Feel-WM, the first off-road navigation world model that conditions on proprioception and predicts what the robot will feel alongside what the camera will see. The physical future takes the form of a future proprioceptive state and a failure risk, both learned from the robot's own experience without human labels. The planner rolls out the physical future alongside the scene and weighs the predicted failure risk against goal similarity in a separable score. Experiments on real off-road data and in simulation demonstrate that Feel-WM outperforms visual-only navigation world models in open-loop planning and closed-loop rough-terrain navigation across wheeled and legged platforms. Deployed on a Husky on mountain trails, Feel-WM plans onboard, predicts rough ground ahead and steers around it, completing courses that an end-to-end policy fails.