Multimodal embodiment-aware navigation transformer

📄 arXiv: 2604.19267v1 📥 PDF

作者: Louis Dezons, Quentin Picard, Rémi Marsal, François Goulette, David Filliat

分类: cs.RO

发布日期: 2026-04-21

备注: 8 pages, 7 figures

💡 一句话要点

提出ViLiNT，一种多模态融合的导航Transformer，提升机器人零样本迁移能力和避障鲁棒性。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态融合 Transformer 扩散模型 机器人导航 零样本迁移

📋 核心要点

  1. 现有基于监督学习训练的目标条件导航模型在零样本迁移方面表现出潜力，但在环境、机器人或传感器配置变化时，其避障能力会下降。
  2. ViLiNT通过Transformer融合多模态信息（RGB、LiDAR、目标嵌入、机器人形态），并利用扩散模型生成轨迹，同时引入路径清除预测头进行轨迹排序。
  3. 实验表明，ViLiNT在模拟环境中成功率平均提升166%，并在真实环境中验证了其在复杂障碍物场景下的导航能力。

📝 摘要（中文）

本文提出了一种名为ViLiNT的多模态、基于注意力机制的策略，用于目标导航。该模型在来自多个平台和环境的异构数据上进行训练，通过两个关键特性提高了鲁棒性。首先，ViLiNT使用Transformer架构融合RGB图像、3D激光雷达点云、目标嵌入和机器人形态描述符，以捕获互补的几何和外观线索。Transformer的输出用于调节扩散模型，生成可导航的轨迹。其次，利用自动生成的离线标签，训练路径清除预测头，用于对扩散模型生成的轨迹进行评分和排序。扩散模型的调节以及轨迹排序头都依赖于机器人形态token，使模型能够根据机器人的尺寸生成和选择轨迹。在三个模拟环境中，ViLiNT的成功率平均比最先进的纯视觉基线(NoMaD)提高了166%。这一性能提升通过rover在障碍物场中导航的真实世界部署得到了证实。这些结果表明，将多模态融合与碰撞预测机制相结合可以提高越野导航的鲁棒性。

🔬 方法详解

问题定义：现有基于监督学习的导航模型在面对环境、机器人或传感器配置变化时，避障能力显著下降，难以适应新的场景。痛点在于模型泛化能力不足，无法有效利用多种传感器信息，并且缺乏对机器人自身形态的感知。

核心思路：ViLiNT的核心思路是通过多模态融合和对机器人形态的感知，提升导航模型的泛化能力和避障鲁棒性。利用Transformer架构融合多种传感器数据，并引入机器人形态描述符，使模型能够根据机器人的尺寸生成和选择合适的轨迹。

技术框架：ViLiNT的整体架构包含以下几个主要模块：1) 多模态特征提取模块，用于提取RGB图像、3D激光雷达点云、目标嵌入和机器人形态描述符的特征；2) Transformer融合模块，用于融合多模态特征，生成全局上下文表示；3) 扩散模型，用于根据Transformer的输出生成可导航的轨迹；4) 路径清除预测头，用于对扩散模型生成的轨迹进行评分和排序。

关键创新：ViLiNT的关键创新在于：1) 多模态融合，有效利用了多种传感器信息，提高了模型的感知能力；2) 机器人形态感知，使模型能够根据机器人的尺寸生成和选择合适的轨迹，提高了避障鲁棒性；3) 扩散模型与路径清除预测头的结合，提高了轨迹生成和选择的效率和准确性。

关键设计：ViLiNT的关键设计包括：1) 使用Transformer架构进行多模态特征融合，利用其强大的注意力机制捕获不同模态之间的关系；2) 引入机器人形态token，作为扩散模型和轨迹排序头的输入，使模型能够感知机器人的尺寸；3) 使用自动生成的离线标签训练路径清除预测头，提高了轨迹排序的准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

ViLiNT在三个模拟环境中，成功率平均比最先进的纯视觉基线(NoMaD)提高了166%。此外，通过在真实世界中部署rover进行导航实验，验证了ViLiNT在复杂障碍物场景下的有效性。这些结果表明，ViLiNT在提升导航鲁棒性和泛化能力方面具有显著优势。

🎯 应用场景

ViLiNT具有广泛的应用前景，例如：自主移动机器人、无人驾驶车辆、农业机器人、物流机器人等。该研究成果可以提高机器人在复杂环境下的导航能力和安全性，降低人工干预的需求，提升工作效率。未来，可以进一步探索ViLiNT在更多场景下的应用，并结合其他技术，例如强化学习，进一步提升其性能。

📄 摘要（原文）

Goal-conditioned navigation models for ground robots trained using supervised learning show promising zero-shot transfer, but their collision-avoidance capability nevertheless degrades under distribution shift, i.e. environmental, robot or sensor configuration changes. We propose ViLiNT a multimodal, attention-based policy for goal navigation, trained on heterogeneous data from multiple platforms and environments, which improves robustness with two key features. First, we fuse RGB images, 3D LiDAR point clouds, a goal embedding and a robot's embodiment descriptor with a transformer architecture to capture complementary geometry and appearance cues. The transformer's output is used to condition a diffusion model that generates navigable trajectories. Second, using automatically generated offline labels, we train a path clearance prediction head for scoring and ranking trajectories produced by the diffusion model. The diffusion conditioning as well as the trajectory ranking head depend on a robot's embodiment token that allows our model to generate and select trajectories with respect to the robot's dimensions. Across three simulated environments, ViLiNT improves Success Rate on average by 166\% over equivalent state-of-the-art vision-only baseline (NoMaD). This increase in performance is confirmed through real-world deployments of a rover navigating in obstacle fields. These results highlight that combining multimodal fusion with our collision prediction mechanism leads to improved off-road navigation robustness.