TADreamer: Zero-Shot Language-Guided 3D Navigation for Terrestrial-Aerial Bimodal Robots via Video Imagination
作者: Xiangyu Li, Tiancheng Lai, Xijie Huang, Ruitian Pang, Siqi Shen, Juncheng Chen, Zaisheng Pan, Chao Xu, Fei Gao, Yanjun Cao
分类: cs.RO
发布日期: 2026-09-17
💡 一句话要点
提出TADreamer以解决双模机器人零-shot语言引导导航问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)
关键词: 双模机器人 语言引导导航 视频想象 零-shot学习 三维重建 几何校准 自主导航
📋 核心要点
- 现有方法在从生成视频中恢复度量一致的导航参考时面临尺度模糊和几何失真等挑战。
- TADreamer通过视觉-语言模型将观察与指令转化为导航提示，采用零-shot方式实现视频引导导航。
- 实验结果显示，该方法在七个场景中有效，平均绝对深度误差减少87.7%，相对深度误差减少86.3%。
📝 摘要（中文）
语言引导的双模机器人导航需要选择与场景上下文和任务意图相匹配的路径和运动模式。生成的视频可以表示这些运动序列，但从中恢复度量一致的导航参考存在挑战，如尺度模糊和轴依赖的几何失真。本文提出TADreamer，一个零-shot框架，能够在无需特定任务训练或微调的情况下，将视频想象的导航与测量几何相结合。该框架通过视觉-语言模型将机载观察和指令转化为导航提示，选择有效的生成视频，并在需要时提供纠正反馈。选定的视频被重建为带有地面或空中模式的3D航点。通过视场约束的两阶段校准程序初始化尺度估计，然后通过将重建的点云与测量几何对齐来细化轴依赖的尺度、旋转和位移。校准后的航点和模式标签引导规划器结合测量几何进行机器人执行。实验证明该方法在七个室内外场景中有效导航。
🔬 方法详解
问题定义：本文旨在解决双模机器人在复杂环境中进行零-shot语言引导导航时的尺度模糊和几何失真问题。现有方法往往需要特定任务的训练，限制了其适用性。
核心思路：TADreamer的核心思路是通过视觉-语言模型将机载观察与任务指令转化为导航提示，并利用生成的视频进行导航，而无需针对特定任务进行训练。
技术框架：该框架包括几个主要模块：首先，视觉-语言模型处理机载数据并生成导航提示；其次，选择有效的生成视频并提供反馈；然后，重建3D航点并进行两阶段校准，最后，规划器结合测量几何进行导航执行。
关键创新：TADreamer的创新在于其零-shot学习能力，能够在没有任务特定训练的情况下实现视频引导导航，并通过校准程序精确对齐生成的航点与实际几何。
关键设计：在技术细节上，采用了视场约束进行尺度初始化，并通过点云对齐优化轴依赖的尺度、旋转和位移，确保生成的航点准确反映环境几何。具体的损失函数和网络结构细节在论文中有详细描述。
🖼️ 关键图片
📊 实验亮点
实验结果表明，TADreamer在七个室内外场景中均能有效导航，平均绝对深度误差减少87.7%，相对深度误差减少86.3%，显示出显著的性能提升，优于现有的NavDreamer方法。
🎯 应用场景
该研究的潜在应用领域包括无人机导航、机器人探索和智能交通系统等。通过实现高效的语言引导导航，TADreamer能够提升机器人在复杂环境中的自主性和灵活性，具有重要的实际价值和未来影响。
📄 摘要（原文）
Language-guided navigation for terrestrial-aerial bimodal robots requires selecting routes and locomotion modes that match scene context and task intent. Generated videos can represent such motion sequences, but recovering metrically consistent navigation references from them is challenging because of scale ambiguity and axis-dependent geometric distortions. We present TADreamer, a zero-shot framework that grounds video-imagined navigation in measured geometry without task-specific training or fine-tuning. A vision-language model translates onboard observations and instructions into navigation prompts, selects valid generated videos, and provides corrective feedback when regeneration is needed. The selected video is reconstructed into 3D waypoints annotated with terrestrial or aerial modes. A two-stage calibration procedure uses field-of-view constraints to initialize scale estimation, then refines axis-dependent scales, rotation, and translation by registering the reconstructed point cloud to measured geometry. The calibrated waypoints and mode labels guide a planner that incorporates measured geometry for robot execution. Real-world experiments demonstrate navigation across seven indoor and outdoor scenarios. With five candidates per round, usable videos are obtained within two rounds in all seven scenarios. On the calibration observations, our method reduces mean absolute depth error by 87.7% and mean absolute relative depth error by 86.3% compared with NavDreamer.