VENTURA: Adapting Image Diffusion Models for Unified Task Conditioned Navigation
作者: Arthur Zhang, Xiangyun Meng, Luca Calliari, Dong-Ki Kim, Shayegan Omidshafiei, Joydeep Biswas, Ali Agha, Amirreza Shaban
分类: cs.RO, cs.CV
发布日期: 2025-10-01
备注: 9 pages, 6 figures, 3 tables
💡 一句话要点
VENTURA：利用图像扩散模型进行统一任务条件下的机器人导航
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 视觉语言导航 图像扩散模型 机器人路径规划 行为克隆 自监督学习
📋 核心要点
- 现有视觉-语言模型难以直接应用于机器人导航，主要因为动作空间差异和预训练目标不匹配。
- VENTURA通过微调图像扩散模型生成路径掩码，作为视觉规划，再由行为克隆策略转化为机器人轨迹。
- VENTURA在真实世界导航任务中显著优于现有方法，成功率提升33%，碰撞减少54%，并展现出组合泛化能力。
📝 摘要（中文）
机器人需要在非结构化的开放世界环境中适应多样化的人类指令并安全运行。现有的视觉-语言模型(VLMs)在语言和感知方面提供了强大的先验知识，但由于动作空间和预训练目标上的差异，难以应用于机器人导航任务。为此，我们提出了VENTURA，一个视觉-语言导航系统，它对互联网预训练的图像扩散模型进行微调，用于路径规划。VENTURA不是直接预测低级动作，而是在图像空间中生成路径掩码（即视觉规划），捕捉细粒度的、上下文感知的导航行为。一个轻量级的行为克隆策略将这些视觉规划转化为可执行的轨迹，从而实现遵循自然语言指令生成多样化机器人行为的接口。为了扩展训练规模，我们使用来自自监督跟踪模型和VLM增强的字幕来监督路径掩码，避免了手动像素级标注或高度工程化的数据收集设置。在广泛的真实世界评估中，VENTURA在物体到达、避障和地形偏好任务上优于最先进的基础模型基线，在已见和未见场景中，成功率提高了33%，碰撞减少了54%。值得注意的是，我们发现VENTURA可以推广到不同任务的未见组合，展现出涌现的组合能力。
🔬 方法详解
问题定义：现有视觉-语言模型（VLMs）虽然在语言和视觉理解方面表现出色，但直接应用于机器人导航任务面临挑战。主要痛点在于VLMs的预训练目标通常与导航任务不一致，且其输出通常不是机器人可以直接执行的动作。此外，获取大规模的机器人导航训练数据成本高昂，限制了模型的泛化能力。
核心思路：VENTURA的核心思路是将导航任务转化为图像空间的路径规划问题。通过微调预训练的图像扩散模型，VENTURA能够根据视觉输入和语言指令生成路径掩码，即机器人应该遵循的视觉轨迹。这种方法将高级语义理解与低级运动控制解耦，简化了学习过程，并允许利用大规模的互联网图像数据进行预训练。
技术框架：VENTURA系统包含三个主要模块：1) 图像扩散模型：用于生成路径掩码，输入是视觉观测和语言指令，输出是图像空间中的路径规划。2) 自监督跟踪模型与VLM：用于生成训练数据，自监督跟踪模型提供运动轨迹，VLM为轨迹生成描述性字幕。3) 行为克隆策略：将路径掩码转化为可执行的机器人轨迹，输入是路径掩码，输出是机器人的动作指令。整体流程是，首先使用自监督跟踪模型和VLM生成训练数据，然后微调图像扩散模型，最后使用行为克隆策略控制机器人。
关键创新：VENTURA的关键创新在于利用图像扩散模型进行视觉路径规划，而不是直接预测低级动作。这种方法允许模型学习细粒度的、上下文感知的导航行为，并利用大规模的互联网图像数据进行预训练。此外，使用自监督跟踪模型和VLM生成训练数据，避免了手动标注，降低了数据收集成本。
关键设计：VENTURA使用预训练的图像扩散模型，例如Stable Diffusion，并对其进行微调以适应导航任务。损失函数包括路径掩码预测损失和语言指令对齐损失。行为克隆策略使用轻量级的神经网络，将路径掩码转化为机器人的动作指令。为了提高泛化能力，VENTURA使用了数据增强技术，例如随机裁剪、旋转和颜色抖动。
🖼️ 关键图片
📊 实验亮点
VENTURA在真实世界导航任务中取得了显著的性能提升。在物体到达、避障和地形偏好任务上，VENTURA的成功率比最先进的基线提高了33%，碰撞减少了54%。此外，VENTURA还展现出良好的泛化能力，能够处理未见过的任务组合，表明其具有涌现的组合能力。这些结果表明VENTURA是一种有效的视觉-语言导航系统。
🎯 应用场景
VENTURA具有广泛的应用前景，可用于家庭服务机器人、物流机器人、自动驾驶等领域。它可以使机器人在复杂环境中根据人类指令进行导航，完成各种任务，例如物体递送、环境清洁、安全巡逻等。该研究有望推动机器人技术的智能化和自主化，提高机器人的实用性和安全性。
📄 摘要（原文）
Robots must adapt to diverse human instructions and operate safely in unstructured, open-world environments. Recent Vision-Language models (VLMs) offer strong priors for grounding language and perception, but remain difficult to steer for navigation due to differences in action spaces and pretraining objectives that hamper transferability to robotics tasks. Towards addressing this, we introduce VENTURA, a vision-language navigation system that finetunes internet-pretrained image diffusion models for path planning. Instead of directly predicting low-level actions, VENTURA generates a path mask (i.e. a visual plan) in image space that captures fine-grained, context-aware navigation behaviors. A lightweight behavior-cloning policy grounds these visual plans into executable trajectories, yielding an interface that follows natural language instructions to generate diverse robot behaviors. To scale training, we supervise on path masks derived from self-supervised tracking models paired with VLM-augmented captions, avoiding manual pixel-level annotation or highly engineered data collection setups. In extensive real-world evaluations, VENTURA outperforms state-of-the-art foundation model baselines on object reaching, obstacle avoidance, and terrain preference tasks, improving success rates by 33% and reducing collisions by 54% across both seen and unseen scenarios. Notably, we find that VENTURA generalizes to unseen combinations of distinct tasks, revealing emergent compositional capabilities. Videos, code, and additional materials: https://venturapath.github.io