Cue the Flow: Steering Flow-Matching Policies for Open-World Delivery Manipulation
作者: Haoxuan Wang, Griffin Galimi, Junhua Huang, Selina Song, Wayne Wu, Yan Yan, Bolei Zhou
分类: cs.RO
发布日期: 2026-09-30
备注: CoRL 2026. Project page at https://hatchetproject.github.io/delivery_steer/
💡 一句话要点
提出流匹配策略以解决开放世界物品配送操控问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 开放世界配送 流匹配 视觉-语言-动作 移动操控 策略引导 机器人技术 动态环境
📋 核心要点
- 现有的双系统方法在处理噪声感知和动态场景时，低层控制器表现脆弱，难以满足开放世界物品配送的需求。
- 论文提出使用预训练的流匹配视觉-语言-动作模型作为低层控制接口，通过空间线索引导策略，增强操控的反应性和鲁棒性。
- 实验结果表明，该方法在桌面和移动基础设置中显著提高了指令遵循和操控成功率，平均任务成功率提升近2倍。
📝 摘要（中文）
开放世界物品配送要求移动操控器遵循自由形式的用户指令并操控潜在的新颖物体。现有的双系统方法使用高层次的基础模型将语言转换为具体的视觉提示，但其低层次控制器在噪声感知、动态场景和丰富接触的交互下可能表现脆弱。我们提出了一种预训练的流匹配视觉-语言-动作模型作为低层控制接口，利用其对环境变化的反应性和鲁棒性，同时将基础输出视为策略引导的空间线索。我们的关键见解是，预训练的视觉-语言-动作模型已经提供了强大的操控先验，而空间线索则提供了在新颖语言-物体映射下指导动作所需的目标信息。具体而言，我们引入了一种轻量级的线索条件适配器。该适配器首先通过对比目标进行训练，以生成显著且空间上可区分的线索表示，然后监督预测生成的动作块上的对角仿射变换，使策略引导与被提示的目标对齐。我们的研究在桌面和移动基础设置中提高了指令遵循和操控成功率，在领域内和领域外的物体上均取得了近2倍的平均任务成功率提升，且推理开销微乎其微。
🔬 方法详解
问题定义：本论文旨在解决开放世界物品配送中，移动操控器在执行用户指令时面临的低层控制器脆弱性问题。现有方法在噪声感知和动态场景下表现不佳，难以有效操控新颖物体。
核心思路：我们提出利用预训练的流匹配视觉-语言-动作模型作为低层控制接口，借助其对环境变化的适应性和鲁棒性，同时将基础输出作为策略引导的空间线索，以增强操控的准确性。
技术框架：整体架构包括一个预训练的视觉-语言-动作模型和一个轻量级的线索条件适配器。适配器首先通过对比学习生成空间上可区分的线索表示，然后预测动作块的对角仿射变换，以实现策略引导与目标的对齐。
关键创新：本研究的创新点在于引入了线索条件适配器，利用预训练模型的操控先验和空间线索的结合，显著提高了操控的成功率。这一方法与现有的双系统方法在处理新颖物体时的策略引导方式有本质区别。
关键设计：适配器的训练采用对比目标，确保生成的线索表示具有显著性和空间可区分性。损失函数设计为监督预测对角仿射变换，以实现策略引导的精确对齐。
🖼️ 关键图片
📊 实验亮点
实验结果显示，提出的方法在桌面和移动基础设置中，指令遵循和操控成功率显著提高，平均任务成功率提升近2倍，且推理开销几乎可以忽略不计，展现出良好的实用性和效率。
🎯 应用场景
该研究在开放世界物品配送、服务机器人和人机交互等领域具有广泛的应用潜力。通过提高移动操控器在动态环境中的适应能力和操控精度，能够有效提升用户体验和操作效率，推动智能机器人技术的进一步发展。
📄 摘要（原文）
Open-world goods delivery requires mobile manipulators to follow free-form user instructions and manipulate potentially novel objects. Existing dual-system approaches use high-level grounding models to convert language into grounded visual prompts, but their low-level controllers can remain brittle under noisy perception, dynamic scenes, and contact-rich interactions. We instead use a pretrained flow-matching vision-language-action model as the low-level control interface, leveraging its reactivity and robustness to environmental changes while treating the grounding output as a spatial cue for policy steering. Our key insight is that the pretrained VLA already provides a strong manipulation prior, while the spatial cue supplies the missing target information needed to guide actions under novel language--object mappings. Concretely, we introduce a lightweight cue-conditioned adapter. The adapter is first trained with contrastive objectives to produce salient and spatially discriminative cue representations, and is then supervised to predict a diagonal affine transformation over the generated action chunk, aligning policy steering with the cued target. Across tabletop and mobile-base settings, our method improves instruction following and manipulation success on both in-domain and out-of-domain objects, achieving up to near $2\times$ improvement in average task success rate with negligible inference overhead.