Bilinear Flow Policy: Distributional Extrapolation for Goal-Conditioned Visuomotor Imitation

📄 arXiv: 2610.05765v1 📥 PDF

作者: Wonsuhk Jung, Sundhar Vinodh Sangeetha, Chen Xu, Abhishek Gupta, Masha Itkina, Shreyas Kousik, Haruki Nishimura

分类: cs.RO

发布日期: 2026-10-05

备注: 40 pages

💡 一句话要点

提出双线性流策略以解决目标条件模仿学习中的分布外推问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 目标条件模仿学习 双线性流 分布外推 视觉运动策略 多模态行为 机器人控制 迁移学习

📋 核心要点

  1. 现有的目标条件模仿学习方法在面对未见目标时常常无法有效推断，导致多模态行为的崩溃。
  2. 本文提出的双线性流策略通过结合迁移检索与双线性条件流，能够有效地处理未见目标的外推问题。
  3. 实验结果表明，BFP在仿真任务中成功率显著提高，且在真实任务中也表现出色，验证了其有效性。

📝 摘要（中文）

目标条件模仿学习（GCIL）结合流匹配是一种有前景的框架，能够表示多模态行为并适应多样化的用户指定目标。然而，当目标超出演示支持范围时，GCIL往往失败。为了解决这一问题，本文提出了双线性流策略（BFP），一种生成性视觉运动策略，结合了迁移检索与双线性条件流。BFP通过检索“锚”训练示例，将未见的观察-目标对转化为熟悉的锚加上残差项。BFP在五个仿真操作任务中实现了GCIL策略的2.63倍的分布外成功率，并在两个真实世界任务中提高了32%。

🔬 方法详解

问题定义：本文旨在解决目标条件模仿学习中，当目标超出演示支持时的分布外推问题。现有方法在此情况下常常无法保持多模态性，导致性能下降。

核心思路：双线性流策略（BFP）通过检索一个“锚”训练示例，将未见的观察-目标对转化为锚加上一个残差项，从而实现对未见目标的有效外推。

技术框架：BFP的整体架构包括锚选择模块、残差编码模块和双线性流模型。锚选择模块负责从训练集中检索最相关的锚示例，残差编码模块则用于表示当前观察-目标对与锚的差异，最后双线性流模型联合建模锚与残差如何共同影响动作分布。

关键创新：BFP的主要创新在于引入了双线性流模型，能够在保证多模态性的同时有效地处理未见目标的外推问题。这一方法与传统的单一流模型有本质区别。

关键设计：在设计中，BFP使用预训练的视觉特征和新颖的锚选择算法，确保锚的选择能够有效预测对应的动作分布。此外，损失函数设计上考虑了流匹配误差与分布外推的关系，确保模型的泛化能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在五个仿真操作任务中，BFP的分布外成功率达到了GCIL策略的2.63倍，且在两个真实世界任务中提高了32%。这些结果表明BFP在处理未见目标时的显著优势，验证了其有效性与实用性。

🎯 应用场景

该研究的潜在应用领域包括机器人控制、自动驾驶、虚拟现实等需要高效模仿与适应用户目标的场景。通过提高目标条件模仿学习的外推能力，BFP有望在复杂环境中实现更灵活的智能行为，推动相关技术的发展与应用。

📄 摘要（原文）

Goal-conditioned imitation learning (GCIL) with flow matching is a promising framework that can represent multimodal behaviors while adapting to diverse, user-specified goals, yet often fails when goals lie outside the demonstration support. To extrapolate to such unseen goals without collapsing multimodality - a problem we call distributional extrapolation - we introduce Bilinear Flow Policy (BFP), a generative visuomotor policy that combines transductive retrieval with a bilinear conditional flow. Given an unseen observation-goal pair, BFP retrieves an "anchor" training example and transductively reformulates the unseen pair as this familiar anchor plus a residual term. For this decomposition to guide action prediction, the residual must compactly encode how the current observation-goal pair differs from the anchor, and the anchor must be chosen so that this difference is predictive of the corresponding action distribution. BFP achieves this with pretrained visual features and a novel learned anchor-selection algorithm. The novel bilinear flow then models how the anchor and the residual jointly determine the multimodal action distribution. We prove that, for bilinear flow under suitable assumptions, action distribution error at unseen goals is bounded by the in-distribution flow-matching error up to problem-dependent factors. Across five manipulation tasks in simulation, BFP achieves 2.63x the out-of distribution success rate of a GCIL policy and 1.36x that of the strongest extrapolation-targeted baseline. On two real-world tasks, BFP improves over GCIL by 32%. Finally, our theory yields practical, pre deployment diagnostics for predicting which trained policies will extrapolate well and to which unseen goal.