DynaFLIP: Rethinking Robotics Perception via Tri-Modal-Dynamics Guided Representation

📄 arXiv: 2605.30350v1 📥 PDF

作者: Jusuk Lee, Seungjae Lee, Jonghun Shin, Hoseong Jung, Sungha Kim, Daesol Cho, H. Jin Kim, Jia-Bin Huang, Furong Huang

分类: cs.RO, cs.LG

发布日期: 2026-05-28

备注: Project website: https://dynaflip-robotics.github.io

💡 一句话要点

提出DynaFLIP以解决机器人感知中的动态理解问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 动态感知 多模态学习 机器人操作 视觉编码 三元组学习 对比学习 余弦正则化 泛化能力

📋 核心要点

  1. 现有的机器人学习方法主要依赖静态视觉编码，导致运动理解不足，影响操作性能。
  2. DynaFLIP通过构建图像-语言-3D流三元组，将动态理解上推至感知层，增强了多模态的对齐。
  3. 实验结果显示，DynaFLIP在多种下游策略中表现优异，尤其在分布外场景下提升显著，达到22.5%。

📝 摘要（中文）

机器人操作依赖于保留场景中与动作相关的感知信息。然而，大多数机器人学习管道基于静态识别或视觉-语言对齐的视觉编码器，导致运动理解被留给下游策略。我们提出DynaFLIP，这是一种动态感知的多模态预训练框架，将运动理解上推至感知层面。我们从异构的人类和机器人视频中构建图像-语言-3D流三元组，并利用这些三元组作为训练时的监督，塑造图像编码器。我们的关键思想是鼓励三种模态在共享的超球面空间中跨越一个较小的单纯形体积，较小的体积表示更强的对齐。实验结果表明，DynaFLIP专注于对操作至关重要的控制相关区域，所得到的动态感知表示作为可重用的视觉骨干，在多种下游策略中始终优于基线，尤其在分布外场景下提升达到22.5%。

🔬 方法详解

问题定义：本论文旨在解决机器人操作中对动态理解的不足，现有方法多依赖静态视觉编码，导致对运动信息的捕捉不够充分。

核心思路：DynaFLIP通过构建图像、语言和3D流的三元组，将运动理解上推至感知层，鼓励三种模态在共享的超球面空间中形成更强的对齐。

技术框架：DynaFLIP的整体架构包括数据预处理、三元组构建、模型训练和评估四个主要模块。首先，从异构视频中提取数据，然后构建三元组用于训练，最后评估模型在不同下游任务中的表现。

关键创新：DynaFLIP的核心创新在于结合单纯形体积最小化与余弦正则化、对比目标，避免了简单体积最小化可能导致的几何模糊和简单崩溃。

关键设计：在损失函数设计中，采用了结合余弦正则化的单纯形体积最小化策略，确保三种模态的有效对齐，同时使用对比学习增强模型的鲁棒性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

DynaFLIP在多种下游策略中表现优异，尤其在分布外场景下，性能提升达到22.5%。这一结果表明，动态感知表示的训练显著增强了机器人在复杂环境中的泛化能力。

🎯 应用场景

DynaFLIP的研究成果在机器人操作、自动化制造和人机交互等领域具有广泛的应用潜力。通过增强机器人对动态环境的理解，能够提升其在复杂任务中的表现，推动智能机器人技术的进步与普及。

📄 摘要（原文）

Robot manipulation critically depends on perception that preserves the action-relevant aspects of a scene. Yet most robot learning pipelines are built upon visual encoders pre-trained for static recognition or vision-language alignment, leaving motion understanding to downstream policies. We introduce DynaFLIP, a dynamics-aware multimodal pre-training framework that pushes motion understanding upstream into perception. We construct image-language-3D flow triplets from heterogeneous human and robot videos, and use these triplets as training-time supervision to shape an image-only encoder. Our key idea is to encourage the three modalities to span a small simplex volume in the shared hyperspherical space -- a smaller simplex volume indicating stronger alignment. To avoid the geometric ambiguity and trivial collapse of naive volume minimization, we combine simplex-volume minimization with a cosine regularizer and a contrastive objective. Our analyses show that DynaFLIP focuses on control-relevant regions critical for manipulation. The resulting dynamics-aware representations serve as reusable visual backbones and consistently outperform baselines across diverse downstream policies, including VLAs. We validate this across diverse simulation and real-world setups, with gains reaching +22.5% under out-of-distribution scenarios. Our results suggest that robot generalization improves when visual representations are trained to encode not just what is present, but how the world changes under action.