EC-Flow: Enabling Versatile Robotic Manipulation from Action-Unlabeled Videos via Embodiment-Centric Flow
作者: Yixiang Chen, Peiyan Li, Yan Huang, Jiabing Yang, Kehan Chen, Liang Wang
分类: cs.RO, cs.AI
发布日期: 2025-07-08
备注: Accepted at ICCV 2025
💡 一句话要点
EC-Flow：通过具身中心流，从无动作标签视频中实现通用机器人操作
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)
关键词: 机器人操作 具身智能 无监督学习 运动学约束 流预测
📋 核心要点
- 现有语言引导的机器人操作系统依赖于带有动作标签的数据集，限制了其在复杂场景中的应用。
- EC-Flow通过预测具身中心流，直接从无标签视频中学习操作，利用机器人自身的运动学信息增强泛化能力。
- 实验表明，EC-Flow在处理遮挡、可变形物体和非物体位移任务上，显著优于现有以物体为中心的流方法。
📝 摘要（中文）
当前基于语言引导的机器人操作系统通常需要带有低级动作标签的数据集进行模仿学习。虽然以物体为中心的流预测方法缓解了这个问题，但它们仍然局限于涉及刚性物体、具有清晰位移和最小遮挡的场景。本文提出了具身中心流（EC-Flow），该框架通过预测具身中心流，直接从无动作标签的视频中学习操作。核心思想是，结合具身固有的运动学特性，可以显著增强对通用操作场景的泛化能力，包括可变形物体的处理、遮挡和非物体位移任务。为了将EC-Flow与语言指令和物体交互联系起来，进一步引入了一个目标对齐模块，通过联合优化运动一致性和目标图像预测来实现。此外，将EC-Flow转化为可执行的机器人动作只需要一个标准的机器人URDF（统一机器人描述格式）文件来指定关节间的运动学约束，这使得它在实践中易于使用。在模拟（Meta-World）和真实世界的任务中验证了EC-Flow，证明了其在遮挡物体处理（62%的改进）、可变形物体操作（45%的改进）和非物体位移任务（80%的改进）方面优于现有最先进的以物体为中心的流方法。
🔬 方法详解
问题定义：现有基于语言引导的机器人操作方法依赖于大量带有动作标签的数据集，获取成本高昂。而基于物体中心流的方法虽然可以从无标签视频中学习，但在处理复杂场景（如遮挡、可变形物体操作、非物体位移任务）时，泛化能力不足。因此，需要一种能够从无标签视频中学习，且具有更强泛化能力的机器人操作方法。
核心思路：EC-Flow的核心思路是将机器人自身的运动学信息融入到流预测中，即预测“具身中心流”。不同于以往预测物体位移的方法，EC-Flow关注机器人末端执行器相对于自身关节的运动，从而更好地理解和执行操作。这种以机器人自身为中心的视角，使得模型能够更好地处理复杂场景，例如，即使物体被遮挡，机器人仍然可以根据自身的运动学信息推断出正确的操作。
技术框架：EC-Flow框架主要包含两个核心模块：具身中心流预测模块和目标对齐模块。具身中心流预测模块负责从视频中学习机器人末端执行器的运动模式。目标对齐模块将学习到的运动模式与语言指令和物体交互联系起来，通过联合优化运动一致性和目标图像预测，实现对操作目标的理解。整个流程是：输入无标签视频，通过具身中心流预测模块学习运动模式，然后通过目标对齐模块将运动模式与目标对齐，最后生成可执行的机器人动作。
关键创新：EC-Flow最重要的创新点在于提出了“具身中心流”的概念，并将机器人自身的运动学信息融入到流预测中。这与以往以物体为中心的流预测方法有着本质的区别。以往的方法关注物体的位移，而EC-Flow关注机器人自身的运动，从而更好地理解和执行操作。这种以机器人自身为中心的视角，使得模型能够更好地处理复杂场景，并具有更强的泛化能力。
关键设计：EC-Flow的关键设计包括：1) 使用标准的机器人URDF文件来指定关节间的运动学约束，使得模型可以轻松地应用于不同的机器人平台。2) 目标对齐模块通过联合优化运动一致性和目标图像预测，实现对操作目标的理解。运动一致性损失鼓励模型学习到的运动模式与视频中的实际运动一致，目标图像预测损失鼓励模型学习到的运动模式能够达到预期的操作目标。3) 具体的网络结构未知，但可以推测使用了卷积神经网络（CNN）来提取图像特征，并使用循环神经网络（RNN）或Transformer来建模时间序列信息。
🖼️ 关键图片
📊 实验亮点
EC-Flow在模拟和真实世界的任务中都取得了显著的成果。在遮挡物体处理任务中，EC-Flow比现有最先进的以物体为中心的流方法提高了62%。在可变形物体操作任务中，EC-Flow提高了45%。在非物体位移任务中，EC-Flow提高了80%。这些结果表明，EC-Flow在处理复杂场景方面具有显著的优势，能够实现更通用、更鲁棒的机器人操作。
🎯 应用场景
EC-Flow具有广泛的应用前景，可应用于工业自动化、家庭服务机器人、医疗机器人等领域。例如，在工业自动化中，EC-Flow可以帮助机器人完成复杂的装配任务，即使在存在遮挡或物体变形的情况下也能稳定工作。在家庭服务机器人中，EC-Flow可以帮助机器人完成各种家务，例如整理物品、清洁房间等。在医疗机器人中，EC-Flow可以帮助医生进行微创手术，提高手术的精度和安全性。EC-Flow的未来发展方向包括：进一步提高模型的泛化能力，使其能够适应更复杂的场景；探索更有效的目标对齐方法，提高操作的精度和效率；研究如何将EC-Flow与强化学习相结合，实现自主学习和优化。
📄 摘要（原文）
Current language-guided robotic manipulation systems often require low-level action-labeled datasets for imitation learning. While object-centric flow prediction methods mitigate this issue, they remain limited to scenarios involving rigid objects with clear displacement and minimal occlusion. In this work, we present Embodiment-Centric Flow (EC-Flow), a framework that directly learns manipulation from action-unlabeled videos by predicting embodiment-centric flow. Our key insight is that incorporating the embodiment's inherent kinematics significantly enhances generalization to versatile manipulation scenarios, including deformable object handling, occlusions, and non-object-displacement tasks. To connect the EC-Flow with language instructions and object interactions, we further introduce a goal-alignment module by jointly optimizing movement consistency and goal-image prediction. Moreover, translating EC-Flow to executable robot actions only requires a standard robot URDF (Unified Robot Description Format) file to specify kinematic constraints across joints, which makes it easy to use in practice. We validate EC-Flow on both simulation (Meta-World) and real-world tasks, demonstrating its state-of-the-art performance in occluded object handling (62% improvement), deformable object manipulation (45% improvement), and non-object-displacement tasks (80% improvement) than prior state-of-the-art object-centric flow methods. For more information, see our project website at https://ec-flow1.github.io .