Learning Precise Affordances from Egocentric Videos for Robotic Manipulation
作者: Gen Li, Nikolaos Tsagkas, Jifei Song, Ruaridh Mon-Williams, Sethu Vijayakumar, Kun Shao, Laura Sevilla-Lara
分类: cs.RO, cs.CV
发布日期: 2024-08-19 (更新: 2025-09-15)
备注: ICCV 2025
🔗 代码/项目: PROJECT_PAGE
💡 一句话要点
提出一种基于自中心视频的精确可供性学习框架，用于机器人操作。
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱三：空间感知与语义 (Perception & Semantics) 支柱六：视频提取与匹配 (Video Extraction) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 可供性学习 自中心视频 机器人操作 自监督学习 视觉基础模型 几何信息 工具抓取
📋 核心要点
- 现有可供性学习方法面临数据稀缺、泛化性差和难以实际部署等挑战，限制了其在机器人操作中的应用。
- 该论文提出一种基于自中心视频的可供性学习系统，利用几何信息和视觉基础模型提升泛化能力，无需人工标注。
- 实验结果表明，该模型在mIoU上超越现有技术13.8%，并在真实机器人操作任务中取得了较高的成功率。
📝 摘要（中文）
可供性是指物体所提供的潜在动作，对于具身智能体至关重要。例如，这种知识可以指导智能体通过手柄抓握刀具进行切割，或通过刀刃安全地进行递送。现有方法虽然取得显著进展，但可供性研究仍面临三个关键挑战：数据稀缺、泛化能力差和实际部署困难。具体而言，缺乏具有精确分割图的大规模可供性数据集，现有模型难以跨不同领域或新颖物体和可供性类别进行泛化，并且很少有工作展示在现实场景中的可部署性。本文提出一个完整的可供性学习系统来解决这些问题，该系统 (1) 接收自中心视频并输出精确的可供性标注，无需人工标注，(2) 利用几何信息和视觉基础模型来提高泛化能力，以及 (3) 引入一个框架，促进面向可供性的机器人操作，例如工具抓取和机器人到人的工具递送。实验结果表明，我们的模型在 mIoU 上超过了最先进水平 13.8%，并且该框架在 179 次试验中实现了 77.1% 的成功抓取率，包括对已见、未见类别和杂乱场景的评估。
🔬 方法详解
问题定义：论文旨在解决机器人操作中精确可供性学习的问题。现有方法依赖大量人工标注数据，泛化能力不足，难以适应真实场景中的复杂性和多样性。缺乏能够有效利用自中心视觉信息，并将其转化为可靠机器人控制策略的系统。
核心思路：论文的核心思路是利用自监督学习从自中心视频中提取精确的可供性信息，并结合几何信息和视觉基础模型来增强模型的泛化能力。通过学习物体与机器人之间的交互关系，实现更智能、更可靠的机器人操作。
技术框架：该系统主要包含三个模块：1) 基于自中心视频的可供性标注模块，利用自监督学习生成精确的分割图；2) 泛化能力增强模块，结合几何信息和视觉基础模型，提高模型对新物体和场景的适应性；3) 机器人操作框架，将学习到的可供性信息转化为机器人控制指令，实现工具抓取和人机协作等任务。
关键创新：该论文的关键创新在于提出了一种完全自监督的可供性学习方法，无需人工标注即可生成高质量的训练数据。此外，结合几何信息和视觉基础模型，显著提高了模型的泛化能力，使其能够适应真实世界中的复杂场景。
关键设计：在自监督标注模块中，使用了对比学习和一致性正则化等技术，以提高分割的准确性和鲁棒性。在泛化能力增强模块中，利用预训练的视觉Transformer提取图像特征，并结合几何约束来优化可供性预测。机器人操作框架采用强化学习或模仿学习等方法，将可供性信息转化为机器人动作。
🖼️ 关键图片
📊 实验亮点
实验结果表明，该模型在可供性分割任务中，mIoU指标超越现有技术13.8%。在真实的机器人操作实验中，该框架在179次试验中实现了77.1%的成功抓取率，包括对已见、未见类别和杂乱场景的评估。这些结果表明，该方法具有很强的泛化能力和实际应用价值。
🎯 应用场景
该研究成果可广泛应用于机器人操作领域，例如智能制造、家庭服务机器人、医疗辅助机器人等。通过学习物体和环境的可供性，机器人能够更安全、更高效地完成各种任务，例如工具抓取、物体组装、人机协作等。该技术还有潜力应用于虚拟现实和增强现实等领域，提升用户交互体验。
📄 摘要（原文）
Affordance, defined as the potential actions that an object offers, is crucial for embodied AI agents. For example, such knowledge directs an agent to grasp a knife by the handle for cutting or by the blade for safe handover. While existing approaches have made notable progress, affordance research still faces three key challenges: data scarcity, poor generalization, and real-world deployment. Specifically, there is a lack of large-scale affordance datasets with precise segmentation maps, existing models struggle to generalize across different domains or novel object and affordance classes, and little work demonstrates deployability in real-world scenarios. In this work, we address these issues by proposing a complete affordance learning system that (1) takes in egocentric videos and outputs precise affordance annotations without human labeling, (2) leverages geometric information and vision foundation models to improve generalization, and (3) introduces a framework that facilitates affordance-oriented robotic manipulation such as tool grasping and robot-to-human tool handover. Experimental results show that our model surpasses the state-of-the-art by 13.8% in mIoU, and the framework achieves 77.1% successful grasping among 179 trials, including evaluations on seen, unseen classes, and cluttered scenes. Project page: https://reagan1311.github.io/affgrasp.