COFFAIL: A Dataset of Successful and Anomalous Robot Skill Executions in the Context of Coffee Preparation

📄 arXiv: 2604.18236v1 📥 PDF

作者: Alex Mitrevski, Ayush Salunke

分类: cs.RO

发布日期: 2026-04-20

备注: Presented as an extended abstract at the 2nd German Robotics Conference (GRC)

💡 一句话要点

COFFAIL：咖啡准备场景下机器人技能成功与异常执行数据集

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 机器人操作 数据集 模仿学习 异常检测 咖啡准备

📋 核心要点

  1. 现有机器人操作学习数据集通常只包含成功的案例，或仅关注特定类型的技能，缺乏多样性和异常情况。
  2. COFFAIL数据集包含咖啡准备场景下机器人技能的成功和异常执行，利用模仿学习训练机器人策略。
  3. 该数据集是在真实的厨房环境中，使用物理机器人收集，包含单臂和双臂操作，更贴近实际应用。

📝 摘要（中文）

本论文简要介绍了一个名为COFFAIL的数据集，该数据集专注于机器人操作学习，包含在咖啡准备场景下执行的各种技能。COFFAIL数据集的独特之处在于，它既包含了成功的技能执行过程，也包含了异常的技能执行过程。这些数据是在厨房环境中，使用真实的机器人收集的，其中一些技能需要双臂协同操作。除了描述数据收集的设置和收集到的数据外，本文还展示了如何利用COFFAIL中的数据，通过模仿学习来训练机器人策略。

🔬 方法详解

问题定义：现有机器人操作学习数据集的局限性在于，它们通常只包含成功的技能执行案例，或者只关注于特定类型的技能。这使得机器人难以学习处理真实世界中可能出现的各种异常情况，例如物体滑落、操作失误等。因此，需要一个包含成功和失败案例的数据集，以提高机器人的鲁棒性和泛化能力。

核心思路：COFFAIL数据集的核心思路是提供一个包含成功和异常技能执行过程的数据集，使机器人能够学习区分和处理这些情况。通过模仿学习，机器人可以学习从成功案例中模仿正确的操作，并从失败案例中学习避免错误。

技术框架：COFFAIL数据集的构建流程包括以下几个主要阶段：首先，设计一系列与咖啡准备相关的机器人技能，例如抓取咖啡豆、研磨咖啡、倒入牛奶等。然后，使用物理机器人在真实的厨房环境中执行这些技能，并记录机器人的状态、动作和环境信息。在执行过程中，既包含成功的案例，也包含由于各种原因导致的失败案例。最后，对收集到的数据进行清洗和标注，形成最终的数据集。

关键创新：COFFAIL数据集的关键创新在于它同时包含了成功和异常的机器人技能执行过程。这使得机器人能够学习区分和处理这些情况，从而提高其鲁棒性和泛化能力。此外，该数据集是在真实的厨房环境中收集的，更贴近实际应用场景。

关键设计：数据集包含多种机器人状态信息，例如关节角度、末端执行器位置等。异常数据包括物体滑落、碰撞、操作顺序错误等。模仿学习策略使用标准的行为克隆方法，目标是最小化机器人动作与专家动作之间的差异。具体参数设置和网络结构在论文中未详细说明，属于未知信息。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

论文展示了使用COFFAIL数据集通过模仿学习训练机器人策略的初步结果。虽然没有提供具体的性能数据和对比基线，但实验验证了该数据集在机器人操作学习中的有效性。未来的工作可以进一步探索使用该数据集进行更复杂的机器人学习任务，例如强化学习和迁移学习。

🎯 应用场景

COFFAIL数据集可应用于机器人操作学习、异常检测、故障诊断等领域。通过训练机器人识别和处理异常情况，可以提高机器人在复杂环境中的自主性和可靠性。该数据集还有助于开发更智能、更安全的机器人系统，使其能够更好地服务于人类生活。

📄 摘要（原文）

In the context of robot learning for manipulation, curated datasets are an important resource for advancing the state of the art; however, available datasets typically only include successful executions or are focused on one particular type of skill. In this short paper, we briefly describe a dataset of various skills performed in the context of coffee preparation. The dataset, which we call COFFAIL, includes both successful and anomalous skill execution episodes collected with a physical robot in a kitchen environment, a couple of which are performed with bimanual manipulation. In addition to describing the data collection setup and the collected data, the paper illustrates the use of the data in COFFAIL to learn a robot policy using imitation learning.