Learning from Fleet Experience: A Collective Learning Paradigm for Robots
作者: Chao Yu, Shu'ang Yu, Hao Lin, Hongzhi Zang, Yuxiang Yan, Chenxi Jiang, Zhen Guo, Chuankang Li, Yihao Chen, Xin Xu, Xu Fu, Jiakai Zhou, Liangzhi Shi, Hongyi Ren, Yiwei Liu, Jing Wu, Yuanqing Wang, Chen Wu, Bo Dai, Chunyu Yang, Hongliang Huang, Shuoyu Yue, Weiqi Yin, Yinuo Chen, Ruihua Chen, Chunyang Zhu, Han Xiao, Yanghao Li, Ruipu Wu, Zhikai Cai, Xiu Chen, Xu Tan, Yuchen Yan, Jialin Zhang, Wen Zeng, Yiming Zhou, Zixiao Huang, Guanghui Ren, Quanlu Zhang, Boxun Li, Maoqing Yao, Yu Wang
分类: cs.RO
发布日期: 2026-10-19
💡 一句话要点
提出集体经验学习以提升机器人政策可靠性
🎯 匹配领域: 支柱一：机器人控制 (Robot Control)
关键词: 集体经验学习 机器人学习 政策优化 失败引导 异步训练 操作任务 经验共享
📋 核心要点
- 现有方法依赖人类操作员进行监控和纠正，难以满足大规模机器人队伍的需求。
- 提出集体经验学习（CEL），通过共享执行经验来改善机器人政策，利用失败引导的经验检索微调（FERT）进行政策更新。
- 在五个真实操作任务中，成功率达到93.3%-99.2%，并且随着机器人数量增加，成功率显著提升。
📝 摘要（中文）
在部署过程中生成的经验为机器人通过自身执行学习提高政策可靠性提供了机会。然而，依赖人类纠正的学习方式需要操作员监控执行并在政策失败时进行干预，这在机器人队伍规模扩大时难以满足。本文提出集体经验学习（CEL）这一学习范式，已部署的机器人共享执行经验以改善共同政策。通过失败引导的经验检索微调（FERT），利用机器人执行中的失败上下文从共享的成功经验中检索相关轨迹段，并将其动作作为政策更新的监督，而无需收集额外的专家演示或纠正行动。故障容忍异步训练系统（FATS）协调经验收集、政策优化和政策分发，尽管机器人队伍内部存在局部中断。在五个真实世界的操作任务中，所得到的政策成功率达到93.3%-99.2%。
🔬 方法详解
问题定义：本文旨在解决机器人在执行任务中政策可靠性不足的问题。现有方法依赖于人类操作员的实时监控和纠正，随着机器人数量的增加，这种方法变得不可行。
核心思路：论文提出集体经验学习（CEL），通过让已部署的机器人共享执行经验，利用失败引导的经验检索微调（FERT）来更新政策。这种方法不需要额外的专家干预，能够有效提升政策的可靠性。
技术框架：整体架构包括经验收集、政策优化和政策分发三个主要模块。FERT模块负责从共享成功经验中检索与失败相关的轨迹段，并利用这些轨迹段进行政策更新。FATS系统则确保在局部中断情况下的异步训练。
关键创新：最重要的技术创新点在于通过失败上下文进行经验检索，而不是依赖于专家的纠正。这种方法使得机器人能够自主学习并提高政策的可靠性。
关键设计：在FERT中，设计了特定的损失函数来优化政策更新，并使用了适应性网络结构以适应不同的任务需求。
🖼️ 关键图片
📊 实验亮点
实验结果显示，在多阶段手机包装任务中，使用96个机器人进行学习时，成功率从79.2%提升至98.3%。整体上，五个操作任务的成功率在93.3%至99.2%之间，表明集体经验学习显著提升了政策的可靠性。
🎯 应用场景
该研究的潜在应用领域包括工业自动化、服务机器人和无人驾驶等。通过集体经验学习，机器人能够在实际部署中不断优化其操作策略，提高工作效率和安全性，未来可能在更大规模的机器人系统中得到广泛应用。
📄 摘要（原文）
Experience generated during deployment offers an opportunity for robots to improve policy reliability through learning from their own executions. However, learning through human corrections requires teleoperators to monitor execution and intervene when policies fail, a demand that is difficult to meet as robot fleets grow. We introduce collective experience learning (CEL), a learning paradigm in which deployed robots share their execution experience to improve a common policy. We realize CEL through failure-guided experience retrieval fine-tuning (FERT), which uses failure contexts from robot executions to retrieve relevant trajectory segments from the fleet's shared successful experience and uses their actions as supervision for policy updates, without collecting additional expert demonstrations or corrective actions. A fault-tolerant asynchronous training system (FATS) coordinates experience collection, policy optimization and policy distribution despite local interruptions within the robot fleet. Across five real-world manipulation tasks, the resulting policies achieve success rates of 93.3-99.2%, evaluated over 120 trials per task on robots excluded from training data collection. With collection time per robot held fixed, larger fleets provide more experience and FERT generally achieves higher success rates across the evaluated sizes. On multi-stage phone packaging, learning with 96 robots increases success from 79.2% to 98.3%. These results support collective experience as a practical basis for scalable robot learning and a path towards improving policy reliability during deployment without collecting additional expert corrective actions.