Data-Efficient Learning from Demonstration for Humanoid Robots via Feature-Level Perception and Prompt-Based Object Detection
作者: Keyhan Rayati, AliReza Beigy, Anoosheh Saadati, Pourya Shahverdi, Mehdi Tale Masouleh, Ahmad Kalhor, Wing-Yue Geoffrey Louie
分类: cs.RO
发布日期: 2026-10-19
备注: 6 pages, 4 figures, 2 tables. Presented at IEEE ISAIA 2026
💡 一句话要点
提出一种数据高效的学习框架以解决人形机器人技能学习问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation)
关键词: 学习示范 人形机器人 数据高效 特征提取 深度学习 物体检测 运动估计
📋 核心要点
- 现有的视觉基础学习示范方法通常需要大量的数据和复杂的训练过程，限制了其在实际应用中的可行性。
- 本文提出了一种新颖的框架，通过提取任务特定的紧凑特征，减少了对大规模数据集的依赖，从而提高了学习效率。
- 在模拟实验中，该框架在仅使用16个示范的情况下，完成了78%的抓取任务成功率，使用100个示范时成功率提升至86%。
📝 摘要（中文）
学习示范（LfD）使机器人能够从人类示例中学习新技能，但许多基于视觉的方法需要大量数据集和资源密集型的端到端训练。本文提出了一种数据高效的LfD框架，旨在通过紧凑的任务特征而非原始图像来学习人形机器人的操作技能。该方法集成了分层视觉预处理、基于Kinect的人体关节估计、基于提示的物体检测和深度信息，从示范视频中提取人类运动特征和三维物体位置。这些特征用于训练一个时间深度学习模型，以预测机器人关节角度轨迹进行执行。该框架在NAO人形机器人上实现，并在模拟中进行定量评估，最终在物理硬件上进行演示。
🔬 方法详解
问题定义：本文旨在解决人形机器人在学习新技能时对大量数据和复杂训练的依赖问题。现有方法通常需要大量的原始图像数据，导致训练成本高且效率低下。
核心思路：提出了一种数据高效的学习框架，利用紧凑的任务特征而非原始图像进行技能学习。通过集成多种视觉处理技术，能够从示范视频中提取关键的人类运动特征。
技术框架：该框架包括多个模块：分层视觉预处理、Kinect人体关节估计、基于提示的物体检测和深度信息提取。首先，通过视觉预处理提取特征，然后利用Kinect进行关节估计，接着进行物体检测，最后将提取的特征用于训练深度学习模型。
关键创新：最重要的创新在于通过任务特定的特征提取，显著降低了对大规模数据集的需求。这种方法与传统的端到端训练方法本质上不同，后者通常依赖于大量的原始数据。
关键设计：在模型设计中，采用了适应性损失函数以优化关节角度预测，同时结合了深度学习网络结构，以提高模型的泛化能力和准确性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，该框架在模拟环境中实现了78%的抓取任务成功率，仅需16个示范，使用100个示范时成功率提升至86%。在推送任务中，使用8个示范时成功率达到71%，展示了其在数据高效技能获取方面的有效性。
🎯 应用场景
该研究的潜在应用领域包括人形机器人在家庭、服务业和工业环境中的技能学习与执行。通过提高学习效率，机器人能够更快地适应新任务，降低训练成本，具有重要的实际价值和未来影响。
📄 摘要（原文）
Learning from Demonstration (LfD) allows robots to learn new skills from human examples; however, many vision-based methods require large datasets and resource-intensive end-to-end training. This paper introduces a data-efficient LfD framework for humanoid robots that learns manipulation skills from compact, task-specific features instead of raw images. The proposed approach integrates layered visual preprocessing, Kinect-based human joint estimation, prompt-based object detection, and depth information to extract human motion features and three-dimensional object locations from demonstration videos. These features are used to train a temporal deep learning model that predicts robot joint-angle trajectories for execution. The framework is implemented on a NAO humanoid robot, evaluated quantitatively in simulation, and demonstrated on physical hardware. In simulation, the robot achieves a 78% success rate on a pick-and-place task using only 16 demonstrations, which increases to 86% when trained with 100 demonstrations. The framework also achieves a 71% success rate on a pushing task using eight demonstrations, highlighting its effectiveness for data-efficient humanoid skill acquisition.