What Novice Operators See Changes What the Policy Learns: A User Study of Keypoint Hand Visual Representation for Teleoperated Demonstration
作者: Amane Yamaguchi, Shohei Kamiguchi, Masashi Hamaya, Shigeo Yoshida, Takuji Narumi, Mai Nishimura
分类: cs.RO, cs.HC
发布日期: 2026-10-20
备注: 9 pages, 8 figures, 2 tables
🔗 代码/项目: PROJECT_PAGE
💡 一句话要点
提出基于关键点手部视觉表示的用户研究以提升模仿学习效果
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)
关键词: 模仿学习 机器人控制 用户研究 关键点表示 远程操作 人机交互
📋 核心要点
- 现有模仿学习方法依赖新手操作员，但其演示质量和一致性较低，影响策略学习效果。
- 论文提出通过不同的手部渲染方式来影响新手的演示质量，进而提升模仿学习策略的效果。
- 实验结果显示，强调拇指和食指的渲染方式使得新手成功演示数量显著增加，训练策略的成功率也有所提升。
📝 摘要（中文）
模仿学习越来越依赖于新手操作员，但他们的演示在数量和一致性上往往不及专家。本文研究了机器人渲染对演示和训练策略的影响。通过PointHand接口，研究了不同手部渲染方式对新手演示的影响。在模拟的杯子任务中，18名新手和4名专家在三种渲染下进行了2200次试验。结果表明，强调拇指和食指的渲染方式显著提高了成功演示的数量，训练出的策略在关键点观察下的成功率也得到了提升。
🔬 方法详解
问题定义：本文旨在解决新手操作员在模仿学习中演示质量不足的问题。现有方法未能充分考虑机器人渲染对演示和策略学习的影响。
核心思路：通过PointHand接口，采用不同的手部渲染方式（如强调关键点）来影响新手的演示，从而提高模仿学习策略的效果。
技术框架：研究分为三个主要阶段：首先，设计不同的手部渲染方式；其次，收集新手和专家的演示数据；最后，基于这些数据训练模仿学习策略并评估其性能。
关键创新：最重要的创新在于通过关键点的视觉表示来增强新手的演示效果，进而提高训练策略的成功率。这一方法与传统的全手形状渲染相比，显著改善了演示质量。
关键设计：在实验中，设置了三种渲染方式，并对新手的演示进行统计分析。训练策略时，使用了手部关键点和物体关键点作为输入，优化了策略的成功率。具体的损失函数和网络结构细节在论文中有详细描述。
🖼️ 关键图片
📊 实验亮点
实验结果显示，强调拇指和食指的渲染方式使得新手在600次试验中成功演示了441次，而使用真实手形状的成功演示仅为320次。此外，训练出的策略在关键点观察下的成功率从46.3%提升至57.3%，提升幅度达到11个百分点。
🎯 应用场景
该研究的潜在应用领域包括远程操作、机器人控制和人机交互等。通过提升新手操作员的演示质量，可以在实际应用中提高机器人学习的效率和准确性，推动智能机器人在复杂环境中的应用。
📄 摘要（原文）
Imitation learning increasingly relies on novice operators, whose demonstrations fall short of experts' in number and inter-trial consistency. Operators act on what they are shown, yet how the rendering of the robot affects their demonstrations, and the policies trained on them, has not been examined. We study this question with PointHand, a teleoperation interface that renders a multi-fingered robot hand as sparse keypoints at its fingertips and joints, the same keypoints a policy can observe. In a simulated mug-in-box task, 18 novices and 4 experts collected 2,200 trials under three renderings: the real shape of the hand, all keypoints emphasized, or the thumb and index finger alone emphasized. The novices shown the thumb and index finger emphasized collected 441 successful demonstrations from 600 trials, against 320 for those shown the real shape. We then trained diffusion policies on these demonstrations, replacing the scene point cloud and proprioceptive state they observe with the hand keypoints and two object keypoints. Within 400 steps these demonstrations went from the weakest of the three novice conditions under the point-cloud policy (46.3%) to the strongest under the keypoint policy (57.3%), a gain of +11.0 percentage points in all five seeds. Those collected with all keypoints emphasized changed by at most +0.7 percentage points, and in no more than three seeds. The value of a demonstration therefore depends on the rendering shown during collection and on what the policy observes together. A shared representation can pay off on both sides, in the number of successful demonstrations and in the success rate of the policy trained on them. Project page: https://omron-sinicx.github.io/point-hand/