A Scoping Review and Experimental Study on Reinforcement Learning from Human Feedback for Human-Robot Collaboration

📄 arXiv: 2610.09891v1 📥 PDF

作者: Alexandra Coroiu, Andrea Vogt, Viktor Werbilo, Andreas Poppele, Johann Christensen, Sven Hallerbach

分类: cs.HC, cs.AI, cs.RO

发布日期: 2026-10-07

💡 一句话要点

提出基于人类反馈的强化学习方法以提升人机协作安全性

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 人机协作 强化学习 人类反馈 安全性 虚拟现实 双向反馈 工业4.0

📋 核心要点

  1. 现有的HRC系统在安全性、反馈质量和人机适应性方面面临多重挑战，亟需改进。
  2. 本文通过范围审查和实验研究，提出了基于人类反馈的强化学习方法，强调反馈的双向性和闭环设计。
  3. 实验结果显示，用户发起的反馈在心理安全感和物理安全性方面优于系统发起的反馈，表明反馈时机的重要性。

📝 摘要（中文）

人机协作（HRC）能够促进工业4.0中的大规模定制，而基于人类反馈的强化学习（RLHF）是开发安全AI机器人的一种有前景的方法。本文对HRC系统中的RLHF进行了范围审查，识别了在安全性、反馈质量和双向适应性方面的挑战。通过PRISMA指南筛选了199条记录，最终纳入了20篇同行评审的文献。研究发现多种反馈模式能够在不同阶段集成数据，形成多步骤的开发过程。通过虚拟现实实验，比较了系统和用户发起的反馈对机器人安全导航的影响，结果表明用户发起的反馈在感知安全性方面表现更佳，强调了反馈时机对质量的直接影响。

🔬 方法详解

问题定义：本文旨在解决人机协作中安全性不足、反馈质量不高及人机适应性差等问题。现有方法在这些方面存在明显的不足，影响了AI机器人的安全性和有效性。

核心思路：论文提出通过人类反馈的强化学习（RLHF）来改善HRC系统的安全性，强调反馈的双向性和闭环设计，以便更好地适应人类需求。

技术框架：整体架构包括文献审查、反馈模式识别、数据集成和虚拟现实实验。通过多种反馈模式收集数据，并在AI训练的不同阶段进行集成，形成多步骤的开发过程。

关键创新：本研究的创新点在于首次系统性地审查了RLHF在HRC中的应用，特别关注双向反馈机制的设计及其对安全性的影响，这在现有文献中尚属首次。

关键设计：在实验中，采用贝叶斯模型分析反馈与安全指标之间的关系，设置了心理安全（通过问卷调查）和物理安全（逆碰撞时间）作为关键评估指标，确保了实验的科学性和可靠性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，用户发起的反馈在感知安全性方面显著优于系统发起的反馈，表明反馈时机对反馈质量的直接影响。具体而言，用户反馈在心理安全问卷中的得分更高，且在逆碰撞时间上表现出更好的物理安全性。

🎯 应用场景

该研究的潜在应用领域包括智能制造、服务机器人和医疗辅助等场景。通过提升人机协作中的安全性和适应性，可以有效促进工业4.0的实施，增强机器人在复杂环境中的应用能力，具有重要的实际价值和未来影响。

📄 摘要（原文）

Human-Robot Collaboration (HRC) can facilitate mass customisation in Industry 4.0, with Reinforcement Learning from Human Feedback (RLHF) representing a promising approach for developing safe AI-based robots. Practical challenges remain regarding safety during AI development, human feedback quality, and bidirectional human-robot adaptation. We conducted a scoping review of RLHF in HRC systems, mapping methods that address these challenges. Following PRISMA guidelines, we screened 199 records and included 20 peer-reviewed publications (2020-2025) spanning multiple HRC domains. To our knowledge, this is the first review focused on the bidirectional, closed-loop design of RLHF. Our review found multiple feedback modalities enabling data collection in various feedback formats. Collected data can be integrated at different stages of AI training, resulting in a multi-step development process. Pilot experiments are commonly used to evaluate HRC systems based on both human and robot metrics. To empirically test a key gap identified in the review, we conducted a between-subjects VR experiment comparing system- and user-initiated feedback on robot proxemic behaviour for safe navigation. Using Bayesian models, we analysed the relation between the collected feedback and safety metrics: psychological safety (post-experiment questionnaire) and physical safety (inverse time-to-collision). Results show that user-initiated feedback captures perceived safety better than system-initiated feedback, indicating that feedback timing directly affects feedback quality. Our review and experiment findings show that RLHF relies on appropriate feedback methods to ensure AI safety in HRC, and future RLHF research should prioritise realistic HRC experiments evaluating the effects of feedback collection methods on relevant human and robot metrics.