HITL-D: Human In The Loop Diffusion Assisted Shared Control

📄 arXiv: 2605.21460v1 📥 PDF

作者: Riley Zilka, Sergey Khlynovskiy, Allie Wang, Martin Jagersand

分类: cs.RO, cs.AI, cs.HC

发布日期: 2026-05-20

备注: Accepted for presentation at ICRA 2026

💡 一句话要点

提出HITL-D框架，结合扩散模型与人机协作，提升遥操作性能

🎯 匹配领域: 支柱一：机器人控制 (Robot Control)

关键词: 人机协作 遥操作 扩散模型 机器人控制 自主辅助

📋 核心要点

  1. 现有遥操作系统在精细操作任务中存在人机协作不足，用户精神负荷高的问题。
  2. HITL-D框架结合扩散模型与人类控制，自主更新末端执行器姿态，降低控制维度。
  3. 实验表明，HITL-D显著降低任务完成时间与用户工作量，提升用户主观体验。

📝 摘要（中文）

本文提出了一种人机协作扩散（HITL-D）框架，旨在提升多步骤、插入和精细操作任务中的用户性能。HITL-D创新性地结合了基于扩散模型的策略和人类控制，提供自主的末端执行器姿态更新，该更新以场景点云和末端执行器的笛卡尔位置为条件。这种方法减少了所需的操纵杆控制轴数量，从而降低了精神负荷。在包含12名参与者的多任务用户研究中，与传统遥操作方法相比，HITL-D将平均任务完成时间缩短了40%，感知工作量减少了37%，并提高了独立性、直观性和自信心的Likert量表评分。结果表明，HITL-D有效地集成了人类专业知识和自主辅助，改善了遥操作的客观和主观方面。

🔬 方法详解

问题定义：现有遥操作系统在复杂操作任务中，需要操作者同时控制多个自由度，导致操作难度大，精神负荷高。尤其是在精细操作任务中，例如插入、装配等，需要精确控制末端执行器的位置和姿态，对操作者的技能要求很高。传统遥操作方法缺乏自主辅助能力，难以有效利用AI技术来降低操作难度。

核心思路：HITL-D的核心思路是将扩散模型融入人机协作控制环路中，利用扩散模型学习到的操作策略，自主地对末端执行器的姿态进行优化。操作者主要负责控制末端执行器的位置，而姿态的精细调整则由扩散模型辅助完成。这样可以降低操作者需要控制的自由度，从而降低精神负荷。

技术框架：HITL-D框架包含以下主要模块：1) 人类操作者通过操纵杆输入位置控制指令；2) 扩散模型接收场景点云和末端执行器的笛卡尔位置作为输入，预测末端执行器的姿态更新；3) 系统将人类的位置控制指令和扩散模型的姿态更新进行融合，控制机械臂的运动；4) 操作者观察机械臂的运动，并根据任务需求调整控制指令。整个过程形成一个闭环控制系统，人类操作者和扩散模型协同完成操作任务。

关键创新：HITL-D的关键创新在于将扩散模型应用于人机协作遥操作中，实现了自主的末端执行器姿态优化。与传统的遥操作方法相比，HITL-D能够有效地降低操作者需要控制的自由度，从而降低精神负荷。此外，HITL-D还能够利用扩散模型学习到的操作策略，提高操作的精度和效率。

关键设计：扩散模型以场景点云和末端执行器的笛卡尔位置为条件，预测末端执行器的姿态更新。具体的网络结构和损失函数细节未知。框架的关键在于如何有效地融合人类的位置控制指令和扩散模型的姿态更新。具体融合方法未知。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

用户研究表明，与传统遥操作方法相比，HITL-D将平均任务完成时间缩短了40%，感知工作量减少了37%，并提高了独立性、直观性和自信心的Likert量表评分。这些结果表明，HITL-D能够有效地提高遥操作的性能和用户体验。

🎯 应用场景

HITL-D框架可应用于各种需要精细操作的遥操作场景，例如：医疗手术机器人、太空机器人、核电站维护机器人等。该框架能够降低操作难度，提高操作效率，并降低操作者的精神负荷。未来，该技术有望进一步发展，实现更高级别的人机协作，例如：自主任务规划、智能故障诊断等。

📄 摘要（原文）

Autonomous manipulation systems have achieved remarkable capabilities, yet the integration of human expertise with diffusion-based policies in shared control remains relatively unexplored. In this paper, we propose Human-In-The-Loop Diffusion (HITL-D), a shared control framework that enhances user performance in multi-step, insertion, and fine manipulation tasks. HITL-D leverages a novel combination of diffusion-based policies and human control to provide autonomous end effector orientation updates conditioned on a scene point cloud and the Cartesian position of the end effector. This approach reduces the number of joystick control axes required, thereby lowering mental workload. In a multi-task user study with 12 participants, HITL-D reduced average task completion times by 40%, decreased perceived workload by 37%, and improved Likert-scale ratings for independence, intuitiveness, and confidence compared to traditional teleoperation methods. These results demonstrate that HITL-D effectively integrates human expertise with autonomous assistance, improving both objective and subjective aspects of teleoperation.