HIL-UMI: Bringing Human-in-the-Loop Post-Training of Vision-Language-Action Models to Universal Manipulation Interface

📄 arXiv: 2609.20659v1 📥 PDF

作者: Zimu Han, Yiming Zeng, Jiyao Zhang, Zihao Zhao, Yuanfei Wang, Yixiang Jin, Shiqi Li, Shuangben Chen, Wei Huang, Ruodai Li, Hui Shen, Hao Dong

分类: cs.RO, cs.AI

发布日期: 2026-09-17

💡 一句话要点

提出HIL-UMI框架以解决机器人操作中的数据适应性问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉-语言-动作 人机交互 后训练 数据收集 机器人操作 策略更新 优势估计

📋 核心要点

  1. 现有的监督微调方法在适应特定任务时，面临静态数据覆盖不足和模仿目标不够有效的问题。
  2. HIL-UMI框架通过人机交互的方式，在无机器人执行的情况下进行策略更新和数据收集，提升了适应性。
  3. 实验结果显示，HIL-UMI在长时间和精确操作任务中，性能持续优于传统的SFT方法，且数据收集效率更高。

📝 摘要（中文）

大规模的视觉-语言-动作（VLA）模型为机器人操作提供了强大的先验知识，但将其适应于特定部署仍然具有挑战性。监督微调（SFT）在任务特定演示上的应用虽然是一个进步，但面临静态数据覆盖不足和标准模仿目标无法区分有效行为等限制。HIL-UMI框架通过人机交互的后训练方法，解决了这些问题，允许在无机器人执行的情况下进行数据收集和策略更新。实验表明，HIL-UMI在多个真实任务上表现出一致的改进，且在数据收集效率上优于现有方法。

🔬 方法详解

问题定义：本论文旨在解决现有视觉-语言-动作模型在特定任务部署中的适应性不足问题，尤其是静态数据无法覆盖所有状态和模仿目标的局限性。

核心思路：HIL-UMI框架通过人机交互的方式进行后训练，允许在无机器人执行的情况下收集数据并更新策略，从而提高模型的适应性和效率。

技术框架：HIL-UMI框架包括两个主要模块：一是通过能量评分比较人类动作轨迹与策略推断，触发数据收集；二是通过在线优势预测识别关键段落，指导行为克隆。

关键创新：HIL-UMI的创新在于将人机交互与策略更新解耦，使得数据收集不再依赖于物理机器人执行，提升了灵活性和效率。

关键设计：在设计中，能量评分用于评估人类与模型预测的差异，低在线优势预测用于识别重要数据段，更新的优势估计器则用于指导行为克隆，确保数据的有效性和多样性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，HIL-UMI在四个真实任务上均表现出显著提升，相较于传统的SFT方法，性能提升幅度一致，且在Clean Up Table任务中以更低的每帧数据收集时间超越HG-DAgger，展示了其可扩展性。

🎯 应用场景

HIL-UMI框架在机器人操作、自动化制造和人机协作等领域具有广泛的应用潜力。通过提高模型的适应性和数据收集效率，该研究可以推动智能机器人在复杂环境中的应用，提升其自主学习和操作能力。

📄 摘要（原文）

Large-scale vision-language-action (VLA) models provide powerful priors for robot manipulation, yet adapting them to a specific deployment remains challenging. Supervised fine-tuning (SFT) on task-specific demonstrations provides a step toward deployment, but faces two persistent limitations: static data provide limited coverage of out-of-distribution states, and standard imitation objectives do not distinguish progressing behavior from less useful data. Interactive post-training can address these limitations, but typically requires repeated policy execution and human intervention on a physical robot. We introduce HIL-UMI, a policy-guided Universal Manipulation Interface (UMI) framework for robot-free human-in-the-loop VLA post-training. During handheld UMI demonstrations, HIL-UMI queries the current policy on the same observation stream without executing its predictions. The Energy Score compares the human action trajectory with policy inference and triggers collection when their discrepancy indicates an out-of-distribution region. In a separate feedback loop, low online advantage predictions identify essential segments for refining a progress-based advantage estimator. The updated estimator then guides advantage-conditioned behavioral cloning using a balanced mixture of base demonstrations and new policy data. This design preserves the iterative and policy-aware nature of human-in-the-loop learning while decoupling data collection from robot deployment. Experiments on four real-world tasks spanning long-horizon and precise manipulation show that HIL-UMI achieves consistent improvement over SFT and benefits from both targeted collection and advantage refinement. Moreover, HIL-UMI outperforms HG-DAgger on Clean Up Table with lower per-frame collection time, suggesting a scalable path for VLA post-training across operators and locations.