HiRT: Enhancing Robotic Control with Hierarchical Robot Transformers
作者: Jianke Zhang, Yanjiang Guo, Xiaoyu Chen, Yen-Jen Wang, Yucheng Hu, Chengming Shi, Jianyu Chen
分类: cs.CV, cs.AI, cs.RO
发布日期: 2024-09-12 (更新: 2025-02-03)
备注: Accepted to CORL 2024
💡 一句话要点
HiRT：利用分层机器人Transformer增强机器人控制，实现动态任务中的实时交互。
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 机器人控制 分层Transformer 视觉-语言-动作模型 实时交互 动态操作 预训练模型 机器人学习
📋 核心要点
- 现有VLA模型依赖大型VLM，计算成本高、推理延迟大，难以应用于需要快速交互的动态机器人控制任务。
- HiRT采用分层Transformer结构，VLM低频运行提取特征，高频视觉策略实现实时控制，兼顾性能与效率。
- 实验表明，HiRT在静态任务中控制频率翻倍且成功率相当，在动态操作任务中成功率从48%提升至75%。
📝 摘要（中文）
大型视觉-语言-动作(VLA)模型，受益于强大的预训练视觉-语言模型(VLM)后端，在机器人控制中展现出良好的泛化能力。然而，这种成功是以高昂的代价换来的。它们对具有数十亿参数的VLM后端的依赖导致了高计算成本和推理延迟，限制了测试场景主要为准静态任务，并阻碍了在需要快速交互的动态任务中的性能。为了解决这些限制，本文提出了HiRT，一个分层机器人Transformer框架，可以实现灵活的频率和性能权衡。HiRT保持VLM以低频率运行，以捕获暂时不变的特征，同时通过由缓慢更新的特征引导的高频视觉策略实现实时交互。在模拟和真实环境中的实验结果表明，相对于基线方法有显著的改进。经验表明，在静态任务中，我们将控制频率提高了一倍，并实现了相当的成功率。此外，在以前的VLA模型难以处理的新型真实动态操作任务中，HiRT将成功率从48%提高到75%。
🔬 方法详解
问题定义：现有基于VLA模型的机器人控制方法，尤其是依赖大型预训练VLM的模型，在动态任务中面临计算资源和推理速度的瓶颈。这些模型通常需要大量的计算资源，导致响应延迟，无法满足动态环境中实时交互的需求。因此，如何在保证控制性能的同时，降低计算成本和延迟，是本文要解决的关键问题。
核心思路：HiRT的核心思路是采用分层结构，将视觉信息的处理分为高低两个频率的通道。低频通道利用VLM提取全局的、时间上相对稳定的特征，高频通道则基于这些低频特征，通过一个轻量级的视觉策略网络实现快速的动作决策。这种分层结构允许VLM以较低的频率运行，从而降低计算成本，同时保证高频控制策略能够快速响应环境变化。
技术框架：HiRT框架包含两个主要模块：低频VLM特征提取模块和高频视觉策略模块。VLM模块接收视觉输入，提取场景的语义信息和长期依赖关系，并以较低的频率更新。视觉策略模块接收当前的视觉输入和VLM模块提取的特征，通过一个Transformer网络学习从视觉信息到动作的映射，并以较高的频率输出控制指令。这两个模块协同工作，共同完成机器人控制任务。
关键创新：HiRT的关键创新在于其分层结构，它将VLM的强大表示能力与轻量级控制策略的实时性相结合。与传统的VLA模型相比，HiRT不需要VLM以高频率运行，从而显著降低了计算成本和延迟。此外，HiRT的分层结构也使得模型更容易学习和泛化，因为它将复杂的控制问题分解为两个相对简单的子问题。
关键设计：HiRT的关键设计包括：(1) VLM的选择：论文中使用了预训练的VLM作为低频特征提取器，具体选择取决于任务需求。(2) 高频视觉策略网络结构：通常采用轻量级的Transformer结构，以保证推理速度。(3) 损失函数的设计：损失函数通常包括模仿学习损失和强化学习损失，用于训练视觉策略网络。(4) 频率设置：需要根据具体任务调整VLM和视觉策略网络的运行频率，以达到最佳的性能和效率平衡。
🖼️ 关键图片
📊 实验亮点
HiRT在静态任务中将控制频率提高了一倍，同时保持了与基线方法相当的成功率。在更具挑战性的动态操作任务中，HiRT的成功率从48%显著提升至75%，表明其在处理需要快速响应和复杂交互的场景中具有显著优势。这些实验结果验证了HiRT分层结构的有效性，并证明了其在实际机器人控制应用中的潜力。
🎯 应用场景
HiRT具有广泛的应用前景，可应用于各种需要实时交互的机器人控制任务，例如高速抓取、动态避障、人机协作等。该研究成果有助于推动机器人技术在工业自动化、智能家居、医疗健康等领域的应用，并为开发更智能、更高效的机器人系统提供新的思路。
📄 摘要（原文）
Large Vision-Language-Action (VLA) models, leveraging powerful pre trained Vision-Language Models (VLMs) backends, have shown promise in robotic control due to their impressive generalization ability. However, the success comes at a cost. Their reliance on VLM backends with billions of parameters leads to high computational costs and inference latency, limiting the testing scenarios to mainly quasi-static tasks and hindering performance in dynamic tasks requiring rapid interactions. To address these limitations, this paper proposes HiRT, a Hierarchical Robot Transformer framework that enables flexible frequency and performance trade-off. HiRT keeps VLMs running at low frequencies to capture temporarily invariant features while enabling real-time interaction through a high-frequency vision-based policy guided by the slowly updated features. Experiment results in both simulation and real-world settings demonstrate significant improvements over baseline methods. Empirically, in static tasks, we double the control frequency and achieve comparable success rates. Additionally, on novel real-world dynamic ma nipulation tasks which are challenging for previous VLA models, HiRT improves the success rate from 48% to 75%.