Towards High-DoF Dexterous Manipulation through VLA Post-Training

📄 arXiv: 2609.19666v1 📥 PDF

作者: Junlei Zhu, Shenzhe Yao, Chaogui Huang, Wenkai Zhu, Jingwei Peng, Guanqi He, Soren Schwertfeger, Jiahao Chen, Yide Liu

分类: cs.RO

发布日期: 2026-09-17

备注: 29pages, 10 figures

💡 一句话要点

提出统一的后训练管道以解决高自由度灵巧操控问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 灵巧操控 后训练 视觉-语言-动作 强化学习 机器人技术 多模态学习 任务适应

📋 核心要点

  1. 现有的开源VLA模型未能提供高自由度手部的动作接口，导致灵巧手的操控适应困难。
  2. 本文提出的四步后训练管道通过学习的手部动作编码器和DAgger方法，解决了动作不连续性和样本效率低的问题。
  3. 在五个真实任务的实验中，所提出的策略在每个任务上均实现了100%的成功率，显示出显著的提升。

📝 摘要（中文）

模仿学习的视觉-语言-动作（VLA）基础模型通过跨任务和平台扩展机器人数据，获得广泛的操控能力，但在特定下游任务和硬件平台上的可靠部署仍需后训练。灵巧手的高自由度和广泛行为使得适应过程尤为复杂。本文提出一个统一的四步后训练管道，包括学习的时间手部动作编码器、监督微调、DAgger和现实世界的残差强化学习。该管道在五个不同的真实任务上评估，结果显示在每个任务的20次试验中均实现100%的成功率，为VLA基础模型在真实世界灵巧操控的可靠适应提供了实用路径。

🔬 方法详解

问题定义：本文旨在解决灵巧手在特定任务和硬件平台上的适应性问题。现有的VLA模型在高自由度手部操控上存在动作接口缺失、命令不连续性及样本效率低等痛点。

核心思路：论文提出的后训练管道通过学习的手部动作编码器将预训练的VLA模型适配为绝对的灵巧手指令，结合DAgger方法和残差强化学习，确保动作的连续性和高效性。

技术框架：整体架构包括四个主要模块：学习的时间手部动作编码器、监督微调、DAgger和现实世界的残差强化学习。每个模块在后训练过程中发挥关键作用，确保灵巧手的有效操控。

关键创新：最重要的技术创新在于提出了一个统一的后训练管道，特别是学习的手部动作编码器和DAgger方法的结合，使得高自由度手部操控的适应性显著提升。

关键设计：在设计中，采用了缓冲回滚、姿态对齐和平滑命令混合等技术细节，以确保DAgger修正的连续性和相关性，同时残差强化学习限制了探索范围，确保动作的协调性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，所提出的后训练管道在五个真实任务上均实现了100%的成功率，且每个任务的试验次数为20次，展示了显著的性能提升，提供了可靠的灵巧操控解决方案。

🎯 应用场景

该研究的潜在应用领域包括机器人操作、自动化制造、医疗手术辅助等。通过提高灵巧手的操控能力，能够在复杂环境中实现更高效的任务执行，具有重要的实际价值和未来影响。

📄 摘要（原文）

Imitation-learned vision--language--action (VLA) foundation models acquire broad manipulation capabilities by scaling robot data across tasks and embodiments, but reliable deployment on a specific downstream task and hardware platform still requires post-training. Dexterous hands make this adaptation particularly difficult: their broad behavioural repertoire and high degree of freedom create a large and structured action space. Three obstacles are central: open-source VLAs do not natively provide an action interface for high-DoF hands; gesture mismatch during human-gated DAgger takeover creates command discontinuities and contaminates corrective trajectories; and reinforcement learning in the raw joint space is sample-inefficient. We present a unified four-step post-training pipeline comprising a learned temporal hand-action codec, supervised fine-tuning, DAgger, and real-world residual reinforcement learning. The codec adapts a pretrained VLA to absolute dexterous-hand commands. Buffered rollback, pose alignment, and smooth command blending enable continuous, task-relevant DAgger corrections, while latent residual RL confines exploration to coordinated hand motions captured by the codec. We evaluate the pipeline on five diverse real-world tasks spanning bimanual transfer, in-hand reorientation, and tool use. Within the reported post-training budgets, the resulting policies achieve 100\% success on every evaluated task over 20 trials per task. These results provide a practical path for adapting VLA foundation models to reliable real-world dexterous manipulation.