FAR-Dex: Few-shot Data Augmentation and Adaptive Residual Policy Refinement for Dexterous Manipulation

📄 arXiv: 2603.10451v1 📥 PDF

作者: Yushan Bai, Fulin Chen, Hongzheng Sun, Yuchuang Tong, En Li, Zhengtao Zhang

分类: cs.RO, cs.AI

发布日期: 2026-03-11

备注: Accepted to IEEE International Conference on Robotics and Automation (ICRA) 2026

💡 一句话要点

FAR-Dex：基于少量数据增强和自适应残差策略优化的灵巧操作框架

🎯 匹配领域: 支柱一：机器人控制 (Robot Control)

关键词: 灵巧操作 少量学习 数据增强 残差学习 机器人控制

📋 核心要点

  1. 灵巧操作面临高质量演示数据稀缺和高维动作空间复杂性的挑战，阻碍了机器人达到人类水平的操控能力。
  2. FAR-Dex通过少量数据增强生成多样化的训练数据，并利用自适应残差模块优化策略，提升操作的准确性和鲁棒性。
  3. 实验结果表明，FAR-Dex在模拟和真实环境中均优于现有技术，并在真实场景中实现了超过80%的成功率。

📝 摘要（中文）

本文提出FAR-Dex，一个分层框架，它结合了少量样本数据增强和自适应残差优化，以实现灵巧操作中稳健而精确的机械臂-手部协调。首先，FAR-DexGen利用IsaacLab模拟器从少量演示中生成多样且受物理约束的轨迹，为策略训练提供数据基础。其次，FAR-DexRes引入了一个自适应残差模块，通过将多步轨迹片段与观察特征相结合来优化策略，从而提高操作场景中的准确性和鲁棒性。在模拟和真实世界的实验表明，FAR-Dex将数据质量提高了13.4%，任务成功率提高了7%，优于现有方法。它进一步在真实世界任务中实现了超过80%的成功率，从而实现了具有强大位置泛化能力的精细灵巧操作。

🔬 方法详解

问题定义：论文旨在解决机器人灵巧操作中，由于高质量演示数据不足和高维动作空间带来的策略学习困难问题。现有方法通常依赖大量人工标注数据或复杂的强化学习算法，前者成本高昂，后者训练不稳定且泛化能力有限。因此，如何利用少量数据训练出鲁棒且精确的灵巧操作策略是一个关键挑战。

核心思路：FAR-Dex的核心思路是，首先通过数据增强技术，从少量演示数据中生成多样化的训练样本，扩大数据规模并提升数据质量。然后，利用自适应残差学习，在现有策略的基础上进行微调，从而提高策略的精度和鲁棒性。这种结合数据增强和策略优化的方法，能够在数据稀缺的情况下，有效地提升灵巧操作的性能。

技术框架：FAR-Dex框架包含两个主要模块：FAR-DexGen和FAR-DexRes。FAR-DexGen负责数据增强，利用IsaacLab模拟器，从少量人工演示中生成满足物理约束的轨迹数据。FAR-DexRes负责策略优化，通过一个自适应残差模块，将多步轨迹片段与观察特征相结合，对现有策略进行微调，从而提高策略的准确性和鲁棒性。整个流程是先通过FAR-DexGen生成训练数据，然后利用这些数据训练初始策略，最后通过FAR-DexRes进行策略优化。

关键创新：FAR-Dex的关键创新在于其结合了少量数据增强和自适应残差策略优化。与传统的依赖大量数据的训练方法不同，FAR-Dex能够在数据稀缺的情况下，有效地提升灵巧操作的性能。自适应残差模块能够根据当前状态动态调整残差策略，从而提高策略的鲁棒性和泛化能力。

关键设计：FAR-DexGen利用IsaacLab模拟器，通过随机化环境参数（如物体位置、摩擦系数等）和动作噪声，生成多样化的训练数据。FAR-DexRes中的自适应残差模块采用了一个神经网络结构，输入为当前状态的观察特征和多步轨迹片段，输出为残差动作。损失函数包括模仿学习损失和正则化项，用于约束残差动作的大小，防止过度优化。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，FAR-Dex在数据质量上比现有方法提高了13.4%，任务成功率提高了7%。在真实世界任务中，FAR-Dex实现了超过80%的成功率，证明了其在实际应用中的有效性。此外，FAR-Dex还展现了强大的位置泛化能力，能够在不同的场景中成功完成任务。

🎯 应用场景

FAR-Dex技术可应用于各种需要精细操作的机器人任务，例如：医疗手术机器人、精密装配机器人、家庭服务机器人等。该研究降低了机器人灵巧操作对大量数据的依赖，使得机器人能够更快地适应新的任务和环境，具有重要的实际应用价值和广阔的未来发展前景。

📄 摘要（原文）

Achieving human-like dexterous manipulation through the collaboration of multi-fingered hands with robotic arms remains a longstanding challenge in robotics, primarily due to the scarcity of high-quality demonstrations and the complexity of high-dimensional action spaces. To address these challenges, we propose FAR-Dex, a hierarchical framework that integrates few-shot data augmentation with adaptive residual refinement to enable robust and precise arm-hand coordination in dexterous tasks. First, FAR-DexGen leverages the IsaacLab simulator to generate diverse and physically constrained trajectories from a few demonstrations, providing a data foundation for policy training. Second, FAR-DexRes introduces an adaptive residual module that refines policies by combining multi-step trajectory segments with observation features, thereby enhancing accuracy and robustness in manipulation scenarios. Experiments in both simulation and real-world demonstrate that FAR-Dex improves data quality by 13.4% and task success rates by 7% over state-of-the-art methods. It further achieves over 80% success in real-world tasks, enabling fine-grained dexterous manipulation with strong positional generalization.