Arm-wise Compositional Generalization in Dual-Arm Vision-Language-Action Models
作者: Zaibin Zhang, Binghao Ran, Yuhan Wu, Zhongbo Zhang, Yifan Wang, Junwei Jiang, Junlan Xiao, Wangcheng Shi, Li Kang, Yiran Qin, Zhenfei Yin, Lijun Wang, Huchuan Lu
分类: cs.RO
发布日期: 2026-10-05
备注: Technical Report
💡 一句话要点
提出ACG-Bench以解决双臂协作中的技能重组问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 双臂协作 技能重组 视觉-语言-动作 机器人学习 多模态学习 基准测试 深度学习
📋 核心要点
- 现有方法在多臂协作中对技能重组能力的评估不足，缺乏对训练和架构选择的深入理解。
- 本文提出ACG-Bench基准，旨在研究双臂策略中的技能重组，包含多种任务和条件组合。
- AE-VLA模型在模拟和物理环境中均表现出显著的性能提升，分别达到21.53%和39.00%的成功率。
📝 摘要（中文）
在多臂协作中，技能的重组能力是一个重要的研究方向。现有评估方法对不同协调需求下的训练和架构选择支持能力的洞察有限。本文提出了ACG-Bench，一个用于研究双臂策略中技能重组的基准，包含23个任务-条件对，涵盖8个任务家族。通过对比不同的数据增强和架构策略，本文提出的AE-VLA在模拟环境中实现了21.53%的重组成功率，并在物理SO101机器人上达到了39.00%的成功率，显著优于现有基线。这些发现为设计能够超越固定训练例程的双臂策略提供了实证指导。
🔬 方法详解
问题定义：本文旨在解决双臂协作中技能重组的能力评估问题。现有方法在不同协调需求下的训练和架构选择对技能重组的支持能力缺乏深入分析。
核心思路：提出ACG-Bench基准，通过提供多样化的任务-条件对，研究双臂策略中技能的重组能力。采用统一的视觉-语言-动作框架，比较不同的数据增强和架构策略。
技术框架：整体架构包括任务生成、技能提示输入和策略执行三个主要模块。通过对比不同的架构选择，如技能特定的LoRA适配器和臂间注意力机制，评估其对技能重组能力的影响。
关键创新：提出AE-VLA模型，结合了技能条件参数和注意力结构的互补性，显著提升了技能重组的成功率。这一创新与现有方法在架构设计和参数选择上有本质区别。
关键设计：模型采用了臂标记分组、技能特定的LoRA适配器和臂间注意力机制，优化了参数设置和损失函数，确保在执行任务时能够满足物理里程碑和时序约束。具体的参数设置和网络结构设计在实验中经过验证。
🖼️ 关键图片
📊 实验亮点
实验结果显示，AE-VLA模型在模拟环境中实现了21.53%的技能重组成功率，而单一控制策略的成功率仅为2.94%。在物理SO101机器人上，AE-VLA在五个未见条件下达到了39.00%的平均成功率，显著高于最强基线的10.00%。
🎯 应用场景
该研究的潜在应用领域包括人机协作、机器人操作和自动化制造等。通过提升双臂协作的技能重组能力，可以在复杂任务中实现更高效的协作，推动智能机器人在实际应用中的广泛部署。未来，该方法可能对智能家居、医疗辅助和工业自动化等领域产生深远影响。
📄 摘要（原文）
Generalization in multi-arm collaboration can be studied as composing familiar atomic skills in new ways across arms. However, existing evaluations offer limited insight into which training and architectural choices support this ability under different coordination requirements. We introduce \textbf{ACG-Bench}, a benchmark for \emph{Arm-wise Compositional Generalization} that provides a common testbed for studying skill recomposition in dual-arm policies. It contains 23 task--condition pairs across 8 task families, with 6 in-domain conditions and 17 unseen compositions covering reordering, synchronization, their combination, and cross-task composition. All methods receive the same per-arm atomic prompts, and success requires achieving the task goal while satisfying physical milestones and specified order or timing constraints. Using $π_{0.5}$ as a common vision-language-action backbone, we compare representative data-augmentation and architectural strategies with shared source data and a common evaluation protocol. Our architectural study examines arm-token grouping, skill-specific LoRA adapters (SkillLoRA), and arm-wise attention (AWA), highlighting the complementarity of skill-conditioned parameters and attention structure. Combining these choices yields \textbf{AE-VLA}, which achieves 21.53\% generalization success in simulation, compared with 2.94\% for Single $π_{0.5}$, 3.06\% for MA-VLA, and 5.53\% for two independently controlled $π_{0.5}$ policies. On physical SO101 robots, AE-VLA reaches 39.00\% mean success across five unseen conditions, compared with 10.00\% for the strongest baseline. These findings provide empirical guidance for designing dual-arm policies that generalize beyond fixed training routines.