AlphaNIST: Emergent Assembly Skills from Binary Task Rewards
作者: Octi Zhang, Iretiayo Akinola, Rosario Scalise, Mateo Guaman Castro, Patrick Yin, Tobias Widmer, Miles Macklin, Chris Amevor, Dylan Turpin, Dirk Van Gelder, Jan Carius, Ankur Handa, Gavriel State, Yunrong Guo, Yashraj Narang
分类: cs.AI, cs.RO
发布日期: 2026-10-09
备注: 8 pages, 9 figures, ICRA
💡 一句话要点
提出AlphaNIST以解决机器人组装任务中的稀疏奖励问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control)
关键词: 机器人组装 强化学习 稀疏奖励 自主学习 任务多样性 策略网络 智能制造
📋 核心要点
- 现有的机器人组装方法在面对复杂的组装任务时，往往依赖于演示和密集奖励，限制了策略的灵活性和自主性。
- 论文提出了一种基于稀疏二元任务奖励的训练框架，使机器人能够在没有明确指导的情况下自主学习组装技能。
- 实验结果显示，所提方法在20个组装任务上达到了98.2%的成功率，且能够在单一回合内完成多个组装对，展现出优越的灵活性和效率。
📝 摘要（中文）
NIST组装任务板#1是机器人操控领域的一个挑战性基准，要求在短时间内对小型紧密配合部件进行精确控制，并在长时间内实现恢复和协调。尽管现有方法通过演示、任务分解和密集进展奖励取得了一定进展，但仍然存在对策略指定程度的疑问。AlphaNIST探讨了稀疏二元任务奖励和任务多样性是否能让机器人自主发现组装策略。在模拟中，我们从零开始训练一个策略，覆盖所有20个组装任务，最终实现98.2%的整体训练成功率，无需演示、进展塑造或每个任务的调优。该框架还训练策略在单一回合内完成十对组装，无需规定顺序，只有在所有十对同时完成时才给予奖励。学习到的策略展现出灵巧和规划行为，能够选择抓取、利用周围几何体重新定向部件等。
🔬 方法详解
问题定义：本论文旨在解决机器人在复杂组装任务中对策略指定程度的依赖问题。现有方法通常需要演示和密集奖励，限制了机器人的自主学习能力。
核心思路：论文提出通过稀疏二元任务奖励和任务多样性，允许机器人在没有明确指导的情况下自主发现组装策略。这种方法借鉴了AlphaGo Zero的成功经验，强调了强化学习的潜力。
技术框架：整体架构包括一个统一的策略网络，该网络在模拟环境中训练，覆盖所有20个组装任务。训练过程中不需要演示或任务特定的调优，策略通过稀疏奖励进行优化。
关键创新：最重要的技术创新在于使用稀疏二元奖励机制，使机器人能够在多样化的任务中自主学习，而不是依赖于具体的任务指导。这一方法与传统的密集奖励方法形成鲜明对比。
关键设计：在训练过程中，采用了统一的策略网络结构，损失函数设计为适应稀疏奖励的特性。此外，策略网络能够处理多个任务的组合，允许机器人在单一回合内完成多个组装对，提升了学习效率。
🖼️ 关键图片
📊 实验亮点
实验结果表明，所提方法在20个组装任务上达到了98.2%的成功率，显著高于传统方法。此外，机器人能够在单一回合内完成十对组装，展现出灵活的策略选择和高效的任务执行能力。
🎯 应用场景
该研究的潜在应用领域包括自动化制造、智能家居组装和机器人助手等。通过自主学习的组装技能，机器人能够在复杂环境中高效完成任务，降低人力成本，并提高生产灵活性。未来，这种方法可能推动更广泛的机器人自主操作能力的发展。
📄 摘要（原文）
The NIST Assembly Task Board #1 remains a challenging benchmark for learning-based methods in robotic manipulation. Over short horizons, it demands precise, contact-rich control of small, tight-fitting parts. Over long horizons, it requires recovery and coordination across extended action sequences. Demonstrations, task decomposition, and dense progress rewards have enabled research advances by providing guidance on how to assemble. But how much of the strategy must be specified? The progression from AlphaGo to AlphaGo Zero showed that RL at scale can discover superhuman strategies without prescribing how to win. AlphaNIST asks whether a sparse binary task reward and task diversity admitted by this task-agnostic reward can similarly let a robot discover how to assemble. In simulation, we train a single policy from scratch across all 20 assembly tasks on the NIST Assembly Task Board #1, reaching 98.2% overall training success without demonstrations, progress shaping, scripted primitives, or per-task tuning. The framework also trains policies to complete ten assembly pairs in a single episode without a prescribed order, with task success rewarded only when all ten pairs are simultaneously complete. The learned policies discover dexterous and planning-like behaviors: choosing grasps for later assembly, using surrounding geometry to reorient parts, and preparing one part, assembling another, then returning to finish the first without an explicit planner. For videos, see our website: https://alpha-nist.github.io/