ChunkVLA-AM: Parallel Action Chunking for Vision-Language-Action Robot Control in Additive Manufacturing
作者: Zhugang Liu, Kaichuang Zhang, Jinman Zhang, Pu Sun, Martha Asare, Jose Hernandez, Maxim Ermolinsky, Efren Saenz, Qi Lu, Jinghao Yang
分类: cs.RO
发布日期: 2026-10-01
💡 一句话要点
提出ChunkVLA-AM以解决增材制造中的视觉-语言-动作机器人控制问题
🎯 匹配领域: 支柱九:具身大模型 (Embodied Foundation Models)
关键词: 视觉-语言-动作 增材制造 机器人控制 数据管道 块状动作预测 云边架构 实时反馈
📋 核心要点
- 现有的视觉-语言-动作模型在增材制造中的应用面临高适配成本和环境变化导致性能下降的挑战。
- 本文提出了一种数据管道,将真实世界的单目演示转换为适配FR3机器人的数据集,并实现了基于块的动作预测。
- 在42次物体转移试验中,系统成功率达到92.9%,显示出良好的适应性和稳定性。
📝 摘要(中文)
视觉-语言-动作(VLA)模型将视觉感知、语言理解和动作生成统一,为增材制造(AM)中的自动化提供了新机遇。然而,由于将这些模型适配到未见的机器人形态成本高昂,且在环境变化下性能可能下降,部署面临挑战。本文提出了一种在固定AM工作单元中将OpenVLA-OFT部署到FAIRINO FR3机器人的框架。数据管道将单目真实世界演示转换为OpenVLA兼容的TFDS/RLDS数据集,以支持对FR3形态的适配。在运行时,每个推理请求预测一个包含7维动作的八步块。FR3在捕获新观察之前以开放环路执行每个块,实现块间的闭环反馈。该系统采用云边架构,FR3客户端通过FastAPI接口将观察结果流式传输到远程推理服务器。在42次物体转移试验中,系统成功率达到92.9%。
🔬 方法详解
问题定义:本文旨在解决视觉-语言-动作模型在增材制造中的应用难题,尤其是高适配成本和环境变化导致的性能下降问题。现有方法在面对未见机器人形态时,往往难以有效部署。
核心思路:提出了一种新的框架,通过数据管道将单目演示转换为适配特定机器人的数据集,并采用块状动作预测来提高系统的实时性和反馈能力。
技术框架:整体架构包括数据收集、数据转换、模型推理和执行四个主要模块。数据管道负责将真实世界演示转化为TFDS/RLDS格式,推理模块则基于OpenVLA-OFT进行动作预测。
关键创新:最重要的创新在于采用块状动作预测和云边架构的结合,允许机器人在执行过程中进行实时反馈,从而提高了系统的适应性和执行效率。
关键设计:系统设计中,采用了开放环路执行每个动作块,并在每次执行后捕获新的观察数据。此外,实验中确定了最佳的光照范围,以降低空间误差,优化了物体放置的成功率。
🖼️ 关键图片
📊 实验亮点
在42次物体转移试验中,系统成功率达到92.9%,显示出较高的稳定性和适应性。所有失败均发生在最终放置阶段,提示需进一步优化释放高度控制。
🎯 应用场景
该研究的潜在应用领域包括增材制造、智能机器人控制和自动化生产线。通过提高机器人在复杂环境中的适应能力,能够显著提升生产效率和产品质量,具有重要的实际价值和广泛的未来影响。
📄 摘要(原文)
Vision-language-action (VLA) models unify visual perception, language understanding, and action generation, offering new opportunities for automation in additive manufacturing (AM). However, deployment in AM remains challenging because adapting these models to unseen robot embodiments is costly, and performance can degrade under environment changes. In this work, we present a framework for deploying OpenVLA-OFT on a FAIRINO FR3 robot in a fixed AM workcell. A data pipeline converts monocular real-world demonstrations into OpenVLA-compatible TFDS/RLDS datasets to support adaptation to the FR3 embodiment. At runtime, each inference request predicts an eight-step chunk of 7-D actions. The FR3 executes each chunk open loop before capturing a new observation, providing closed-loop feedback between chunks. The system uses a cloud-edge architecture in which the FR3 client streams observations to a remote inference server through a FastAPI interface. In 42 physical A-to-B object-transfer trials, evenly split between red and blue targets, the system succeeded in 39 (92.9%). All three failures occurred during final placement, when insufficient release-height control caused the object to topple. An illumination sweep identified a low-error luminance range of 85-125 on a 0-255 scale, with the lowest mean spatial error at 95.