D-VLA: A High-Concurrency Distributed Asynchronous Reinforcement Learning Framework for Vision-Language-Action Models

📄 arXiv: 2605.13276v1 📥 PDF

作者: Yucheng Guo, Yongjian Guo, Zhong Guan, Wen Huang, Haoran Sun, Haodong Yue, Xiaolong Xiang, Shuai Di, Zhen Sun, Luqiao Wang, Junwu Xiong, Yicheng Gong

分类: cs.AI, cs.RO

发布日期: 2026-05-13

💡 一句话要点

D-VLA：用于视觉-语言-动作模型的高并发分布式异步强化学习框架

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 分布式强化学习 视觉-语言-动作模型 具身智能 异步并行 平面解耦 VRAM管理 高并发 大规模训练

📋 核心要点

  1. 现有VLA模型在分布式强化学习中面临资源冲突，高保真模拟与深度学习需求相互制约，导致效率瓶颈。
  2. D-VLA通过“平面解耦”隔离训练数据和权重控制，并设计异步“泳道”流水线实现并行，提升效率。
  3. 实验表明，D-VLA在吞吐量和采样效率上显著优于主流框架，并在大规模测试中保持稳定性和线性加速。

📝 摘要（中文）

具身智能的快速发展使得视觉-语言-动作(VLA)模型在多模态感知和任务执行方面表现出色。然而，在大规模分布式环境中将强化学习(RL)应用于这些大型模型面临着严重的系统瓶颈，这主要是由于高保真物理模拟与深度学习对VRAM/带宽的密集需求之间的资源冲突。这种冲突通常导致整体吞吐量受到执行阶段效率低下的限制。为了解决这些挑战，我们提出了D-VLA，一个用于大规模具身基础模型的高并发、低延迟分布式RL框架。D-VLA引入了“平面解耦”，通过物理隔离高频训练数据和低频权重控制来消除模拟和优化之间的干扰。我们进一步设计了一个四线程异步“泳道”流水线，实现了采样、推理、梯度计算和参数分发的完全并行重叠。此外，双池VRAM管理模型和拓扑感知复制解决了内存碎片问题并优化了通信效率。在LIBERO等基准测试上的实验表明，D-VLA在十亿参数VLA模型的吞吐量和采样效率方面显著优于主流RL框架。在万亿参数可扩展性测试中，我们的框架保持了卓越的稳定性和线性加速，为高性能通用具身智能体提供了一个强大的系统。

🔬 方法详解

问题定义：论文旨在解决大规模分布式环境下，视觉-语言-动作(VLA)模型使用强化学习进行训练时遇到的系统瓶颈问题。现有方法的主要痛点在于，高保真物理模拟产生大量训练数据，同时深度学习模型需要大量的VRAM和带宽，两者之间存在严重的资源竞争，导致整体训练效率低下。尤其是在执行阶段，这种资源冲突会显著降低吞吐量。

核心思路：D-VLA的核心思路是通过解耦训练数据和权重控制，以及采用异步并行流水线来解决资源冲突问题。具体来说，通过“平面解耦”将高频训练数据和低频权重控制在物理上隔离，避免模拟和优化过程相互干扰。同时，利用异步“泳道”流水线，将采样、推理、梯度计算和参数分发等步骤并行执行，充分利用计算资源。

技术框架：D-VLA的整体架构是一个分布式异步强化学习框架，包含以下主要模块：1) 环境模拟器：负责生成训练数据。2) 数据平面：存储和传输高频训练数据。3) 权重平面：存储和更新低频模型权重。4) 异步“泳道”流水线：包含采样线程、推理线程、梯度计算线程和参数分发线程，实现并行执行。5) VRAM管理模块：采用双池VRAM管理模型，优化内存使用。6) 通信模块：采用拓扑感知复制，优化通信效率。

关键创新：D-VLA最重要的技术创新点在于“平面解耦”和异步“泳道”流水线的设计。“平面解耦”通过物理隔离高频数据和低频权重，消除了模拟和优化之间的干扰，提高了资源利用率。异步“泳道”流水线则实现了采样、推理、梯度计算和参数分发的完全并行重叠，显著提升了训练速度。与现有方法的本质区别在于，D-VLA更加注重解决分布式环境下的资源冲突问题，通过精细的系统设计来实现高性能。

关键设计：D-VLA的关键设计包括：1) 平面解耦的具体实现方式：例如，使用独立的服务器集群分别负责环境模拟和模型训练。2) 异步“泳道”流水线的线程调度策略：如何保证各个线程之间的同步和数据一致性。3) 双池VRAM管理模型的具体策略：如何动态分配和回收VRAM，避免内存碎片。4) 拓扑感知复制的通信策略：如何根据网络拓扑结构优化数据传输路径。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

D-VLA在LIBERO等基准测试中，显著优于主流RL框架，提升了VLA模型的吞吐量和采样效率。在十亿参数模型的实验中，D-VLA表现出卓越的性能。更重要的是，在万亿参数规模的可扩展性测试中，D-VLA框架保持了出色的稳定性和线性加速，证明了其在大规模模型训练方面的潜力。

🎯 应用场景

D-VLA框架适用于需要大规模分布式强化学习的具身智能应用，例如机器人导航、自动驾驶、游戏AI等。该框架能够有效提升训练效率，加速VLA模型的开发和部署，从而推动通用具身智能体的研究和应用。未来，D-VLA有望应用于更广泛的AI领域，例如多模态对话系统、智能助手等。

📄 摘要（原文）

The rapid evolution of Embodied AI has enabled Vision-Language-Action (VLA) models to excel in multimodal perception and task execution. However, applying Reinforcement Learning (RL) to these massive models in large-scale distributed environments faces severe systemic bottlenecks, primarily due to the resource conflict between high-fidelity physical simulation and the intensive VRAM/bandwidth demands of deep learning. This conflict often leaves overall throughput constrained by execution-phase inefficiencies. To address these challenges, we propose D-VLA, a high-concurrency, low-latency distributed RL framework for large-scale embodied foundation models. D-VLA introduces "Plane Decoupling," physically isolating high-frequency training data from low-frequency weight control to eliminate interference between simulation and optimization. We further design a four-thread asynchronous "Swimlane" pipeline, enabling full parallel overlap of sampling, inference, gradient computation, and parameter distribution. Additionally, a dual-pool VRAM management model and topology-aware replication resolve memory fragmentation and optimize communication efficiency. Experiments on benchmarks like LIBERO show that D-VLA significantly outperforms mainstream RL frameworks in throughput and sampling efficiency for billion-parameter VLA models. In trillion-parameter scalability tests, our framework maintains exceptional stability and linear speedup, providing a robust system for high-performance general-purpose embodied agents.