Reinforcement Learning for Real-Time Vision-Language-Action Policies
作者: Perry Dong, Kuo-Han Hung, Dorsa Sadigh, Chelsea Finn
分类: cs.RO, cs.LG
发布日期: 2026-09-16
🔗 代码/项目: PROJECT_PAGE
💡 一句话要点
提出实时强化学习框架以解决视觉-语言-动作模型延迟问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 强化学习 视觉-语言-动作 实时控制 机器人操作 动态环境 样本效率 决策优化
📋 核心要点
- 现有的视觉-语言-动作模型在高推理延迟下，导致选择动作时的观察信息过时，影响了机器人操作的可靠性和性能。
- 本文提出了一种实时EXPO-FT框架，通过强化学习微调，结合大型预训练模型的动作生成与轻量级编辑策略，实现快速反应。
- 在Kinetix基准测试中，实时EXPO-FT在10个环境中均实现了最佳性能，且在四个动态任务中将平均政策性能从42%提升至97%。
📝 摘要（中文）
强化学习微调大型预训练的视觉-语言-动作（VLA）模型为可靠的机器人部署提供了希望。然而，由于其规模，现代VLA模型面临高推理延迟的问题，导致用于选择动作的观察在执行时往往过时，从而造成分布偏移，显著降低可靠性和性能。本文提出了一种实时EXPO-FT框架，通过将缓慢的、表达丰富的动作生成与快速的、反应灵敏的动作编辑解耦，满足动态现实操作的实时控制要求。实验表明，该方法在Kinetix基准测试中表现优异，并在四个动态现实任务中显著提升了机器人政策的平均性能。
🔬 方法详解
问题定义：本文旨在解决大型视觉-语言-动作模型在实时控制中的高推理延迟问题。现有方法主要依赖模仿学习，缺乏有效的机制来超越训练分布，导致可靠性不足。
核心思路：论文提出的实时EXPO-FT框架，通过强化学习微调，解耦缓慢的动作生成与快速的动作编辑，以适应动态环境中的实时控制需求。这样设计的目的是提高系统的反应速度和适应性。
技术框架：整体架构包括两个主要模块：一个大型预训练的VLA模型用于生成动作块，另一个轻量级的编辑策略根据最新观察快速调整动作。该框架支持在动态环境中进行高效的实时决策。
关键创新：最重要的技术创新在于将动作生成与编辑过程分离，使得系统能够在延迟情况下仍然保持高效的决策能力。这一设计与传统的模仿学习方法有本质区别。
关键设计：在技术细节上，框架采用了特定的损失函数来优化编辑策略，并通过在线数据训练实现快速适应，确保在10分钟内完成动态任务的学习。
🖼️ 关键图片
📊 实验亮点
实验结果显示，实时EXPO-FT在Kinetix基准测试中，在10个环境中均实现最佳性能，并在四个动态任务中将平均政策性能从42%提升至97%。这一显著提升展示了该方法在动态环境中的快速适应能力，且无需人工干预。
🎯 应用场景
该研究的潜在应用领域包括机器人操作、自动化制造、智能家居等场景，能够显著提升机器人在动态环境中的自主决策能力和适应性。未来，该技术可能在更广泛的机器人任务中实现实时高效的操作，推动智能机器人技术的发展。
📄 摘要（原文）
Reinforcement learning fine-tuning on top of large, pretrained Vision-Language-Action (VLA) models offers promise for highly reliable robot deployment. However, because of their scale, modern VLA models suffer from high inference latency, so the observation used to select an action is often stale by execution time, creating a distribution shift that can substantially degrade reliability and performance. Prior work has explored asynchronous policy execution to reduce the effect of latency, but these methods are mostly built on imitation learning and offer no mechanism for moving beyond the training distribution toward higher reliability. We close this gap by enabling RL fine-tuning that meets the real-time control requirements of dynamic real-world manipulation. Our approach builds on EXPO-FT, a framework for sample-efficient, reliable VLA fine-tuning with reinforcement learning, and decouples slow, expressive action generation from fast, reactive action edits: a large pretrained VLA proposes action chunks using its strong behavior prior, while a lightweight edit policy performs fast, reactive decision-making by editing actions in response to changes in state, conditioned on the latest observation. We instantiate this as Real-Time EXPO-FT, an RL framework for finetuning real-time VLA policies. On the Kinetix benchmark, Real-Time EXPO-FT enables a delayed policy to achieve the best performance among delayed and non-delayed methods in 10 out of 10 environments. On four dynamic real-world tasks, robot object passing, ball balancing, table soccer kicking, and dynamic object picking, with online robot data capped at 10 minutes, Real-Time EXPO-FT improves average policy performance from 42% to 97%, all without human intervention, demonstrating rapid, sample-efficient adaptation to challenging real-world dynamics. Website: https://pd-perry.github.io/real-time-expo-ft