Catch Me If You Can: Real-Time Feedback Denoising for Responsive VLAs

📄 arXiv: 2609.21022v1 📥 PDF

作者: Yiheng Ji, Xingru Zhou, Luis Sentis, Mingyo Seo

分类: cs.RO

发布日期: 2026-09-17

备注: 10th Conference on Robot Learning (CoRL 2026), Austin TX, USA

💡 一句话要点

提出VLA-Feedback以解决动态场景下的实时反馈去噪问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉-语言-动作 机器人操控 实时反馈 扩散模型 动态场景

📋 核心要点

  1. 现有的基于扩散的动作生成方法在动态场景中响应能力不足，无法实时调整动作。
  2. VLA-Feedback通过结合低频扩散规划与高频视觉反馈，允许在执行前根据最新观察修正动作。
  3. 实验结果显示，VLA-Feedback在动态任务中的成功率显著提升，表明其有效性和实用性。

📝 摘要（中文）

视觉-语言-动作（VLA）模型通过结合预训练的视觉-语言模型的语义知识与表达丰富的动作生成策略，在机器人操控中展现出强大的泛化能力。然而，基于扩散的动作生成器通常在推理后以开放环路执行动作块，这限制了在物体移动、接触变化或场景演变时的响应能力。为此，本文提出了VLA-Feedback，这是一种结合低频扩散规划与高频视觉反馈的双时间尺度架构。VLA-Feedback保留了动作块的最终去噪步骤作为轻量级反馈接口，使每个动作在执行前能够根据最新观察进行修正。该设计在保持扩散规划表达能力的同时，实现了实时动作修正，而无需重新运行完整的视觉-语言扩散模型。实验结果表明，VLA-Feedback在静态LIBERO任务上与GR00T相匹配，而在动态仿真任务上的平均成功率从27.5%提升至85.0%，在真实机器人任务中的平均成功率从51%提升至73%。

🔬 方法详解

问题定义：本文旨在解决现有视觉-语言-动作（VLA）模型在动态环境中执行动作时的响应性不足问题。现有方法通常在推理后以开放环路执行动作块，无法适应物体移动或场景变化。

核心思路：VLA-Feedback的核心思想是通过保留动作块的最终去噪步骤作为反馈接口，使得每个动作在执行前能够根据最新的视觉观察进行实时修正。这种设计允许在不重新运行完整模型的情况下，快速调整动作。

技术框架：VLA-Feedback采用双时间尺度架构，低频扩散规划负责生成动作块，而高频视觉反馈则用于实时修正。整体流程包括动作生成、反馈修正和执行三个主要模块。

关键创新：VLA-Feedback的主要创新在于其反馈机制，允许在执行前基于最新观察进行动作调整，这与传统的开放环路执行方式形成了显著对比。

关键设计：在设计中，VLA-Feedback使用了轻量级的反馈接口，确保了实时性。此外，模型的损失函数和网络结构经过优化，以平衡去噪效果与执行效率。通过这种设计，模型能够在动态环境中保持高效的响应能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，VLA-Feedback在静态LIBERO任务上与GR00T的表现相当，而在动态仿真任务中的平均成功率从27.5%提升至85.0%，在真实机器人任务中的成功率从51%提升至73%。这些结果展示了该方法在动态环境中的显著优势。

🎯 应用场景

该研究的潜在应用领域包括机器人操控、自动化生产线和智能家居系统等。通过提升机器人在动态环境中的适应能力，VLA-Feedback能够显著提高机器人在复杂任务中的表现，具有重要的实际价值和未来影响。

📄 摘要（原文）

Vision-Language-Action (VLA) models have shown strong generalization in robotic manipulation by combining semantic knowledge from pretrained vision-language models with expressive action-generation policies. Diffusion-based action generators are particularly effective for modeling temporally coherent action chunks, but these chunks are typically executed open-loop after inference. This limits responsiveness when objects move, contacts change, or the scene evolves during execution. We propose VLA-Feedback, a two-timescale architecture that combines low-frequency diffusion planning with high-frequency visual feedback. Rather than fully denoising an action chunk before execution, VLA-Feedback retains its final denoising step as a lightweight feedback interface, allowing each action to be corrected using the latest observation before it is executed. This design preserves the expressiveness of the diffusion planner while enabling real-time action correction without rerunning the full vision-language diffusion model. VLA-Feedback matched GR00T on static LIBERO tasks while improving average success on dynamic simulation tasks from 27.5% to 85.0%. On real-robot tasks, it improved average success from 51% to 73%. Additional materials can be found on our project page: https://vla-feedback.github.io.