ActionUNet: Improving Robustness of VLA Models with Efficient Multi-scale Fine-tuning

📄 arXiv: 2609.34982v1 📥 PDF

作者: Di Zhu, Ziheng Yan, Fang Wan

分类: cs.CV, cs.RO

发布日期: 2026-09-28

🔗 代码/项目: GITHUB

💡 一句话要点

提出ActionUNet以解决VLA模型在复杂环境中的鲁棒性问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉-语言-动作 多尺度微调 机器人操作 鲁棒性提升 条件SIREN 时间连续性 机械执行稳定性

📋 核心要点

  1. 现有的VLA模型在复杂环境中执行时，粗粒度语义与细粒度时间执行的对齐存在困难，导致泛化能力不足。
  2. ActionUNet通过构建时间U-Net和条件SIREN，采用多尺度微调策略，提升了模型的鲁棒性和执行稳定性。
  3. 在RoboTwin 2.0和LIBERO-Plus基准测试中，ActionUNet成功率分别提高了9.8%、6.1%和11.4%，显示出显著的性能提升。

📝 摘要（中文）

视觉-语言-动作（VLA）模型在机器人操作中展现出良好前景，但在粗粒度语义与细粒度时间执行之间的对齐存在挑战，导致模型在复杂环境中的泛化能力和鲁棒性不足。为此，本文提出了ActionUNet，一个高效的多尺度微调框架，旨在以最小的计算成本增强预训练的VLA模型。ActionUNet通过构建轻量级的时间U-Net，在时间对齐的动作特征空间中融合层次结构先验，有效弥合语义与时间执行之间的尺度差距。此外，采用条件SIREN作为连续动作解码器，确保时间连续性并减少高频运动抖动。实验结果表明，ActionUNet在RoboTwin 2.0和LIBERO-Plus基准测试中显著提高了成功率，验证了其有效性和高效性。

🔬 方法详解

问题定义：本文旨在解决VLA模型在复杂环境中执行时，粗粒度语义与细粒度时间执行之间的对齐问题。现有方法在多尺度建模时可能导致微观时间连续性中断，从而引发机械振荡和执行失败。

核心思路：ActionUNet的核心思路是通过构建轻量级的时间U-Net和条件SIREN解码器，来实现多尺度特征的有效融合，同时保持时间连续性，减少高频抖动。这样的设计旨在提升模型在复杂环境中的鲁棒性。

技术框架：ActionUNet的整体架构包括两个主要模块：首先是时间U-Net，用于在时间对齐的动作特征空间中融合层次结构先验；其次是条件SIREN解码器，负责生成连续的动作输出。

关键创新：ActionUNet的主要创新在于引入条件SIREN作为解码器，并施加显式的二阶平滑约束，从而确保时间连续性，显著减少机械执行中的抖动。这一设计与传统的多尺度模型形成了本质区别。

关键设计：在关键设计方面，ActionUNet采用了轻量级的网络结构，优化了计算效率，并在损失函数中引入了平滑约束，以确保输出的时间连续性和稳定性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在RoboTwin 2.0和LIBERO-Plus基准测试中，ActionUNet分别提高了9.8%、6.1%和11.4%的成功率，显示出其在多尺度微调策略上的显著优势。同时，该方法能够有效推广至回归基础的OpenVLA-OFT骨干网络，进一步验证了其有效性。

🎯 应用场景

ActionUNet的研究成果在机器人操作、自动化制造和智能家居等领域具有广泛的应用潜力。通过提升VLA模型在复杂环境中的鲁棒性，该方法能够有效改善机器人在动态和不确定环境中的执行能力，推动智能机器人技术的发展。

📄 摘要（原文）

Vision-Language-Action (VLA) models have shown great promise for robotic manipulation by mapping multi-modal semantics to physical actions. However, this mapping inherently struggles to align these coarse-grained semantics with fine-grained temporal execution. It leaves VLA models with limited generalization and insufficient robustness in cluttered environments. To overcome this issue, we propose ActionUNet, an efficient multi-scale fine-tuning framework that enhances pre-trained VLA models with minimal computational cost. ActionUNet first constructs a lightweight temporal U-Net within the temporal-aligned action feature space to fuse hierarchical structural priors, effectively bridging the scale gap between semantics and temporal executions. Recognizing that multi-scale modeling can disrupt microscopic temporal continuity and cause mechanical oscillations, ActionUNet then employs a conditional SIREN as a continuous action decoder. Equipped with explicit second-order smoothness constraints, this decoder guarantees temporal continuity and reduces high-frequency motion jitter. By smoothing temporal discontinuities from multi-scale fusion, this continuous formulation reduces mechanical execution failures while preserving the base VLA model's generalization and manipulation robustness. Extensive experiments on RoboTwin 2.0 and LIBERO-Plus benchmarks, together with real-world hard evaluations, demonstrate that ActionUNet significantly improves π0.5 success rates by absolute 9.8%, 6.1%, and 11.4%, respectively, while also generalizing to the regression-based OpenVLA-OFT backbone, highlighting its effectiveness and efficiency as a fine-tuning strategy. Code and implementation details are available at https://github.com/Di-Zhu123/ActionUNet.