Not All Layers Need Tuning: Diagnosing and Directing Adaptation in Vision-Language-Action Models

📄 arXiv: 2609.18084v1 📥 PDF

作者: Shahram Najam Syed, Arthur Jakobsson, Prayuj Sachdev, Jeffrey Ichnowski

分类: cs.RO, cs.CV, cs.LG

发布日期: 2026-09-16

备注: 9 pages, 7 figures, 7 tables

💡 一句话要点

提出一种新方法以优化视觉-语言-动作模型的适应性调整

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉-语言-动作 模型微调 适应性调整 多模态学习 资源优化

📋 核心要点

  1. 现有的微调方法假设所有网络区域需要相同的调整，导致资源浪费和成本高昂。
  2. 论文提出了一种新的管道，通过诊断适应成本并根据区域特性分配适配器，从而优化微调过程。
  3. 实验结果表明，该方法在多个基准测试中超越了传统的均匀LoRA方法，显著提高了适应效率。

📝 摘要（中文）

在新的部署环境中微调视觉-语言-动作（VLA）模型的成本高昂，现有方法通常对每个网络区域应用均匀容量的适配器，假设每个区域需要相同的调整。本文通过对五种不同架构的VLA模型进行测试，揭示了适应成本在不同区域的分布特征，并提出了一种观察、诊断、分配和适应的管道。该方法通过无标签目标观察估计每个区域的适应成本，并在多个实验中显示出优于均匀LoRA的适应效果，表明VLA的适应成本在微调前是可测量的。

🔬 方法详解

问题定义：本文旨在解决在视觉-语言-动作（VLA）模型微调过程中，现有方法对所有网络区域均匀调整的假设，导致资源浪费和高昂的适应成本。

核心思路：论文的核心思路是通过观察和诊断每个区域的适应成本，识别出不同区域的特性，从而在微调时只对需要调整的区域进行适配，优化资源使用。

技术框架：整体流程包括四个主要模块：观察模块收集无标签目标观察数据，诊断模块结合无参考梯度和蒙特卡洛Dropout信号估计每个区域的适应成本，分配模块根据预算将估计结果转化为可变排名的LoRA适配器，适应模块则进行标准的LoRA微调。

关键创新：最重要的技术创新在于提出了一种基于区域特性进行适配器分配的方法，显著提高了微调效率，与传统方法相比，能够在更低的参数预算下实现更好的适应效果。

关键设计：在参数设置上，采用了基于中心核对齐评分的诊断方法，确保了适配器的有效性；在损失函数设计上，结合了区域特性和适应成本，优化了微调过程。该方法在多个架构上均表现出色。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，该方法在物理xArm-7上仅使用0.04%的可训练参数便实现了与全面微调相当的效果。在五个未见场景的评估中，该方法在30次试验中成功率达到11-23次，显著优于其他基线方法的8-18次成功率，展示了其在适应性调整中的优势。

🎯 应用场景

该研究的潜在应用领域包括机器人控制、智能助手和多模态交互系统等，能够有效降低模型在新环境中的适应成本，提高系统的灵活性和响应速度。未来，该方法可能推动更高效的模型微调技术的发展，促进多模态学习的广泛应用。

📄 摘要（原文）

Fine-tuning a Vision-Language-Action (VLA) model for a new deployment environment is expensive, yet most methods apply uniform-capacity adapters to every network region as if every region requires equal adjustment. This paper tests that assumption on five architecturally diverse VLAs (OpenVLA-OFT, $π_0$, SmolVLA, DTP, Octo; 93M-7B parameters). Measuring per-region adaptation cost as normalized parameter displacement under region-isolated fine-tuning reveals an adaptation spectrum in which appearance shifts concentrate cost in the vision encoder, instruction shifts in the language backbone, and novel-object shifts in the vision encoder together with the action head, across all five architectures. To exploit this structure, we introduce a pipeline that observes, diagnoses, allocates, and adapts. From ten unlabeled target observations and without fine-tuning, the diagnostic estimates per-region cost by combining reference-free gradient and Monte Carlo Dropout signals with a Centered Kernel Alignment score against a cached source reference; the allocator converts the estimates into variable-rank LoRA adapters under a parameter budget and freezes well-calibrated regions; and standard LoRA fine-tuning trains the resulting adapters. The diagnostic ranks regions within each deployment at a median Spearman of 0.91, and the allocation matches or exceeds uniform LoRA at every budget we tested on LIBERO and CALVIN. On a physical xArm-7, the pipeline matches full fine-tuning under an instruction-wording shift with 0.04% of its trainable parameters, and on five held-out scenes evaluated without retraining it leads every baseline, with 11-23 successes of 30 rollouts against 8-18 for the strongest parameter-efficient baseline at equal or larger budgets and 2-11 for full fine-tuning. These results suggest that adaptation cost in VLAs is structured enough to measure before fine-tuning begins.