AEGIS: Anchor-Enforced Gradient Isolation for Knowledge-Preserving Vision-Language-Action Fine-Tuning

📄 arXiv: 2604.16067v1 📥 PDF

作者: Guransh Singh

分类: cs.LG, cs.CV

发布日期: 2026-04-17

💡 一句话要点

AEGIS：锚点增强梯度隔离，用于知识保持的视觉-语言-动作微调

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉-语言模型 机器人控制 知识保持 梯度隔离 正交投影 微调 持续学习 迁移学习

📋 核心要点

  1. 现有方法在微调VLM用于机器人控制时，由于跨模态梯度不对称性，导致VQA能力严重退化。
  2. AEGIS通过预计算锚点和正交梯度投影，在保持VQA流形的同时，实现连续MSE学习，无需额外数据。
  3. AEGIS在Transformer层应用Gram-Schmidt正交投影，平均仅损失少量梯度能量，有效抑制了激活漂移。

📝 摘要（中文）

将预训练的视觉-语言模型(VLM)应用于机器人控制，需要在仅使用交叉熵训练的主干网络中注入来自流匹配动作专家的高幅度连续梯度。这种跨模态梯度不对称性——低秩MSE回归梯度与CE预训练构建的高维语义流形之间的谱维度不匹配，会导致VLM的视觉问答(VQA)能力快速严重地退化。工业标准防御方法要么通过停止梯度完全切断梯度路径，丢弃丰富的连续监督信息，要么通过低秩适配器(LoRA)限制参数容量，LoRA约束了更新的秩，但没有约束其方向，因此仍然会覆盖预训练的流形。我们引入了AEGIS（锚点增强梯度隔离系统）：一种无缓冲、逐层正交梯度投影框架，可以在保持预训练的VQA流形的同时，实现直接的连续MSE学习——无需任何协同训练数据或重放缓冲区。AEGIS预先计算一个静态高斯参考锚点，该锚点来自所有Transformer层中掩码VQA前向传递。然后在每个训练步骤中，构建一个Wasserstein-2传输惩罚，生成锚点恢复梯度。顺序双反向传播分解任务梯度和锚点梯度；对于每个Transformer层，AEGIS应用单个Gram-Schmidt正交投影，使任务梯度远离破坏性方向，同时保留其建设性内容。投影平均损失小于1%的梯度能量，但消除了驱动严重遗忘的累积激活漂移。

🔬 方法详解

问题定义：论文旨在解决将预训练的视觉-语言模型（VLM）应用于机器人控制时，由于视觉和动作模态之间梯度差异过大，导致VLM原有的视觉问答（VQA）能力快速退化的问题。现有方法如梯度停止或低秩适配器（LoRA）要么损失了连续监督信息，要么仍然会覆盖预训练的流形，无法有效保持VQA能力。

核心思路：论文的核心思路是通过锚点增强梯度隔离，在微调过程中保护VLM的预训练知识。具体来说，通过预先计算一个静态的参考锚点，并在训练过程中将任务梯度投影到与锚点梯度正交的方向上，从而避免任务梯度破坏预训练的VQA流形。

技术框架：AEGIS框架主要包含以下几个阶段：1) 预计算静态高斯参考锚点，该锚点基于掩码VQA前向传递在所有Transformer层中计算得到。2) 在每个训练步骤中，构建Wasserstein-2传输惩罚，生成锚点恢复梯度。3) 使用顺序双反向传播分解任务梯度和锚点梯度。4) 对于每个Transformer层，应用Gram-Schmidt正交投影，将任务梯度投影到与锚点梯度正交的方向。

关键创新：AEGIS的关键创新在于提出了锚点增强梯度隔离的概念，并设计了一种无缓冲、逐层正交梯度投影方法。与现有方法相比，AEGIS能够在保持预训练VQA流形的同时，实现直接的连续MSE学习，无需任何协同训练数据或重放缓冲区。此外，AEGIS的梯度投影方法能够有效地消除累积激活漂移，从而避免严重的知识遗忘。

关键设计：AEGIS的关键设计包括：1) 使用静态高斯参考锚点，避免了动态锚点带来的计算负担和不稳定性。2) 使用Wasserstein-2传输惩罚来生成锚点恢复梯度，能够更准确地衡量任务梯度与锚点梯度之间的差异。3) 使用Gram-Schmidt正交投影，能够有效地将任务梯度投影到与锚点梯度正交的方向，同时尽可能保留任务梯度的信息。4) 逐层进行梯度投影，能够更精细地控制每个Transformer层的梯度更新。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

AEGIS通过锚点增强梯度隔离，有效保持了VLM的VQA能力，显著降低了微调过程中的知识遗忘。实验结果表明，AEGIS在机器人控制任务中，能够在保持VQA性能的同时，实现与现有方法相当甚至更好的控制性能。梯度投影平均损失小于1%的梯度能量，但消除了驱动严重遗忘的累积激活漂移。

🎯 应用场景

AEGIS技术可广泛应用于机器人控制、自动驾驶等领域，尤其是在需要利用预训练VLM进行任务迁移和微调的场景下。通过保持VLM的预训练知识，AEGIS能够提高模型在下游任务中的性能和泛化能力，降低对大量标注数据的依赖，加速模型部署。

📄 摘要（原文）

Adapting pre-trained vision-language models (VLMs) for robotic control requires injecting high-magnitude continuous gradients from a flow-matching action expert into a backbone trained exclusively with cross-entropy. This cross-modal gradient asymmetry - the spectral dimensionality mismatch between low-rank MSE regression gradients and the high-dimensional semantic manifold sculpted by CE pre-training, causes rapid, severe erosion of the VLM's visual-question-answering (VQA) capability. Industry-standard defences either sever the gradient pathway entirely via stop gradient, discarding the rich continuous supervision, or restrict parameter capacity through low-rank adapters (LoRA) that constrain the rank of updates but not their direction, and thus still overwrite the pre-trained manifold. We introduce AEGIS (Anchor-Enforced Gradient Isolation System): a buffer-free, layer-wise orthogonal gradient projection framework that enables direct continuous MSE learning while preserving the pre-trained VQA manifold - without any co-training data or replay buffer. AEGIS pre-computes a static Gaussian reference anchor from masked VQA forward passes across all transformer layers, then at each training step constructs a Wasserstein-2 transport penalty that generates an anchor restoration gradient. A sequential dual-backward decomposes the task and anchor gradients; for each transformer layer, AEGIS applies a single Gram-Schmidt orthogonal projection that bends the task gradient away from the destructive direction while preserving its constructive content. The projection sheds less than 1% of gradient energy on average, yet eliminates the cumulative activation drift that drives severe forgetting.