Wiring Matters: Injection Topology and Initialization of Affordance Heads in Vision-Language-Action Policies

📄 arXiv: 2610.06318v1 📥 PDF

作者: Zijian An, Linhan Wang, Jiayan Wang, Shijie Geng, Ran Yang, Yiming Feng, Lifeng Zhou

分类: cs.CV, cs.AI

发布日期: 2026-10-05

备注: 8 pages, 4 figures, 2 tables

💡 一句话要点

提出有效的接入拓扑与初始化方法以提升视觉-语言-动作策略的性能

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉-语言-动作 可供性监督 策略优化 深度学习 多模态融合

📋 核心要点

  1. 现有方法在共同训练可供性头时，可能导致指令跟随能力的显著下降，影响整体性能。
  2. 论文提出通过停止梯度保护主干网络，并使用学习的桥接将可供性头特征有效接入VLA策略。
  3. 实验结果表明，主动初始化的残差桥接方式显著提升了策略性能，达到了96.2%的准确率。

📝 摘要（中文）

密集的可供性监督作为视觉-语言-动作（VLA）策略的辅助信号具有吸引力，但简单地共同训练可供性头可能会严重损害指令跟随能力。本文在LIBERO基准上进行了受控研究，探讨如何将可供性头有效接入现代VLA。我们的方法通过停止梯度读取主干，并通过学习的桥接将中间头特征重新注入到动作专家中。停止梯度是一个前提条件：让可供性梯度到达主干会使策略性能下降。通过对接入拓扑和桥接初始化的消融实验，发现初始化是主要影响因素。最佳的接入方式为主动初始化的残差桥，达到了96.2%的性能，接近更复杂的三专家AffordanceVLA（95.8%），且额外参数不足1%。

🔬 方法详解

问题定义：本文解决了在视觉-语言-动作策略中，如何有效接入可供性头的问题。现有方法在共同训练时，容易导致指令跟随能力下降，影响策略的整体性能。

核心思路：论文的核心思路是通过停止梯度来保护主干网络，避免可供性梯度对主干的影响，同时通过学习的桥接将中间特征注入到动作专家中，从而提升策略的性能。

技术框架：整体架构包括主干网络、可供性头和动作专家。通过停止梯度读取主干网络，并在此基础上设计桥接模块，将可供性头的特征有效传递给动作专家。

关键创新：最重要的技术创新在于提出了主动初始化的残差桥接方式，这种设计与传统的简单接入方式有本质区别，能够显著提升策略性能。

关键设计：在实验中，采用了不同的接入拓扑（连接与残差）和桥接初始化方式（零初始化与随机初始化），结果表明初始化方式对性能影响最大。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果显示，采用主动初始化的残差桥接方式，策略性能达到了96.2%，相比于无可供性头的基线提升了约3.1%。此外，该方法的参数增加不足1%，与更复杂的三专家AffordanceVLA相比，表现出更高的效率。

🎯 应用场景

该研究的潜在应用领域包括机器人控制、智能助手和人机交互等场景。通过提升视觉-语言-动作策略的性能，可以实现更为自然和高效的交互方式，推动智能系统在复杂环境中的应用。未来，该方法可能会对多模态学习和自主决策系统的发展产生深远影响。

📄 摘要（原文）

Dense affordance supervision is an appealing auxiliary signal for vision-language-action (VLA) policies, yet naively co-training an affordance head can severely damage instruction following. We present a controlled study of how to wire such a head into a modern VLA on the LIBERO benchmark. Our recipe reads the backbone through a stop-gradient and re-injects an intermediate head feature into the action expert via a learned bridge. The stop-gradient is a precondition: letting affordance gradients reach the backbone drops the policy below the headless base (85.5% vs. 93.1%). With the backbone protected, a same-budget 2*2 ablation over injection topology (concatenation vs. residual) and bridge initialization (zero vs. random) shows initialization is the dominant lever. The best wiring, an actively initialized residual bridge, reaches 96.2%, matching the far more elaborate three-expert AffordanceVLA (95.8%) with under 1% extra parameters. Two probes explain the mechanism: ground-truth affordances fed as an input hurt, and inference-time zeroing shows a lazy bridge acts only as a training-time regularizer while an active bridge becomes load-bearing.