Rethinking Layer-Wise Information Allocation for Vision Foundation Model Adaptation

📄 arXiv: 2607.21973v1 📥 PDF

作者: Yuqi Li, Xi Xiao, Yunbei Zhang, Lin Zhao, Yu Li, Aiden Zhao, Tianyang Wang, Hao Xu, Yingli Tian

分类: cs.CV

发布日期: 2026-07-24

备注: Accepted by ACM MM 2026

🔗 代码/项目: GITHUB

💡 一句话要点

提出Prompted Information Bottlenecks以解决视觉基础模型适应性问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉基础模型 参数高效适应 信息瓶颈 层级信息分配 模型鲁棒性 视觉提示调优 深度学习

📋 核心要点

  1. 现有的基于提示的适应方法在层级信息分配上缺乏原则性控制，导致性能对提示深度和任务分布敏感。
  2. 本文提出Prompted Information Bottlenecks（PIB）框架，旨在通过正则化层级压缩与充分性之间的权衡，优化信息流动。
  3. PIB在34个数据集上表现出色，平均仅调整0.35%的参数，提升了模型的鲁棒性和准确性。

📝 摘要（中文）

随着视觉基础模型被广泛用于下游视觉识别，参数高效的适应性成为关键问题。基于提示的适应方法（如视觉提示调优）虽然提供了轻量化的模型专门化方式，但其层级行为仍不够明确。本文提出Prompted Information Bottlenecks（PIB）框架，旨在通过正则化层级信息分配，促进跨层信息路径的连贯性。实验表明，PIB在34个数据集上表现优异，平均仅调整0.35%的参数，同时提升了模型在分布转移和细粒度识别中的鲁棒性。

🔬 方法详解

问题定义：本文解决的是视觉基础模型在下游任务中的适应性问题，现有方法在层级信息分配上存在不足，导致模型在不同任务中的表现不稳定。

核心思路：论文提出的PIB框架基于信息瓶颈原理，旨在通过正则化层级信息的压缩与充分性之间的权衡，确保模型在不同层级保留任务相关的信息，同时逐步抑制无关因素。

技术框架：PIB框架包括信息分配模块和层级压缩模块，前者负责在不同层级之间分配信息，后者则确保信息的有效压缩与传递。

关键创新：PIB的核心创新在于其层级信息分配的原则性控制，区别于现有方法的随机性和经验性，使得模型在适应性上更加高效和可靠。

关键设计：在设计上，PIB采用了特定的损失函数来平衡信息保留与压缩，同时在网络结构上引入了层级信息流动的约束，以优化模型的整体性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，PIB在34个数据集上表现优异，FGVC达92.1%，HTA达93.01%，VTAB-1k达77.33%。在主要设置中，PIB仅调整了平均0.35%的参数，显著提升了模型的准确性和鲁棒性，尤其在分布转移和细粒度识别任务中表现突出。

🎯 应用场景

该研究的潜在应用领域包括计算机视觉中的图像分类、目标检测和图像分割等任务。通过提高视觉基础模型的适应性，PIB能够在实际应用中显著提升模型的性能和鲁棒性，尤其是在数据分布变化的情况下。未来，PIB可能会推动更多基于提示的模型适应方法的发展，拓展其在不同领域的应用。

📄 摘要（原文）

Vision foundation models are increasingly reused as frozen backbones for downstream visual recognition, making parameter-efficient adaptation a central problem. Prompt-based adaptation, including Visual Prompt Tuning (VPT), provides a lightweight way to specialize these models, but its layer-wise behavior remains poorly understood: performance is sensitive to prompt depth, placement, and task distribution, and gains on standard in-domain benchmarks do not always translate into robust generalization. We argue that this limitation is not solely an optimization issue, but a layer-wise information allocation issue: existing prompt-based methods lack principled control over what prompt-conditioned representations should preserve, suppress, and propagate across depth. Inspired by the Information Bottleneck principle, we introduce Prompted Information Bottlenecks (PIB), a framework that regularizes layer-wise compression-sufficiency trade-offs and promotes a more coherent cross-layer information path. The key idea is that effective adaptation should be minimal yet sufficient, retaining task-relevant local evidence in earlier layers while progressively discarding nuisance factors and redundant details in deeper layers. Extensive experiments show that PIB achieves strong performance across 34 datasets, reaching 92.1% on FGVC, 93.01% on HTA, and 77.33% on VTAB-1k, while tuning only 0.35% parameters on average across the main settings. Beyond benchmark accuracy, PIB helps explain the non-monotonic behavior of prompt capacity scaling, reduces shortcut reliance, and improves robustness under distribution shift and fine-grained recognition settings. These results position PIB as both a practical method and an information-allocation perspective for adapting frozen vision foundation models. Our code is available at https://github.com/itsnotacie/MM-26-PIB