On the Limits of Representation-Based Test-Time Adaptation for Multimodal LLMs

📄 arXiv: 2610.19892v1 📥 PDF

作者: Mikołaj Piórczyński, Wojciech Masarczyk, Damian Sójka, Sebastian Cygert, Bartłomiej Twardowski

分类: cs.LG, cs.CV

发布日期: 2026-10-14

备注: Accepted at the Grounded and Faithful Vision-Language Models for Real-World Deployment (VLM4RWD) workshop at NeurIPS 2026

💡 一句话要点

探讨多模态大语言模型的测试时适应性局限性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态大语言模型 测试时适应 视觉语言模型 干扰鲁棒性 特征对齐

📋 核心要点

  1. 现有的测试时适应方法在多模态大语言模型中效果不佳，尤其是在面对干扰时，准确性显著下降。
  2. 论文通过实验验证了基于表示的测试时适应在多模态大语言模型中的局限性，提出了对干扰变化的深入分析。
  3. 实验结果表明，即使在离线条件下进行样本盲特征对齐，性能提升也非常有限，显示出当前方法的不足。

📝 摘要（中文）

视觉语言模型在常见干扰下表现出显著的准确性下降。尽管测试时适应（TTA）在CLIP类对比模型中有效，但在生成型多模态大语言模型（MLLMs）中的应用仍未得到充分探索，且由于其序列生成特性，面临独特挑战。本文表明，基于表示的TTA未能恢复MLLMs的性能。实验结果显示，即使在离线利用目标数据的情况下，样本盲特征对齐也仅能恢复微弱的准确性。我们将这一失败归因于干扰变化的性质：与CLIP类架构不同，MLLM的视觉令牌序列变化几乎是正交的，覆盖了整个嵌入空间。这些发现界定了任何样本盲、位置共享的单一编码器站点修正所能实现的效果，确立了仅依赖表示空间干预可能不足以确保MLLMs的干扰鲁棒性。

🔬 方法详解

问题定义：本文旨在解决多模态大语言模型在测试时适应中的性能恢复问题，现有方法在干扰情况下表现不佳，无法有效应对视觉令牌序列的变化。

核心思路：论文的核心思路是分析干扰变化对多模态大语言模型的影响，指出基于表示的适应方法在这种情况下的局限性，强调需要更有效的干预策略。

技术框架：研究采用实验方法，通过对比不同的适应策略，评估基于表示的适应在多模态大语言模型中的有效性，主要模块包括数据预处理、特征对齐和性能评估。

关键创新：最重要的创新点在于揭示了多模态大语言模型的视觉令牌序列变化与CLIP类模型的不同，强调了干扰变化的正交性对适应效果的影响。

关键设计：在实验中，采用了样本盲特征对齐的方法，尽管尝试了离线数据利用，但结果显示仅能实现微弱的准确性恢复，表明现有设计的不足。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

实验结果显示，基于表示的测试时适应在多模态大语言模型中未能显著提升性能，样本盲特征对齐的准确性恢复仅为微弱，表明当前方法的有效性受到限制。这一发现为未来研究提供了重要的方向。

🎯 应用场景

该研究的潜在应用领域包括多模态人工智能系统的开发，尤其是在需要处理视觉和语言信息的任务中，如图像描述生成和视觉问答。通过深入理解干扰对模型性能的影响，未来可以设计出更为鲁棒的多模态模型，提升其在实际应用中的表现。

📄 摘要（原文）

Vision-language models suffer significant accuracy drops under common corruptions. While test-time adaptation (TTA) successfully mitigates these shifts in CLIP-like contrastive models, its application to generative multimodal large language models (MLLMs) remains underexplored and uniquely challenging due to their sequential token generation. In this work, we demonstrate that representation-based TTA fails to recover performance in MLLMs. Our experiments reveal that even when violating standard TTA assumptions by leveraging target data offline, sample-blind feature alignment recovers only marginal accuracy. We attribute this failure to the nature of corruption shifts: unlike CLIP-like architectures, which benefit from a shared domain-shift direction within a single pooled classification embedding, MLLM visual token sequence shifts are nearly orthogonal and span the full embedding space.These findings bound what any sample-blind, position-shared correction at a single encoder site can achieve, establishing that representation-space interventions alone might be insufficient to ensure corruption robustness in MLLMs.