Efficient Test-time Adaptation through Candidate Verification and Divergence Shifts

📄 arXiv: 2610.06147v1 📥 PDF

作者: Seungmin Oh, Seunghun Kang, Jongbin Ryu

分类: cs.CV, cs.CL

发布日期: 2026-10-05

备注: Accepted for publication in Advances in Neural Information Processing Systems (NeurIPS) 2026

💡 一句话要点

提出测试时候适应的新方法以解决目标领域偏移问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉语言模型 测试时适应 候选验证 发散测量 效率提升

📋 核心要点

  1. 现有的VLM-TTA方法主要依赖于预测调整，导致计算开销增加，效率较低。
  2. 本文提出的TTC方法通过候选验证来进行校正，避免了复杂的迭代优化过程。
  3. 在五个TTA设置和15个基准数据集上，TTC在准确性上超越了现有最先进的VLM-TTA方法，并实现了速度提升和内存使用降低。

📝 摘要（中文）

视觉语言模型（VLMs）在零样本迁移方面表现出色，但在推理时对目标领域的偏移仍然脆弱。测试时适应（TTA）提供了一种实用的解决方案，但大多数现有的VLM-TTA方法遵循预测侧适应范式，使用测试样本调整预测结果，往往带来额外的计算开销。本文提出了一种新的视角，将VLM-TTA重新框架为候选验证，而非预测调整。我们提出了测试时校正（TTC），这是一个基于假设的校正框架，遵循“假设、重构、校正”的原则。TTC通过测量候选标签的发散变化来选择最佳预测，从而避免了迭代优化，提供了良好的准确性与效率平衡。

🔬 方法详解

问题定义：本文旨在解决视觉语言模型在推理时对目标领域偏移的脆弱性，现有方法主要依赖于预测调整，导致计算效率低下。

核心思路：论文提出将测试时适应视为候选验证，通过假设、重构和校正的流程来选择最佳候选标签，从而避免了复杂的优化过程。

技术框架：TTC框架包括三个主要模块：假设生成、特征重构和发散测量。首先，从测试特征中生成前k个候选标签作为假设；然后，在存储的记忆库中重构特征；最后，测量重构特征与候选标签之间的发散变化。

关键创新：TTC的核心创新在于将候选标签视为假设，通过测量发散变化来选择最佳标签，这一方法与传统的预测调整方法本质上不同。

关键设计：TTC不需要训练过程，采用简单的假设验证机制，避免了迭代优化，显著提高了效率，且在准确性上保持竞争力。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果表明，TTC在五个TTA设置和15个基准数据集上均优于现有最先进的VLM-TTA方法，准确性提升显著，同时实现了最高2倍的速度提升，CPU内存使用降低超过3倍，GPU内存使用降低至1.4倍。

🎯 应用场景

该研究的潜在应用领域包括自动驾驶、智能监控和人机交互等场景，能够有效提升视觉语言模型在动态环境中的适应能力，具有重要的实际价值和未来影响。

📄 摘要（原文）

Vision-language models (VLMs) achieve strong zero-shot transferability but remain vulnerable to target-domain shifts at inference time. Test-time adaptation (TTA) offers a practical remedy, yet most existing VLM-TTA methods follow a prediction-side adaptation paradigm. They use test samples to adjust logits, prototypes, caches, priors, or feature statistics, often incurring additional computational overhead. In this paper, we take a different perspective and reframe VLM-TTA as candidate verification rather than prediction adjustment. We propose Test-Time Correction (TTC), a hypothesis-based correction framework guided by a simple principle: hypothesize, reconstruct, correct. Given a test feature and its top-k candidate labels, TTC treats each candidate label as a hypothesis, reconstructs the feature within the corresponding latent subspace stored in a memory bank, and measures the resulting divergence shift. This shift quantifies how much the candidate subspace and its relations to other candidates change after the hypothetical insertion of the test feature. A correct candidate hypothesis induces only a small shift, whereas an incorrect one perturbs the subspace more strongly. TTC therefore corrects the prediction by selecting the candidate with the minimum aggregated divergence shift. This training-free candidate-verification mechanism avoids iterative optimization and provides a favorable accuracy-efficiency trade-off. Across five TTA settings and 15 benchmark datasets, including zero-shot classification, domain generalization, few-shot classification, base-to-novel generalization, and cross-dataset evaluation, TTC consistently improves accuracy over state-of-the-art VLM-TTA methods while achieving up to 2x speedup, over 3x lower CPU memory usage, and up to 1.4x lower GPU memory usage than the lowest-memory training-free baseline.