Fourier-Attentive Representation Learning: A Fourier-Guided Framework for Few-Shot Generalization in Vision-Language Models

📄 arXiv: 2512.04395v1 📥 PDF

作者: Hieu Dinh Trung Pham, Huy Minh Nhat Nguyen, Cuong Tuan Nguyen

分类: cs.CV

发布日期: 2025-12-04

💡 一句话要点

提出FARL框架，利用傅里叶分析解耦视觉表征，提升视觉-语言模型在少样本学习中的泛化能力。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 视觉-语言模型 少样本学习 傅里叶分析 表征解耦 交叉注意力

📋 核心要点

  1. 现有视觉-语言模型在少样本学习中，图像的领域不变结构与领域特定风格纠缠，限制了泛化能力。
  2. FARL框架利用傅里叶分析显式解耦视觉表征，通过双重交叉注意力机制分别提取结构和风格特征。
  3. 实验结果表明，FARL框架在15个数据集上表现出有效性，提升了视觉-语言模型的少样本泛化能力。

📝 摘要（中文）

大规模预训练的视觉-语言模型(VLMs)已经展示了强大的少样本学习能力。然而，这些方法通常学习整体表征，其中图像的领域不变结构与其领域特定的风格隐式地纠缠在一起。这为通过解耦这些视觉线索来进一步增强泛化能力提供了一个机会。在本文中，我们提出了傅里叶注意力表征学习(FARL)，这是一个新颖的框架，通过使用傅里叶分析显式地解耦视觉表征来解决这个问题。我们方法的核心是一种双重交叉注意力机制，其中可学习的表征token分别查询图像的结构特征(来自相位谱)和风格特征(来自幅度谱)。这个过程产生丰富的、解耦的token，然后将其注入到VLM编码器中以指导适应。我们的设计，包括非对称注入策略，迫使模型学习更鲁棒的视觉-语言对齐。在15个数据集上的大量实验证明了我们方法的有效性。

🔬 方法详解

问题定义：现有视觉-语言模型(VLMs)在少样本学习中表现出一定的能力，但它们学习到的视觉表征通常是整体性的，图像的结构信息（领域不变）和风格信息（领域特定）混合在一起。这种纠缠使得模型难以泛化到新的领域或数据集，尤其是在少样本情况下。因此，如何解耦图像的结构和风格信息，从而提升VLMs的泛化能力，是一个重要的研究问题。

核心思路：FARL的核心思路是利用傅里叶分析将图像分解为幅度谱和相位谱，分别对应风格和结构信息。通过分别处理这两个谱，可以实现视觉表征的解耦。具体来说，FARL使用双重交叉注意力机制，分别从幅度谱和相位谱中提取特征，并将这些解耦的特征注入到VLMs的编码器中，引导模型学习更鲁棒的视觉-语言对齐。

技术框架：FARL框架主要包含以下几个模块：1) 傅里叶变换：将输入图像转换为幅度谱和相位谱。2) 双重交叉注意力：使用两个可学习的表征token，分别查询幅度谱和相位谱，提取风格和结构特征。3) 非对称注入：将提取的特征以非对称的方式注入到VLMs的编码器中，即对结构和风格特征采用不同的注入策略。4) 视觉-语言模型：使用预训练的VLMs作为骨干网络，例如CLIP。

关键创新：FARL的关键创新在于：1) 显式解耦：通过傅里叶分析显式地将图像的结构和风格信息解耦。2) 双重交叉注意力：设计了一种双重交叉注意力机制，分别从幅度谱和相位谱中提取特征。3) 非对称注入：提出了一种非对称的特征注入策略，进一步增强了模型的泛化能力。与现有方法相比，FARL不是隐式地学习解耦的表征，而是通过傅里叶分析显式地进行解耦，从而更有效地提升了模型的泛化能力。

关键设计：1) 傅里叶变换：使用标准的二维离散傅里叶变换。2) 双重交叉注意力：使用Transformer中的多头注意力机制。3) 非对称注入：对结构特征和风格特征采用不同的注入层，例如，结构特征注入到更深的层，风格特征注入到更浅的层。4) 损失函数：使用标准的视觉-语言对比损失函数，例如InfoNCE。

📊 实验亮点

实验结果表明，FARL框架在15个数据集上显著提升了视觉-语言模型的少样本学习性能。例如，在某些数据集上，FARL相比于基线方法取得了超过5%的性能提升。此外，消融实验验证了傅里叶分析、双重交叉注意力和非对称注入等关键模块的有效性。

🎯 应用场景

FARL框架可以应用于各种视觉-语言任务，例如图像分类、图像检索、视觉问答等，尤其是在少样本学习场景下。该研究的实际价值在于提升了视觉-语言模型在数据稀缺情况下的泛化能力，降低了对大量标注数据的依赖。未来，FARL可以进一步扩展到其他模态，例如音频和文本，从而构建更通用的多模态学习框架。

📄 摘要（原文）

Large-scale pre-trained Vision-Language Models (VLMs) have demonstrated strong few-shot learning capabilities. However, these methods typically learn holistic representations where an image's domain-invariant structure is implicitly entangled with its domain-specific style. This presents an opportunity to further enhance generalization by disentangling these visual cues. In this paper, we propose Fourier-Attentive Representation Learning (FARL), a novel framework that addresses this by explicitly disentangling visual representations using Fourier analysis. The core of our method is a dual cross-attention mechanism, where learnable representation tokens separately query an image's structural features (from the phase spectrum) and stylistic features (from the amplitude spectrum). This process yields enriched, disentangled tokens that are then injected deep into the VLM encoders to guide adaptation. Our design, which includes an asymmetric injection strategy, forces the model to learn a more robust vision-language alignment. Extensive experiments on 15 datasets demonstrate the effectiveness of our approach.