CPCANet: Deep Unfolding Common Principal Component Analysis for Domain Generalization

📄 arXiv: 2605.05136v1 📥 PDF

作者: Yu-Hsi Chen, Abd-Krim Seghouane

分类: cs.CV

发布日期: 2026-05-06

备注: 9 pages, 5 tables

🔗 代码/项目: GITHUB

💡 一句话要点

提出CPCANet，通过深度展开公共主成分分析实现领域泛化

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 领域泛化 公共主成分分析 深度学习 不变学习 分布偏移

📋 核心要点

  1. 现有领域泛化方法在利用二阶统计信息，显式发现结构化的领域不变子空间方面存在不足。
  2. CPCANet通过将CPCA的迭代FG算法展开为可微神经层，从而在网络中融入CPCA的统计特性。
  3. 实验表明，CPCANet在多个领域泛化基准测试中取得了SOTA性能，且无需特定数据集的调整。

📝 摘要（中文）

领域泛化(DG)旨在学习在分布外(OOD)偏移下保持鲁棒性并有效泛化到未见目标领域的表示。虽然最近的不变学习策略和架构进步已经取得了强大的性能，但通过二阶统计显式地发现结构化的领域不变子空间仍然未被充分探索。在这项工作中，我们提出了CPCANet，这是一个基于公共主成分分析(CPCA)的新框架，它将迭代的Flury-Gautschi (FG)算法展开为完全可微的神经层。这种方法将CPCA的统计特性集成到端到端的可训练框架中，在保持可解释性的同时，强制发现跨不同领域的共享子空间。在四个标准DG基准上的实验表明，CPCANet在零样本迁移中实现了最先进(SOTA)的性能。此外，CPCANet是架构无关的，不需要数据集特定的调整，为在分布偏移下学习鲁棒表示提供了一种简单而有效的方法。

🔬 方法详解

问题定义：领域泛化旨在解决模型在训练数据分布与测试数据分布不一致时，如何保证模型性能的问题。现有方法虽然在不变学习和架构设计上有所进展，但缺乏对领域不变子空间的显式建模，尤其是在二阶统计层面。现有方法难以有效捕捉跨域的共享特征，导致泛化能力受限。

核心思路：CPCANet的核心思路是将统计学中的公共主成分分析(CPCA)融入到深度学习框架中。CPCA旨在寻找多个数据集共享的主成分，从而提取领域不变的特征。通过将CPCA的迭代算法（Flury-Gautschi算法）展开为神经网络层，实现端到端的训练，从而显式地学习领域不变子空间。

技术框架：CPCANet的整体框架是将Flury-Gautschi (FG)算法的迭代过程展开为多个神经网络层。每一层模拟FG算法的一次迭代，用于更新公共主成分。整个网络可以嵌入到任何现有的深度学习架构中，作为特征提取器的一部分。输入数据首先经过一个基础网络（如ResNet），然后通过CPCANet层提取领域不变特征，最后进行分类或回归等任务。

关键创新：CPCANet的关键创新在于将经典的CPCA算法与深度学习相结合，通过深度展开的方式，将统计学方法融入到神经网络中。与传统方法相比，CPCANet能够显式地学习领域不变子空间，并且可以通过端到端的方式进行优化。这种方法不仅提高了模型的泛化能力，还保留了一定的可解释性。

关键设计：CPCANet的关键设计包括：1) 使用Flury-Gautschi算法进行公共主成分的迭代更新；2) 将FG算法的每次迭代转化为一个可微的神经网络层，使得整个网络可以进行反向传播；3) 使用适当的初始化方法，加速FG算法的收敛；4) 将CPCANet作为一个模块，可以灵活地嵌入到不同的深度学习架构中。损失函数通常是标准的分类或回归损失，加上可选的正则化项，以鼓励学习到的特征具有更好的领域不变性。

📊 实验亮点

CPCANet在四个标准的领域泛化基准测试中取得了SOTA性能，证明了其有效性。具体而言，在零样本迁移设置下，CPCANet在多个数据集上超越了现有的领域泛化方法。此外，CPCANet具有架构无关性，可以方便地集成到不同的深度学习模型中，且无需针对特定数据集进行调整，降低了使用门槛。

🎯 应用场景

CPCANet在图像识别、目标检测、自然语言处理等领域具有广泛的应用前景，尤其是在数据分布存在偏移的情况下。例如，在医疗图像分析中，不同医院的扫描设备和协议可能导致数据分布差异，CPCANet可以用于学习通用的图像特征，提高模型在不同医院数据上的泛化能力。此外，在自动驾驶领域，CPCANet可以用于处理不同天气和光照条件下的图像，提高自动驾驶系统的鲁棒性。

📄 摘要（原文）

Domain Generalization (DG) aims to learn representations that remain robust under out-of-distribution (OOD) shifts and generalize effectively to unseen target domains. While recent invariant learning strategies and architectural advances have achieved strong performance, explicitly discovering a structured domain-invariant subspace through second-order statistics remains underexplored. In this work, we propose CPCANet, a novel framework grounded in Common Principal Component Analysis (CPCA), which unrolls the iterative Flury-Gautschi (FG) algorithm into fully differentiable neural layers. This approach integrates the statistical properties of CPCA into an end-to-end trainable framework, enforcing the discovery of a shared subspace across diverse domains while preserving interpretability. Experiments on four standard DG benchmarks demonstrate that CPCANet achieves state-of-the-art (SOTA) performance in zero-shot transfer. Moreover, CPCANet is architecture-agnostic and requires no dataset-specific tuning, providing a simple and efficient approach to learning robust representations under distribution shift. Code is available at https://github.com/wish44165/CPCANet.