Gromov-Wasserstein Distillation for Inductive Multi-View Embedding

📄 arXiv: 2609.40047v1 📥 PDF

作者: Rafael Pereira Eufrazio, Eduardo Fernandes Montesuma, Charles Casimiro Cavalcante

分类: cs.LG, stat.ML

发布日期: 2026-09-30

备注: This paper was accepted at the GDDL (Geometric Distributional Deep Learning) Workshop at NeurIPS 2026

💡 一句话要点

提出Gromov-Wasserstein蒸馏以解决多视图嵌入的归纳问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: Gromov-Wasserstein 蒸馏训练 多视图嵌入 归纳学习 神经网络 最优传输 几何形状保留

📋 核心要点

  1. 现有的Gromov-Wasserstein多维缩放方法仅能处理已知样本，无法有效映射未见样本，限制了其应用。
  2. 本文提出了一种基于重心蒸馏的归纳框架，通过学习潜在支持和最优传输计划，解决了未见样本的映射问题。
  3. 实验结果显示，蒸馏模型在多种数据集上均优于直接的神经GW训练，尤其在样本索引关系的保留上表现突出。

📝 摘要（中文）

Gromov-Wasserstein多维缩放（GW-MDS）从关系数据中学习低维表示，但仍然是传导性的，无法为未见样本提供明确的映射。本文提出了一种基于重心蒸馏的归纳框架。GW-MDS教师从训练数据中学习潜在支持和最优传输计划，重心投影将结果耦合转换为样本对齐目标。然后，神经学生学习明确的样本外映射，避免在推理时进行额外的关系矩阵构建和GW优化。我们将该方法形式化为单视图数据，并通过共识和选择投影目标扩展到Mean-GWMDS和Multi-GWMDS教师，利用具有视图特定编码器的多视图学生。实验结果表明，蒸馏模型在未见样本上保持教师几何形状，并在样本索引关系保留方面始终优于直接的神经GW训练。

🔬 方法详解

问题定义：本文旨在解决Gromov-Wasserstein多维缩放（GW-MDS）在处理未见样本时的局限性。现有方法无法提供有效的样本外映射，限制了其在实际应用中的有效性。

核心思路：提出了一种基于重心蒸馏的归纳学习框架。通过使用GW-MDS教师学习潜在支持和最优传输计划，结合重心投影，将耦合结果转化为样本对齐目标，从而实现未见样本的有效映射。

技术框架：整体架构包括GW-MDS教师、重心投影模块和神经学生。教师从训练数据中学习，并生成样本对齐目标，神经学生则基于这些目标进行训练，避免了推理时的额外计算。

关键创新：最重要的创新在于将重心投影引入到GW嵌入与归纳神经映射之间，形成了一种有效的桥梁。这一设计使得模型能够在未见样本上保持教师的几何形状。

关键设计：在模型设计中，采用了特定的损失函数来优化样本对齐目标，并设计了多视图学生网络，利用视图特定编码器进行学习，以增强模型的泛化能力。实验中使用了多种关系（欧几里得、测地线和余弦关系）进行评估。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果表明，蒸馏模型在未见样本上能够保持教师几何形状，并在样本索引关系保留方面相较于直接的神经GW训练表现出显著提升，具体提升幅度达到XX%。

🎯 应用场景

该研究的潜在应用领域包括社交网络分析、推荐系统和生物信息学等。通过有效处理未见样本的能力，能够提升模型在动态环境中的适应性和准确性，具有重要的实际价值和未来影响。

📄 摘要（原文）

Gromov-Wasserstein multidimensional scaling (GW-MDS) learns low-dimensional representations from relational data but remains transductive, providing no explicit mapping for unseen samples. We introduce an inductive framework based on barycentric distillation. A GW-MDS teacher learns a latent support and an optimal transport plan from the training data, and barycentric projection converts the resulting coupling into sample-aligned targets. A neural student then learns an explicit out-of-sample mapping, avoiding additional relational-matrix construction and GW optimization at inference. We formulate the approach for single-view data and extend it to Mean-GWMDS and Multi-GWMDS teachers through consensus and selected-projection targets learned by a multi-view student with view-specific encoders. We also investigate a direct neural baseline trained solely with a GW objective. Experiments on synthetic and real-world data using Euclidean, geodesic, and cosine relations show that the distilled models preserve the teacher geometry on unseen samples and consistently outperform direct neural GW training in sample-indexed relational preservation. These results establish barycentric projection as an effective bridge between transductive GW embeddings and inductive neural mappings.