NOFE -- Neural Operator Function Embedding

📄 arXiv: 2605.11970v1 📥 PDF

作者: Lars Uebbing, Harald L. Joakimsen, Siyan Chen, Georgios Leontidis, Kristoffer K. Wickstrøm, Michael C. Kampffmeyer, Sébastien Lefèvre, Arnt-Børre Salberg, Robert Jenssen

分类: cs.LG

发布日期: 2026-05-12

备注: 21 pages, 11 figures, 12 tables

💡 一句话要点

提出神经算子函数嵌入（NOFE），用于连续域上的降维，提升局部结构保持能力。

🎯 匹配领域: 支柱七：动作重定向 (Motion Retargeting)

关键词: 神经算子 函数嵌入 连续降维 图核算子 局部结构保持

📋 核心要点

  1. 传统降维方法忽略了数据内在的连续域结构，导致在处理连续过程数据时性能受限。
  2. NOFE 通过学习函数到函数的映射，实现了与输入离散化无关的连续域降维，保留了局部结构。
  3. 实验表明，NOFE 在局部结构保持和采样独立性方面显著优于现有方法，并生成平滑一致的嵌入。

📝 摘要（中文）

本文提出了一种领域感知的连续降维框架——神经算子函数嵌入（NOFE）。与传统方法将数据视为离散点云不同，NOFE 关注许多真实世界过程固有的连续域结构。NOFE 通过图核算子学习函数到函数的映射，从而实现与输入离散化无关的任意查询位置的无网格评估。理论上，NOFE 可以近似层到层的映射，将层神经网络推广到连续域。在不同数据集上的评估表明，NOFE 在局部结构保持方面显著优于 PCA、t-SNE 和 UMAP 等基线方法。例如，在 ERA5 气候再分析数据集上，NOFE 的局部 Stress 值为 0.111，而 PCA、t-SNE 和 UMAP 分别为 0.398、0.773 和 0.791。NOFE 还表现出强大的采样独立性，相对于 UMAP，Patch Stitching Error 降低高达 20.0 倍（区域归一化下分别为 59.0 和 267.6），并确保了不相交域块之间的一致性。在保持具有竞争力的全局结构保持能力的同时（Stress-1：0.379 vs. PCA 的 0.268），NOFE 解决了细粒度结构，并产生了平滑、一致的嵌入，可以推广到不同的样本密度，从而解决了离散降维方法的关键局限性。

🔬 方法详解

问题定义：现有降维方法通常将数据视为离散点云，忽略了许多实际应用中数据固有的连续域结构。例如，气候数据、物理模拟结果等，这些数据本质上是定义在连续空间上的函数。传统方法在处理这些数据时，容易丢失局部结构信息，并且对采样密度敏感。因此，如何有效地对连续域上的数据进行降维，同时保持数据的局部结构和采样独立性，是一个重要的挑战。

核心思路：NOFE 的核心思路是学习函数到函数的映射，而不是点到点的映射。具体来说，它利用图核算子来学习这种映射关系，使得降维后的数据仍然能够反映原始数据的连续域结构。通过这种方式，NOFE 可以实现与输入离散化无关的降维，并且能够更好地保持数据的局部结构。这种设计使得 NOFE 能够处理不同采样密度下的数据，并生成平滑一致的嵌入。

技术框架：NOFE 的整体框架包括以下几个主要步骤：1) 使用图核算子构建输入数据的图表示；2) 利用神经网络学习图上的函数到函数的映射；3) 在任意查询位置评估学习到的映射，得到降维后的数据。具体来说，首先将输入数据表示为一个图，其中节点表示数据点，边表示数据点之间的关系。然后，利用神经网络学习图上的函数到函数的映射，这个映射将原始数据映射到低维空间。最后，在任意查询位置评估学习到的映射，得到降维后的数据。

关键创新：NOFE 的关键创新在于它将降维问题视为一个函数到函数的映射问题，而不是一个点到点的映射问题。这种方法能够更好地保持数据的连续域结构，并且能够实现与输入离散化无关的降维。此外，NOFE 还利用图核算子来构建输入数据的图表示，这使得它能够有效地处理非结构化数据。NOFE 也是对 Sheaf Neural Networks 的推广，将其从离散域推广到连续域。

关键设计：NOFE 的关键设计包括：1) 图核算子的选择，不同的图核算子会影响到图表示的质量；2) 神经网络的结构，不同的神经网络结构会影响到函数到函数的映射的学习效果；3) 损失函数的设计，损失函数需要能够保证降维后的数据能够保持原始数据的局部结构和采样独立性。论文中使用了局部 Stress 作为损失函数的一部分，以保证局部结构的保持。此外，还使用了 Patch Stitching Error 来评估采样独立性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，NOFE 在局部结构保持方面显著优于 PCA、t-SNE 和 UMAP 等基线方法。在 ERA5 气候再分析数据集上，NOFE 的局部 Stress 值为 0.111，而 PCA、t-SNE 和 UMAP 分别为 0.398、0.773 和 0.791。NOFE 还表现出强大的采样独立性，相对于 UMAP，Patch Stitching Error 降低高达 20.0 倍（区域归一化下分别为 59.0 和 267.6）。

🎯 应用场景

NOFE 在气候科学、物理模拟、医学图像分析等领域具有广泛的应用前景。例如，可以用于对气候数据进行降维，从而更好地理解气候变化；可以用于对物理模拟结果进行降维，从而加速模拟过程；可以用于对医学图像进行降维，从而辅助疾病诊断。NOFE 的实际价值在于它能够有效地处理连续域上的数据，并且能够保持数据的局部结构和采样独立性。未来，NOFE 可以进一步推广到其他领域，例如自然语言处理、计算机视觉等。

📄 摘要（原文）

Most dimensionality reduction methods treat data as discrete point clouds, ignoring the continuous domain structure inherent to many real-world processes. To bridge this gap, we introduce Neural Operator Function Embedding (NOFE), a domain-aware framework for continuous dimensionality reduction. NOFE learns function-to-function mappings via a Graph Kernel Operator, enabling mesh-free evaluation at arbitrary query locations independent of input discretization. We establish NOFE as approximation of sheaf-to-sheaf mappings, generalizing Sheaf Neural Networks to continuous domains. We evaluate NOFE across different datasets, comparing it against PCA, t-SNE, and UMAP. Our results demonstrate that NOFE significantly outperforms baselines in local structure preservation, achieving a local Stress of 0.111 compared to 0.398 for PCA, 0.773 for t-SNE, and 0.791 for UMAP for the ERA5 climate reanalysis dataset. NOFE also exhibits robust sampling independence, reducing the Patch Stitching Error by up to $20.0\times$ relative to UMAP (59.0 vs. 267.6 under regional normalization) and ensuring consistency across disjoint domain patches. While maintaining competitive global structure preservation (Stress-1: 0.379 vs. PCA's 0.268), NOFE resolves fine-grained structures and produces smooth, consistent embeddings that generalize across varying sample densities, addressing key limitations of discrete reduction methods.