NOIR: Neural Operator mapping for Implicit Representations

📄 arXiv: 2603.13118v1 📥 PDF

作者: Sidaty El Hadramy, Nazim Haouchine, Michael Wehrli, Philippe C. Cattin

分类: cs.CV

发布日期: 2026-03-13

🔗 代码/项目: GITHUB

💡 一句话要点

NOIR：用于隐式表示的神经算子映射，解决医学图像任务中离散网格依赖问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 医学图像分析 隐式神经表示 神经算子 函数空间学习 分辨率无关 图像分割 图像重建

📋 核心要点

  1. 现有医学图像处理方法依赖于离散网格，限制了分辨率的灵活性和泛化能力。
  2. NOIR将医学图像任务视为连续函数空间之间的算子学习，利用隐式神经表示进行函数映射。
  3. 实验表明，NOIR在多种医学图像任务上表现出竞争力，并对未知的离散化具有鲁棒性。

📝 摘要（中文）

本文提出了一种名为NOIR的框架，它将核心医学成像任务重新定义为连续函数空间之间的算子学习，挑战了当前基于离散网格的深度学习范式。NOIR没有在固定的像素或体素网格上操作，而是将离散的医学信号嵌入到共享的隐式神经表示中，并学习一个神经算子，该算子在它们的潜在调制之间进行映射，从而实现与分辨率无关的函数到函数的转换。我们在多个2D和3D下游任务（包括分割、形状补全、图像到图像的转换和图像合成）上评估了NOIR，使用了Shenzhen、OASIS-4、SkullBreak、fastMRI等多个公共数据集以及内部临床数据集。它在原始分辨率下实现了具有竞争力的性能，同时对未见过的离散化表现出强大的鲁棒性，并且在经验上满足了神经算子的关键理论性质。

🔬 方法详解

问题定义：现有医学图像处理方法通常基于离散的像素或体素网格进行操作，这导致了几个问题：首先，这些方法对输入图像的分辨率敏感，需要进行插值或重采样等预处理步骤；其次，离散化过程本身会引入误差，影响最终结果的准确性；最后，基于离散网格的方法难以捕捉图像的连续性质，限制了模型的泛化能力。

核心思路：NOIR的核心思想是将医学图像视为连续函数，并学习一个神经算子来直接在函数空间中进行映射。具体来说，NOIR首先将离散的医学图像嵌入到共享的隐式神经表示中，然后学习一个神经算子来对这些隐式表示进行变换。这种方法避免了直接在离散网格上操作，从而实现了与分辨率无关的函数到函数的转换。

技术框架：NOIR的整体框架包括以下几个主要步骤：1) 输入编码：将离散的医学图像（例如CT扫描或MRI图像）编码为隐式神经表示。这通常通过一个神经网络来实现，该网络将图像坐标作为输入，并输出该坐标处的图像值。2) 神经算子学习：学习一个神经算子，该算子将一个隐式神经表示映射到另一个隐式神经表示。这个神经算子可以是一个深度神经网络，例如一个多层感知机（MLP）或一个卷积神经网络（CNN）。3) 输出解码：将神经算子的输出解码为所需的输出格式，例如分割掩码或重建图像。这通常通过另一个神经网络来实现，该网络将隐式神经表示作为输入，并输出所需的输出值。

关键创新：NOIR最重要的技术创新点在于它将医学图像处理任务重新定义为连续函数空间之间的算子学习。与传统的基于离散网格的方法相比，NOIR具有以下优势：1) 分辨率无关性：NOIR可以直接处理任意分辨率的图像，无需进行插值或重采样。2) 鲁棒性：NOIR对未知的离散化具有鲁棒性，这意味着它可以很好地泛化到不同的数据集和成像设备。3) 连续性：NOIR可以更好地捕捉图像的连续性质，从而提高模型的准确性和泛化能力。

关键设计：NOIR的关键设计包括以下几个方面：1) 隐式神经表示的选择：NOIR可以使用不同的隐式神经表示，例如MLP或SIREN。作者发现，SIREN在医学图像处理任务中表现更好。2) 神经算子的结构：NOIR可以使用不同的神经算子结构，例如MLP或CNN。作者发现，MLP在某些任务中表现更好，而CNN在其他任务中表现更好。3) 损失函数：NOIR可以使用不同的损失函数来训练神经算子。作者使用了多种损失函数，包括均方误差（MSE）损失、交叉熵损失和Dice损失。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

NOIR在多个医学图像任务上取得了具有竞争力的性能。例如，在图像分割任务中，NOIR在Shenzhen数据集上取得了与现有方法相当的性能，同时对未知的离散化表现出更强的鲁棒性。在形状补全任务中，NOIR在SkullBreak数据集上取得了显著的性能提升。此外，NOIR还成功应用于图像到图像的转换和图像合成任务，证明了其在医学图像处理领域的潜力。

🎯 应用场景

NOIR框架在医学图像分析领域具有广泛的应用前景，例如医学图像分割、形状补全、图像重建和图像合成等。它可以应用于疾病诊断、治疗计划和手术导航等多个方面，有望提高医疗效率和患者预后。此外，NOIR的与分辨率无关的特性使其特别适用于处理来自不同成像设备和协议的医学图像。

📄 摘要（原文）

This paper presents NOIR, a framework that reframes core medical imaging tasks as operator learning between continuous function spaces, challenging the prevailing paradigm of discrete grid-based deep learning. Instead of operating on fixed pixel or voxel grids, NOIR embeds discrete medical signals into shared Implicit Neural Representations and learns a Neural Operator that maps between their latent modulations, enabling resolution-independent function-to-function transformations. We evaluate NOIR across multiple 2D and 3D downstream tasks, including segmentation, shape completion, image-to-image translation, and image synthesis, on several public datasets such as Shenzhen, OASIS-4, SkullBreak, fastMRI, as well as an in-house clinical dataset. It achieves competitive performance at native resolution while demonstrating strong robustness to unseen discretizations, and empirically satisfies key theoretical properties of neural operators. The project page is available here: https://github.com/Sidaty1/NOIR-io.