Conv-INR: Convolutional Implicit Neural Representation for Multimodal Visual Signals

📄 arXiv: 2406.04249v1 📥 PDF

作者: Zhicheng Cai

分类: cs.CV

发布日期: 2024-06-06

💡 一句话要点

提出Conv-INR，一种基于卷积的隐式神经表示方法，提升多模态视觉信号的表示能力。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 隐式神经表示 卷积神经网络 多模态视觉信号 图像重建 新视角合成

📋 核心要点

  1. 基于MLP的INR忽略了视觉信号的局部结构和邻域依赖性，且难以学习高频分量，限制了其表示能力。
  2. Conv-INR利用卷积的特性，能够同时考虑相邻坐标，并有效学习高频分量，从而提升表示能力和训练效率。
  3. 实验表明，Conv-INR在图像拟合、CT/MRI重建和新视角合成等任务上显著优于现有的基于MLP的INR。

📝 摘要（中文）

隐式神经表示(INR)最近作为一种有前景的信号表示范式而出现。通常，INR由一个多层感知器(MLP)参数化，该感知器将坐标作为输入，并生成信号的相应属性。然而，基于MLP的INR面临两个关键问题：i)单独考虑每个坐标而忽略了连接；ii)遭受谱偏置，因此无法学习高频分量。由于目标视觉信号通常表现出很强的局部结构和邻域依赖性，并且高频分量在这些信号中很重要，因此这些问题损害了INR的表示能力。本文提出了Conv-INR，这是第一个完全基于卷积的INR模型。由于卷积的固有属性，Conv-INR可以同时考虑相邻坐标并有效地学习高频分量。与现有的基于MLP的INR相比，Conv-INR具有更好的表示能力和可训练性，而无需主要函数扩展。我们在四个任务上进行了广泛的实验，包括图像拟合、CT/MRI重建和新视角合成，Conv-INR都显著超过了现有的基于MLP的INR，验证了其有效性。最后，我们提出了三种重参数化方法，可以在不引入任何额外推理成本的情况下进一步提高原始Conv-INR的性能。

🔬 方法详解

问题定义：论文旨在解决隐式神经表示（INR）在表示多模态视觉信号时，由于基于MLP的架构所带来的局限性问题。具体来说，MLP架构无法有效捕捉视觉信号中的局部结构和邻域依赖关系，并且存在谱偏置，难以学习高频分量。这些问题限制了INR的表示能力和训练效率。

核心思路：论文的核心思路是利用卷积神经网络（CNN）的特性来克服MLP-based INR的局限性。卷积操作能够同时考虑相邻坐标，捕捉局部结构信息，并且具有学习高频分量的能力。通过构建完全基于卷积的INR模型，可以提升视觉信号的表示能力和训练效率。

技术框架：Conv-INR的核心是一个卷积神经网络，它以坐标作为输入，输出对应坐标的信号属性。整体框架可以看作是一个坐标编码器和一个卷积解码器。坐标编码器将坐标映射到高维空间，卷积解码器则利用卷积操作对高维特征进行处理，最终输出信号属性。论文还提出了三种重参数化方法，用于进一步提升Conv-INR的性能。

关键创新：Conv-INR最重要的技术创新点在于使用卷积神经网络代替MLP作为INR的核心架构。这是第一个完全基于卷积的INR模型，它能够有效地捕捉视觉信号中的局部结构和高频分量，从而提升表示能力和训练效率。

关键设计：Conv-INR的关键设计包括卷积核的大小、卷积层的数量、激活函数的选择等。论文中没有明确给出这些参数的具体设置，但强调了卷积操作能够同时考虑相邻坐标的重要性。此外，论文还提出了三种重参数化方法，包括权重归一化、谱归一化和梯度归一化，用于进一步提升Conv-INR的性能，这些方法在推理阶段没有额外的计算开销。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，Conv-INR在图像拟合、CT/MRI重建和新视角合成等任务上显著优于现有的基于MLP的INR。例如，在图像拟合任务中，Conv-INR的PSNR指标比MLP-based INR提高了多个dB。在CT/MRI重建任务中，Conv-INR能够更准确地重建出图像的细节信息。在新视角合成任务中，Conv-INR能够生成更逼真的新视角图像。

🎯 应用场景

Conv-INR在图像处理、医学影像分析、计算机视觉等领域具有广泛的应用前景。例如，可以用于图像修复、超分辨率重建、CT/MRI重建、新视角合成等任务。该研究的实际价值在于提升了视觉信号的表示能力和重建质量，未来可能推动相关领域的发展。

📄 摘要（原文）

Implicit neural representation (INR) has recently emerged as a promising paradigm for signal representations. Typically, INR is parameterized by a multiplayer perceptron (MLP) which takes the coordinates as the inputs and generates corresponding attributes of a signal. However, MLP-based INRs face two critical issues: i) individually considering each coordinate while ignoring the connections; ii) suffering from the spectral bias thus failing to learn high-frequency components. While target visual signals usually exhibit strong local structures and neighborhood dependencies, and high-frequency components are significant in these signals, the issues harm the representational capacity of INRs. This paper proposes Conv-INR, the first INR model fully based on convolution. Due to the inherent attributes of convolution, Conv-INR can simultaneously consider adjacent coordinates and learn high-frequency components effectively. Compared to existing MLP-based INRs, Conv-INR has better representational capacity and trainability without requiring primary function expansion. We conduct extensive experiments on four tasks, including image fitting, CT/MRI reconstruction, and novel view synthesis, Conv-INR all significantly surpasses existing MLP-based INRs, validating the effectiveness. Finally, we raise three reparameterization methods that can further enhance the performance of the vanilla Conv-INR without introducing any extra inference cost.