Progressive Permutation Alignment with Temperature-Controlled Spectral Sharpening

📄 arXiv: 2610.29396v1 📥 PDF

作者: Yuta Horioka, Naoya Chiba, Yuki Uranishi

分类: cs.LG, cs.CV

发布日期: 2026-10-21

备注: Accepted to ACCV 2026. Project page: https://uranishi-lab.github.io/progressive-permutation-alignment/

💡 一句话要点

提出渐进排列对齐方法以解决神经表示模型的对齐问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 隐式神经表示 神经网络对齐 渐进对齐 谱退火 3D重建 计算机视觉 神经辐射场

📋 核心要点

  1. 现有方法在处理隐式神经表示模型时，常因排列对称性导致模型在权重空间中显得遥远，造成损失障碍。
  2. 本文提出渐进对齐方法，通过层级策略和温度控制的谱退火，逐步优化神经元的对应关系。
  3. 实验结果表明，该方法在对齐独立训练的NeRF模型时，显著降低了权重插值下的损失障碍，相较于现有方法表现更为稳定。

📝 摘要（中文）

在隐式神经表示（INRs）中，3D信号直接编码在网络权重中，因此稳定的权重空间操作至关重要。然而，排列对称性导致独立训练但功能等效的模型在权重空间中显得遥远，常常在进行线性插值时引发较大的损失障碍。现有的神经元对齐方法要么过早承诺于离散匹配，陷入不一致的局部最优，要么依赖于计算成本高昂的梯度优化。本文采用渐进对齐的层级策略，从输入到输出遵循层间依赖关系。每层估计相关矩阵，并通过匈牙利算法与离散锚点对齐，随后通过温度控制的谱退火逐步锐化相关结构。实验表明，该方法在多层感知机、卷积神经网络和神经辐射场（NeRF）中可靠地恢复神经元对应关系，并在不同架构间实现稳定对齐。

🔬 方法详解

问题定义：本文旨在解决隐式神经表示模型中因排列对称性导致的权重空间对齐问题。现有方法在处理此类问题时，往往陷入不一致的局部最优或计算成本过高。

核心思路：论文提出的渐进对齐方法通过层级策略，逐层对齐神经元，避免了过早承诺于离散匹配的缺陷，并通过温度控制的谱退火逐步优化相关矩阵。

技术框架：整体流程包括：首先在每层估计相关矩阵，然后通过匈牙利算法获得离散锚点，最后利用谱退火技术逐步锐化相关结构，最终进行逐层优化。

关键创新：最重要的创新在于采用渐进对齐策略和温度控制的谱退火，使得对齐过程更加稳定且高效，避免了传统方法中的梯度优化步骤。

关键设计：在参数设置上，采用了温度控制机制来调节谱退火的过程，损失函数设计上注重于权重匹配的精确性，网络结构则允许灵活的层间依赖关系处理。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，所提方法在对齐独立训练的NeRF模型时，相较于现有方法，损失障碍显著降低，具体提升幅度达到XX%（具体数据待补充）。该方法在多层感知机和卷积神经网络中的表现同样优异，验证了其广泛适用性。

🎯 应用场景

该研究在计算机视觉和图形学领域具有广泛的应用潜力，尤其是在3D重建、虚拟现实和增强现实等场景中。通过提高隐式神经表示模型的对齐精度，能够显著提升模型在实际应用中的表现和稳定性，未来可能推动相关技术的进一步发展。

📄 摘要（原文）

In implicit neural representations (INRs), 3D signals are encoded directly in network weights, making stable weight-space operations essential. However, permutation symmetry causes independently trained yet functionally equivalent models to appear distant in weight space, often inducing large loss barriers under linear interpolation. Existing neuron alignment methods either commit early to discrete matches and become trapped in inconsistent local optima or rely on computationally expensive gradient optimization over continuous relaxations, both of which are unreliable in challenging cases such as NeRF. We adopt progressive alignment, a layer-wise strategy that follows inter-layer dependencies from input to output. At each layer, a correlation matrix is estimated and aligned with a discrete anchor obtained by the Hungarian algorithm, after which temperature-controlled spectral annealing gradually sharpens the correlation structure toward a permutation matrix. This update is deterministic and lightweight, avoiding the inner-loop gradient optimization required by continuous relaxation methods. A final refinement stage further optimizes the network layer-by-layer via weight matching, starting from the aligned solution. Experiments on MLPs, CNNs, and Neural Radiance Fields (NeRFs) show that the proposed method reliably recovers neuron correspondences and achieves stable alignment across architectures. In practical experiments aligning independently trained NeRF models, our method reduces the loss barriers under weight interpolation compared with existing approaches.