Optimization Encoders: Rethinking Second-Order Meta-Learning for Neural Fields

📄 arXiv: 2610.08075v1 📥 PDF

作者: Rudolf L. M. van Herten, Soufiane Ben Haddou, Rachit Saluja, Johannes C. Paetzold

分类: cs.LG, cs.CV

发布日期: 2026-10-06

💡 一句话要点

提出优化编码器以改进神经场的元学习

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱七：动作重定向 (Motion Retargeting)

关键词: 条件神经场 元学习 优化编码器 自注意力机制 图像重建 3D形状重建 语义预测

📋 核心要点

  1. 现有的条件神经场在推断潜在表示时面临有效性不足的问题，尤其是在元学习框架下。
  2. 本文提出优化编码器的概念，通过将潜在优化与解码器设计结合，实现了二阶元学习的端到端训练。
  3. 实验结果显示，MetaLF在图像和3D形状重建中显著提高了保真度，且在少量梯度更新内表现出色。

📝 摘要（中文）

条件神经场通过连续表示信号，但其有效性依赖于如何从观察数据中推断条件潜在表示。在元学习中，这种编码通过解码器引发的梯度更新进行，直接将表示学习与解码器设计联系起来。本文将潜在优化形式化为优化编码器，统一了二阶微分、潜在参数化和任务监督的角色。基于这一视角，提出了注意力潜在场（MetaLF），一种基于变换器的神经场，通过自注意力对潜在点云进行上下文化。这种交互不仅影响场的预测，还影响构建其表示的更新，使局部观察能够影响一致的非局部结构。通过在测试时仅使用重建潜在适应，重构、分类和分割在端到端的元学习框架中得以统一。实验表明，MetaLF在图像和3D形状重建中，在三到五次梯度更新内提高了保真度，同时支持跨图像、形状和体积的语义预测。

🔬 方法详解

问题定义：本文旨在解决条件神经场在元学习中潜在表示推断的有效性不足，现有方法未能充分利用解码器设计与表示学习的关系。

核心思路：通过将潜在优化视为优化编码器，统一二阶微分、潜在参数化和任务监督，提出了一种新的框架来实现端到端的训练。

技术框架：整体架构包括优化编码器和解码器，使用自注意力机制对潜在点云进行上下文化，形成一个协同的神经场。

关键创新：引入了注意力潜在场（MetaLF），通过自注意力机制增强了潜在表示的上下文信息，区别于传统方法的线性或固定结构。

关键设计：在模型设计中，采用了特定的损失函数来优化重建和分类任务，确保在测试时仅通过重建潜在适应来实现有效的任务执行。具体参数设置和网络结构细节在实验部分进行了详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，MetaLF在图像和3D形状重建中，经过三到五次梯度更新后，保真度显著提高，且在语义预测任务中表现优异，相较于基线方法有明显的性能提升。

🎯 应用场景

该研究的潜在应用领域包括计算机视觉中的图像重建、3D形状重建以及语义分割等任务。通过优化编码器的设计，能够在多个领域实现更高效的表示学习和任务适应，未来可能推动智能系统在复杂场景下的表现。

📄 摘要（原文）

Conditional neural fields represent signals continuously, but their effectiveness depends on how the conditional latent representations are inferred from observed data. In meta-learning, this encoding occurs through gradient updates induced by the decoder, tying representation learning directly to decoder design. We formalize this connection by interpreting latent optimization as an optimization encoder, unifying the roles of second-order differentiation, latent parameterization, and task supervision. This concept enables second-order meta-learning for end-to-end training of the encoding procedure alongside the decoder, and clarifies which learning pathway first-order approximations discard. Guided by this view, we introduce Attentive Latent Fields (MetaLF), an equivariant transformer-based neural field that contextualizes a latent pointcloud through self-attention. These interactions shape both field predictions and the updates that construct their representation, allowing local observations to inform coherent non-local structure. Disentangling the inner encoding objective from outer task supervision unifies reconstruction, classification, and segmentation within an end-to-end meta-learning framework, using reconstruction-only latent adaptation at test time. Controlled experiments on polynomial fields link latent coordination to lower effective rank and stronger alignment with the underlying function space. Across image and 3D shape reconstruction, MetaLF improves fidelity within three to five gradient updates, while supporting semantic prediction across images, shapes, and volumes. Together, these findings position the optimization encoder perspective as a unified basis for designing neural fields around how representations are constructed, coordinated, and used.