LAIR-Net: Leaky Alignment-Impulse Residual Networks for Tabular Regression

📄 arXiv: 2610.11538v1 📥 PDF

作者: Rahul Goswami, Aryan Bhambu, Bittu Karmakar

分类: stat.ML, cs.LG

发布日期: 2026-10-08

💡 一句话要点

提出LAIR-Net以解决表格回归中的非线性目标学习问题

🎯 匹配领域: 支柱八：物理动画 (Physics-based Animation)

关键词: 表格回归 深度学习 随机模型 非线性学习 残差网络 输入扰动 数据分析 模型创新

📋 核心要点

  1. 现有的深度随机模型在处理非线性目标时，缺乏对隐藏状态演变的有效控制，导致性能受限。
  2. LAIR-Net通过引入泄漏残差机制，将浅层学习的锚点融入隐藏状态，从而增强模型的学习能力。
  3. 在23个基准数据集上，LAIR-Net的平均排名优于其他随机和传统模型，显示出显著的性能提升。

📝 摘要（中文）

深度随机模型通过随机初始化固定隐藏层参数，仅学习封闭形式的输出，通常通过堆叠随机变换增加深度，而缺乏对隐藏状态演变的目标感知控制。本文提出了LAIR-Net，即泄漏对齐-脉冲残差网络，通过泄漏残差过渡将浅层学习的锚点混合到每个隐藏状态中。我们推导了输入扰动敏感性的深度均匀界限，并通过受控模拟将相对于随机基线的性能提升归因于锚点，而非递归或增加的容量。在23个基准数据集上，LAIR-Net在八个随机网络和十二个传统模型中实现了最佳平均排名，其相对性能与模拟中识别的相同非线性结构和噪声量相关。

🔬 方法详解

问题定义：本文旨在解决深度随机模型在表格回归任务中对非线性目标学习的不足，现有方法在处理复杂目标时表现不佳，缺乏对隐藏状态的有效控制。

核心思路：LAIR-Net的核心思想是通过泄漏残差过渡将浅层学习的锚点引入每个隐藏状态，从而提高模型对非线性结构的学习能力，并增强对输入扰动的鲁棒性。

技术框架：LAIR-Net的整体架构包括输入层、多个隐藏层和输出层。每个隐藏层通过泄漏残差机制与浅层锚点相结合，形成深度网络的有效学习路径。

关键创新：LAIR-Net的主要创新在于引入了泄漏残差过渡机制，这一设计使得模型能够在保持深度的同时，增强对非线性目标的学习能力，与传统的随机模型相比，具有更好的性能和灵活性。

关键设计：在网络结构中，LAIR-Net采用了特定的损失函数以优化对非线性目标的学习，同时设置了适当的超参数以平衡模型的复杂性和学习能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在23个基准数据集上，LAIR-Net的平均排名优于八个随机网络和十二个传统模型，显示出显著的性能提升。相较于随机基线，LAIR-Net的性能提升主要归因于其引入的锚点机制，尤其在处理非线性目标时表现突出。

🎯 应用场景

LAIR-Net在表格数据回归任务中具有广泛的应用潜力，尤其适用于金融预测、医疗数据分析和市场趋势分析等领域。其创新的模型设计能够有效处理复杂的非线性关系，提升预测精度，具有重要的实际价值和未来影响。

📄 摘要（原文）

Deep randomized models fix hidden-layer parameters through random initialization and learn only closed-form readouts, typically adding depth by stacking random trans formations without target-aware control of hidden-state evolution. We propose LAIR Net, the Leaky Alignment-Impulse Residual Network, which mixes a shallow learned anchor into each hidden state through a leaky residual transition. We derive a depth uniform bound on input-perturbation sensitivity and use controlled simulations to attribute gains over a randomized baseline to the anchor rather than recursion or added capacity. Benefits emerge when a nonlinear target structure is learnable at the available noise level and diminish for nearly linear targets or dominant noise. Across 23 benchmark datasets, LAIR-Net achieves the best average rank among eight randomized networks and twelve conventional models, with relative performance associated with the same nonlinear-structure and noise quantities identified in simulation.