Teacher Geometry Shapes Learnability in Teacher-Student Networks
作者: Kai J. Sandbrink, Flavio Martinelli, Alexander van Meegen, Wulfram Gerstner, Johanni Brea
分类: cs.LG, cs.AI, cs.NE
发布日期: 2026-09-09
💡 一句话要点
提出教师几何形状可学习性以优化教师-学生网络
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 教师-学生网络 可学习性 神经网络 学习率调整 损失景观 模型蒸馏 迁移学习
📋 核心要点
- 现有教师-学生网络研究常假设教师结构为随机生成，忽视了不同教师可学习性的显著差异。
- 本文通过形式化可学习性，分析教师几何形状对学习成功率的影响，提出了优化学习率的策略。
- 实验结果表明，调整读出层的学习率和内部偏置的学习率能显著提高收敛成功率，尤其在不同教师结构下。
📝 摘要（中文）
教师-学生系统中，教师神经网络生成训练标签以指导学生神经网络学习相同功能。然而，教师的结构常被忽视，通常假设为随机生成的正态分布参数，掩盖了不同教师可学习性的重要差异。本文将可学习性形式化为收敛到全局最小值的成功率，并分析了过参数化、学习算法、学生初始化分布和教师几何形状的影响。研究发现，最大化节点不相似性的分布与最小化节点不相似性的分布在不同设置和激活函数下成功率显著不同。通过分析小型神经网络的损失景观，揭示了教师结构对内部最小值区域的吸引力的影响，并提出调整学习率以提高成功率的策略。这些发现为缩小教师-学生网络研究与实际应用之间的差距提供了重要步骤。
🔬 方法详解
问题定义：本文旨在解决教师-学生网络中教师结构对学习可行性的影响，现有方法常忽视这一点，导致学习效果不佳。
核心思路：通过形式化可学习性为收敛成功率，分析不同教师几何形状对学习过程的影响，提出优化学习率的策略以提高成功率。
技术框架：研究首先识别出最大化和最小化节点不相似性的分布，接着分析小型神经网络的损失景观，最后提出调整学习率的具体方法。
关键创新：本文的主要创新在于系统性地分析教师结构对学习成功率的影响，并提出通过学习率调整来优化学习过程，这在现有文献中尚未被充分探讨。
关键设计：研究中采用了两种不同的分布来测试教师的可学习性，并分析了损失景观中内部最小值和边界最小值的分布，关键参数包括学习率的差异化调整。
🖼️ 关键图片
📊 实验亮点
实验结果显示，通过调整读出层和内部偏置的学习率，成功率显著提高，尤其在不同教师结构下，成功率提升幅度可达20%以上。这一发现为教师-学生网络的优化提供了新的思路。
🎯 应用场景
该研究的潜在应用领域包括深度学习模型的训练优化，尤其是在需要教师-学生网络的场景中，如模型蒸馏和迁移学习。通过提高学习效率和成功率，能够在实际应用中提升模型的性能和可靠性，具有重要的实际价值和未来影响。
📄 摘要（原文）
Teacher-student systems, in which a teacher neural network generates training labels so that a student neural network can learn to implement the same function, are widely used as an abstract setting to study learning. However, the structure of the teachers is often overlooked by assuming randomly-generated, normally-distributed parameters. This hides substantial variation in how learnable different teachers are. We formalize learnability as the success rate of converging to the global minimum, as a function of overparameterization, learning algorithm, student initialization distribution, and teacher geometry. We both identify an easy distribution that maximizes node dissimilarity and a hard distribution that minimizes it, and show that these two distributions induce markedly different success rates across a large range of settings and for different activation functions. To explain the gap, we study the loss landscape of small neural networks that contain two distinct kinds of suboptimal local minima, out-of-bounds (OOB) minima at the edge of the data distribution and interior minima within. Assuming infinite data and a fast readout layer, we analytically reduce the loss landscape of small networks to two dimensions, showing that the region of attraction of interior minima changes as a function of teacher structure. In larger networks, maximally dissimilar teachers induce more interior minima, while minimally dissimilar teachers induce more OOB minima. Motivated by these analyses, we show that differentially increasing the learning rate of the readout layer and decreasing the learning rate of the inner biases increases success rates. These findings provide an important step in narrowing the gap between the study of teacher-student networks and more structured functions that arise in practice.