The Symmetric Perceptron: a Teacher-Student Scenario
作者: Giovanni Catania, Aurélien Decelle, Suhanee Korpe
分类: cond-mat.dis-nn, cond-mat.stat-mech, cs.LG
发布日期: 2026-03-26
备注: 19 pages, 6 figures
💡 一句话要点
提出对称感知器师生框架，解决任意样本密度下的植入推断问题。
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 对称感知器 师生学习 植入推断 相图分析 高维极限
📋 核心要点
- 传统感知器模型侧重存储容量，缺乏在任意样本密度下保证解的植入推断框架。
- 论文提出对称感知器的师生模型，通过调整势函数和引入标签，将其转化为植入推断问题。
- 研究揭示了样本密度、距离和温度等参数对学习过程的影响，并识别出鲁棒的学习场景。
📝 摘要（中文）
本文提出并解决了对称二元感知器的师生模型，将传统上以存储为导向的模型转变为一个植入推断问题，保证在任何样本密度下都能获得解。我们调整了对称感知器的公式，该公式传统上考虑U型势或矩形势，通过在两个区域中都包含标签。通过这种公式，我们分析了无噪声样本下的贝叶斯最优状态，以及两种不同势/分类规则下热噪声的影响。在高维极限下，使用退火和淬灭自由熵计算，我们绘制了三个控制参数（即样本密度α、原点与对称超平面之一的距离κ和温度T）下的相图，并确定了一个鲁棒的场景，其中学习由二阶不稳定性组织，该不稳定性创建了与教师相关的次优状态，然后是一阶跃迁到完全对齐。我们展示了这种结构如何依赖于势的选择，次优解的亚稳态及其融化到植入配置之间的相互作用，这与基于蒙特卡罗的优化算法相关。
🔬 方法详解
问题定义：传统感知器模型主要关注其存储能力，即在给定数量的样本下，模型能够存储多少信息。然而，这种模型缺乏一个明确的推断框架，尤其是在样本密度较高的情况下，难以保证找到一个与教师模型一致的解。现有的对称感知器模型通常只考虑U型或矩形势，并且标签信息的使用不够充分。
核心思路：论文的核心思路是将对称感知器模型转化为一个师生学习的植入推断问题。通过引入教师模型，并让学生模型学习教师模型的决策边界，从而实现推断。关键在于调整对称感知器的公式，使其在U型和矩形势的两个区域都包含标签信息，从而更有效地利用数据。
技术框架：该研究采用师生学习框架，其中教师模型生成带标签的数据，学生模型则尝试学习教师模型的决策边界。研究通过在高维极限下计算退火和淬灭自由熵，来分析模型的相图。相图的控制参数包括样本密度α、原点与对称超平面之间的距离κ和温度T。通过分析相图，可以确定模型在不同参数下的学习行为。
关键创新：该研究的关键创新在于将对称感知器模型转化为一个植入推断问题，并分析了该问题在高维极限下的相图。通过这种方式，研究揭示了样本密度、距离和温度等参数对学习过程的影响，并识别出一个鲁棒的学习场景，其中学习由二阶不稳定性组织，然后是一阶跃迁到完全对齐。
关键设计：论文的关键设计包括：1) 调整对称感知器的公式，使其在U型和矩形势的两个区域都包含标签信息；2) 使用退火和淬灭自由熵计算来分析模型的相图；3) 分析样本密度α、原点与对称超平面之间的距离κ和温度T对学习过程的影响。
🖼️ 关键图片
📊 实验亮点
研究通过理论分析，在高维极限下绘制了模型的相图，揭示了样本密度、距离和温度等参数对学习过程的影响。结果表明，存在一个鲁棒的学习场景，其中学习由二阶不稳定性组织，然后是一阶跃迁到完全对齐。这种学习结构依赖于势的选择，以及次优解的亚稳态及其融化到植入配置之间的相互作用。
🎯 应用场景
该研究成果可应用于二元分类问题，尤其是在数据分布具有对称性的场景下。例如，在金融风险评估、医学诊断等领域，可以利用该模型进行更准确的分类预测。此外，该研究对于理解神经网络的学习过程和优化算法的设计也具有一定的指导意义。
📄 摘要（原文）
We introduce and solve a teacher-student formulation of the symmetric binary Perceptron, turning a traditionally storage-oriented model into a planted inference problem with a guaranteed solution at any sample density. We adapt the formulation of the symmetric Perceptron which traditionally considers either the u-shaped potential or the rectangular one, by including labels in both regions. With this formulation, we analyze both the Bayes-optimal regime at for noise-less examples and the effect of thermal noise under two different potential/classification rules. Using annealed and quenched free-entropy calculations in the high-dimensional limit, we map the phase diagram in the three control parameters, namely the sample density $α$, the distance between the origin and one of the symmetric hyperplanes $κ$ and temperature $T$, and identify a robust scenario where learning is organized by a second-order instability that creates teacher-correlated suboptimal states, followed by a first-order transition to full alignment. We show how this structure depends on the choice of potential, the interplay between metastability of the suboptimal solution and its melting towards the planted configuration, which is relevant for Monte Carlo-based optimization algorithms.