Unsupervised local learning based on voltage-dependent synaptic plasticity for resistive and ferroelectric synapses
作者: Nikhil Garg, Ismael Balafrej, Joao Henrique Quintino Palhares, Laura Bégon-Lours, Davide Florini, Donato Francesco Falcone, Tommaso Stecconi, Valeria Bragaglia, Bert Jan Offrein, Jean-Michel Portal, Damien Querlioz, Yann Beilliard, Dominique Drouin, Fabien Alibart
分类: cs.NE, cs.AI, cs.ET, cs.LG, eess.SY
发布日期: 2025-10-28
💡 一句话要点
提出基于电压依赖突触可塑性的无监督局部学习方法,适用于阻变和铁电突触。
🎯 匹配领域: 支柱八:物理动画 (Physics-based Animation)
关键词: 忆阻器 电压依赖突触可塑性 无监督学习 脉冲神经网络 边缘计算
📋 核心要点
- 边缘计算设备上部署AI面临能耗和功能性挑战,类脑学习机制能以低功耗实现实时自适应。
- 提出电压依赖突触可塑性(VDSP)方法,用于忆阻器突触的无监督局部学习,无需复杂电路。
- 在MNIST数据集上验证了VDSP在三种忆阻器件上的有效性,准确率超过83%,并分析了器件变异性的影响。
📝 摘要(中文)
本研究提出了一种基于电压依赖突触可塑性(VDSP)的无监督局部学习方法,适用于忆阻器突触,并遵循赫布原理。该方法无需复杂的脉冲整形电路,即可实现在线学习,克服了传统脉冲时序依赖可塑性(STDP)的局限性。研究表明,VDSP可以应用于三种具有不同开关特性的忆阻器件:基于TiO$_2$和HfO$_2$的金属氧化物丝状突触,以及基于HfZrO$_4$的铁电隧道结(FTJ)。通过对包含这些器件的脉冲神经网络进行系统级仿真,验证了其在基于MNIST的模式识别任务中的无监督学习能力,在200个神经元的情况下,所有器件的准确率均超过83%,达到了当前最优水平。此外,还评估了器件变异性(如开关阈值和高低阻态比)的影响,并提出了增强鲁棒性的缓解策略。
🔬 方法详解
问题定义:边缘计算设备上的AI部署面临着能耗高和功能受限的挑战。传统的脉冲时序依赖可塑性(STDP)学习方法虽然有效,但需要复杂的脉冲整形电路,增加了硬件开销和功耗,限制了其在资源受限的边缘设备上的应用。因此,需要一种更简单、更高效的无监督学习方法,能够直接利用忆阻器件的特性进行在线学习。
核心思路:本研究的核心思路是利用电压依赖突触可塑性(VDSP)来实现无监督局部学习。VDSP直接利用施加在忆阻器上的电压来调节突触权重,避免了复杂的脉冲整形电路。通过精心设计电压信号,可以使忆阻器的电阻根据赫布原理进行调整,从而实现学习过程。这种方法简化了学习过程,降低了硬件复杂度和功耗。
技术框架:该研究的技术框架包括三个主要部分:忆阻器件的建模与表征、VDSP学习规则的设计与实现、以及基于脉冲神经网络的系统级仿真。首先,对三种不同类型的忆阻器件(TiO$_2$, HfO$_2$-based metal-oxide filamentary synapses, and HfZrO$_4$-based ferroelectric tunnel junctions (FTJ))进行建模,并提取其电压-电阻特性。然后,基于这些特性设计VDSP学习规则,确定合适的电压信号和更新策略。最后,将这些忆阻器件集成到脉冲神经网络中,并在MNIST数据集上进行无监督学习仿真。
关键创新:该研究的关键创新在于提出了VDSP方法,并将其成功应用于多种忆阻器件。与传统的STDP方法相比,VDSP无需复杂的脉冲整形电路,降低了硬件复杂度和功耗。此外,该研究还评估了器件变异性对学习性能的影响,并提出了相应的缓解策略,提高了系统的鲁棒性。
关键设计:VDSP的关键设计在于电压信号的幅度和持续时间。研究人员根据不同忆阻器件的特性,设计了不同的电压信号,以实现有效的突触权重更新。此外,还采用了合适的学习率和权重更新策略,以保证学习过程的稳定性和收敛性。在神经网络结构方面,使用了包含200个神经元的脉冲神经网络,并在MNIST数据集上进行了无监督学习。
🖼️ 关键图片
📊 实验亮点
实验结果表明,基于VDSP的无监督学习方法在MNIST数据集上取得了超过83%的准确率,与现有技术水平相当。此外,该研究还评估了器件变异性对学习性能的影响,并提出了相应的缓解策略,提高了系统的鲁棒性。这些结果验证了VDSP方法在忆阻器上的有效性和可行性。
🎯 应用场景
该研究成果可应用于边缘计算设备上的AI加速,例如智能传感器、可穿戴设备和物联网设备。通过利用低功耗的忆阻器和VDSP学习方法,可以实现设备上的实时自适应学习,提高设备的智能化水平和能源效率。未来,该技术有望推动边缘AI的发展,实现更广泛的应用。
📄 摘要(原文)
The deployment of AI on edge computing devices faces significant challenges related to energy consumption and functionality. These devices could greatly benefit from brain-inspired learning mechanisms, allowing for real-time adaptation while using low-power. In-memory computing with nanoscale resistive memories may play a crucial role in enabling the execution of AI workloads on these edge devices. In this study, we introduce voltage-dependent synaptic plasticity (VDSP) as an efficient approach for unsupervised and local learning in memristive synapses based on Hebbian principles. This method enables online learning without requiring complex pulse-shaping circuits typically necessary for spike-timing-dependent plasticity (STDP). We show how VDSP can be advantageously adapted to three types of memristive devices (TiO$_2$, HfO$_2$-based metal-oxide filamentary synapses, and HfZrO$_4$-based ferroelectric tunnel junctions (FTJ)) with disctinctive switching characteristics. System-level simulations of spiking neural networks incorporating these devices were conducted to validate unsupervised learning on MNIST-based pattern recognition tasks, achieving state-of-the-art performance. The results demonstrated over 83% accuracy across all devices using 200 neurons. Additionally, we assessed the impact of device variability, such as switching thresholds and ratios between high and low resistance state levels, and proposed mitigation strategies to enhance robustness.