On-Chip Learning with Memristor-Based Neural Networks: Assessing Accuracy and Efficiency Under Device Variations, Conductance Errors, and Input Noise

📄 arXiv: 2408.14680v1 📥 PDF

作者: M. Reza Eslami, Dhiman Biswas, Soheib Takhtardeshir, Sarah S. Sharif, Yaser M. Banad

分类: cs.NE, cond-mat.mtrl-sci, cs.LG

发布日期: 2024-08-26

💡 一句话要点

提出基于忆阻器的片上学习硬件加速器，提升抗干扰能力与能效

🎯 匹配领域: 支柱八：物理动画 (Physics-based Animation)

关键词: 忆阻器 片上学习 存内计算 硬件加速器 噪声注入 鲁棒性 低功耗 边缘计算

📋 核心要点

  1. 现有片上学习硬件易受器件差异、电导误差和输入噪声的影响，导致精度和效率降低。
  2. 利用忆阻器存内计算特性，设计片上训练硬件加速器，通过噪声注入提高鲁棒性，优化训练流程。
  3. 实验表明，该硬件在噪声环境下仍能保持较高精度，且省略复位脉冲可显著降低训练时间和能耗。

📝 摘要（中文）

本文提出了一种基于忆阻器的存内计算硬件加速器，用于片上训练和推理，重点关注其在器件差异、电导误差和输入噪声下的准确性和效率。该研究利用商用银基金属自导向通道（M-SDC）忆阻器的实际SPICE模型，将固有的器件非理想性纳入电路仿真中。该硬件包含30个忆阻器和4个神经元，利用三种不同的钨、铬和碳介质的M-SDC结构来执行二元图像分类任务。片上训练算法精确调整忆阻器电导以达到目标权重。结果表明，在训练期间加入适度的噪声（<15%）可增强对器件差异和噪声输入数据的鲁棒性，即使存在电导变化和输入噪声，也能达到高达97%的准确率。该网络可容忍10%的电导误差而不会造成明显的精度损失。值得注意的是，在训练期间省略初始忆阻器复位脉冲可显著减少训练时间和能量消耗。使用铬基忆阻器设计的硬件表现出卓越的性能，实现了2.4秒的训练时间和18.9 mJ的能量消耗。这项研究为开发用于边缘应用中片上学习的鲁棒且节能的基于忆阻器的神经网络提供了见解。

🔬 方法详解

问题定义：论文旨在解决忆阻器神经网络在片上学习过程中，由于器件差异、电导误差以及输入噪声等因素导致的精度下降和效率降低问题。现有方法通常难以同时兼顾鲁棒性和能效，尤其是在实际硬件环境中，这些非理想因素的影响更为显著。

核心思路：论文的核心思路是设计一种基于忆阻器的存内计算硬件加速器，并结合噪声注入训练策略，以提高网络对器件差异和输入噪声的鲁棒性。同时，通过优化训练流程，例如省略初始复位脉冲，来降低训练时间和能量消耗。

技术框架：该硬件加速器包含30个忆阻器和4个神经元，采用存内计算架构，利用忆阻器的电导值存储神经网络的权重。训练过程在片上进行，通过精确调整忆阻器电导来实现权重更新。研究中使用了三种不同材料（钨、铬、碳）的M-SDC忆阻器结构进行对比。

关键创新：论文的关键创新在于：1) 提出了一种噪声注入训练方法，通过在训练过程中引入适度的噪声，增强网络对器件差异和输入噪声的鲁棒性。2) 发现省略初始忆阻器复位脉冲可以显著降低训练时间和能量消耗，而不会明显影响精度。

关键设计：研究使用了商用银基M-SDC忆阻器的SPICE模型进行电路仿真，考虑了器件的非理想特性。训练算法采用片上实现，精确控制忆阻器的电导变化。噪声注入的幅度设置为<15%。实验中对比了不同材料的忆阻器性能，并评估了网络对不同程度电导误差的容忍度。

📊 实验亮点

实验结果表明，在训练期间加入<15%的噪声可以使网络在存在电导变化和输入噪声的情况下，仍能达到高达97%的准确率。此外，省略初始忆阻器复位脉冲可显著减少训练时间和能量消耗。使用铬基忆阻器设计的硬件实现了2.4秒的训练时间和18.9 mJ的能量消耗，表现出卓越的性能。

🎯 应用场景

该研究成果可应用于边缘计算设备中的片上学习任务，例如智能传感器、可穿戴设备和物联网设备。通过提高忆阻器神经网络的鲁棒性和能效，可以实现更可靠、更节能的本地化智能处理，减少对云端计算的依赖，保护用户隐私。

📄 摘要（原文）

This paper presents a memristor-based compute-in-memory hardware accelerator for on-chip training and inference, focusing on its accuracy and efficiency against device variations, conductance errors, and input noise. Utilizing realistic SPICE models of commercially available silver-based metal self-directed channel (M-SDC) memristors, the study incorporates inherent device non-idealities into the circuit simulations. The hardware, consisting of 30 memristors and 4 neurons, utilizes three different M-SDC structures with tungsten, chromium, and carbon media to perform binary image classification tasks. An on-chip training algorithm precisely tunes memristor conductance to achieve target weights. Results show that incorporating moderate noise (<15%) during training enhances robustness to device variations and noisy input data, achieving up to 97% accuracy despite conductance variations and input noises. The network tolerates a 10% conductance error without significant accuracy loss. Notably, omitting the initial memristor reset pulse during training considerably reduces training time and energy consumption. The hardware designed with chromium-based memristors exhibits superior performance, achieving a training time of 2.4 seconds and an energy consumption of 18.9 mJ. This research provides insights for developing robust and energy-efficient memristor-based neural networks for on-chip learning in edge applications.