用于图像识别的高能效脉冲神经网络加速器设计
作者：文阅期刊网 来源：文阅编辑中心 日期：2022-09-08 08:50人气：
摘 要：针对基于通用处理器解决方案在图像识别应用中速度慢、功耗高的问题，提出了一种高能效的脉冲神经网络加速器设计方案。首先，采用神经形态学计算中的高并行设计思想，设计了多核并行结构来实现硬件加速；然后，根据脉冲数据传输稀疏性的特点，采用基于事件驱动的数据传输与处理方式，设计了一对一的核间传输机制，减小了用于通讯的硬件资源并提高了数据传输效率；其次，提出了按行的数据存放方式来加快膜电压数据在存储器的存取效率；最后，设计了结合查找表与异或的电路结构，可以快速的将事件向量转变为地址事件表达（AER）格式。采用所提加速器设计方案在现场可编程逻辑门阵列（FPGA）开发板上进行优化和部署。实验结果表明：当时钟频率采用100MHz时,识别单张手写数字图像所需能量为1.04 mJ，仅为2.2 GHz通用中央处理器（CPU）上的串行软件程序的1/1453.8。该加速器设计方案适用于实时性要求高和能量受限的实际场景。
关键词:图像识别;脉冲神经网络;加速器;并行结构;
Design of High Energy Efficient Spiking Neural Network Accelerator for Image
Recognition
ZHANG Jian LIU Jia WAN Xianjie YU Zhou HAN Chuanyu ZHANG Guohe
Faculty of Electronic and Information Engineering, Xian Jiaotong University No.24 Institute, China
Electronics Technology Group Corporation
Abstract：A high energy efficiency spiking neural network (SNN) accelerator is proposed to solve the problems of low-speed and high-power consumption in image recognition application based on general processor. Firstly, a multi-core parallel structure is designed to accelerate by adopting the ideal of high parallel design in neuromorphic computation. Secondly, according to the sparsity of spike data transmission, the one-to-one inter-core transmission mechanism is designed based on event-driven data transmission and processing, which reduces the hardware resources used for communication and improves the data transmission efficiency. Thirdly, a data arrangement scheme is proposed to speed up the access efficiency of membrane in memory. Finally, a circuit structure combining lookups and XOR is designed, which can quickly transform the event vectors into address-event-represent format. The proposed design is optimized and implemented on the field programmable logic gate array (FPGA) development board. The experimental results show that when the clock frequency is 100MHz, the energy required to recognize a handwritten digital image is 1.04mJ, which is only 1/1453.8 of the serial software program on the 2.2 GHz universal central processing unit (CPU). The accelerator design scheme is suitable for the real-time requirements and energy-limited scenes.
Keyword：image recognition; spiking neural network; accelerator; parallel architecture;
随着万物互联的快速发展，在近数据端移动设备上进行高能效的数据分析可以解决数据传输至云端导致的高延时、高传输带宽和低安全性等问题。最流行的深度学习具有较大的计算量和高能耗的缺点使其不能有效部署至边缘设备上[1]。因此，高能效的类脑智能计算逐渐受到众多学者的关注，对其的研究不仅可以解决实际问题，比如图像识别[2]和故障检测[3]等，还可以以另一种方式来侧面了解生物学大脑。脉冲神经网络（SNN）作为生物学启发的类脑神经网络[4]，通过模拟大脑神经元和采用生物神经元之间的信息传输方式，具有高能效和硬件友好的优点[5]。尽管脉冲神经网络的应用比如对图像传感器采集的图像进行识别可以在基于冯诺依曼结构的软件模型中实施，但是软件仿真普遍以串行的方式进行处理，处理速度慢导致不能完成数据的实时分析，并且通用处理器具有体积大、能耗高等缺陷，限制了其在能耗和空间体积受限环境中的使用。
为了获得实时低能耗的图像识别解决方案，有必要设计专用的硬件电路来替代基于通用处理器的软件仿真。脉冲神经网络的专用硬件电路设计通常分为模拟电路和数字电路两种实现方式。悉尼大学的Schaik和瑞士苏黎世大学的Mitra分别设计了模拟电路[6,7]来实现类生物学神经元功能，但是模拟电路具有对电压温度等环境敏感的缺点，针对不同的应用条件需要对参数进行调整。数字电路由于对工艺节点不敏感等原因，更适合大规模的设计集成。数字电路的实现平台包括高灵活性的现场可编程逻辑门阵列（FPGA）和高性能的专用集成电路（ASIC）。IBM公司的TrueNorth芯片[8]是基于ASIC的脉冲神经网络加速器，支持上百万个神经元并行工作。浙江大学的“达尔文”芯片[9]是一款支持可配置的神经形态学协处理器，专为资源受限的嵌入式应用所设计。曼彻斯特大学的SpiNNaker芯片[10]利用ARM核来实现脉冲神经网络的可编程性，支持高并行和高配置性的神经元处理。清华大学团队开发研制的“天机芯”[11]支持SNN和 ANN的混合芯片结构，并在自行车上成功进行了无人驾驶的试验。斯坦福大学的设计的NeuroGrid芯片[12]，只需要5W的能量即可模拟上百万的神经元实现对哺乳动物大脑皮层工作机制的研究。上述设计优先考虑的是设计的通用性和神经元的大规模实现，复杂的通讯系统需要高硬件资源和高通讯带宽。电子科技大学的周军团队提出了一款可配置SNN处理器[13]，通过采用多对多通讯的路由电路来控制脉冲数据的分发与传输，具有低能耗高速度的优势，并在FPGA上进行了验证。作为一种可编程设备，FPGA支持互补金属氧化物半导体（CMOS）数字逻辑的灵活开发与设计，具有丰富的计算资源和比ASIC更快的开发周期。另外，在FPGA上成功进行验证与实现也是完成低能耗的ASIC芯片前的重要一步。本文的设计方案结合FPGA的特点进行硬件设计与优化，实现了高性能的脉冲神经网络应用。
本文受文献[14]中采用软件仿真来完成图像识别的启发，从计算单元并行工作实现加速的角度出发，以高能效和低硬件资源为目的，采用多核并行结构来实现数据的加速运算，提出了一种新的脉冲神经网络硬件加速器设计方案。该加速器设计方案通过可综合硬件描述语言Verilog在寄存器级上（RTL）进行电路描述，并将电路实施在Virtex-7 FPGA开发板上进行了验证。
1 脉冲神经网络模型
脉冲神经网络的计算单元、数据传输以及网络模型来自对生物神经网络的模拟。本节构建应用于图像识别的脉冲神经网络，主要研究内容包括图像编码、脉冲神经网络神经元模型建模、网络模型结构及事件驱动型数据传输等四个部分。
1.1 图像编码
由于脉冲神经网路的输入和神经元间的通讯都是以1位的脉冲来传输，编码的目的是为了将图像传感器采集到的图像表示成脉冲神经网络接收的脉冲序列。编码方法一般有时间编码[15]，频率编码[16]和群体编码[17]等，其中最常用的是频率编码。本文适用于频率编码。
对图像像素进行频率编码时利用数学概率分布模型，采用泊松分布的方式来产生脉冲序列，在每个时间点t，若输入神经元满足式（1）条件，则需要在该时间点产生一个脉冲，若不符合式（1）则在该时间点不产生脉冲。
式中：rand()表示在(0, 1)范围内均匀分布中随机抽取一个数，a是缩放因子，用于调整神经元的脉冲个数发放率，x是像素标准化后的值。
采用频率编码机制对图像像素的编码示意图如图1所示，不同明暗程度的图像像素在总的编码区间内产生了不同的脉冲个数。
1.2 神经元建模
研究学者们提出了众多神经元模型用于模拟生物学大脑中神经元的膜电压变化，最常见的有SRM神经元[18]、IF神经元[19]、LIF神经元(积分泄露点火模型)[20]、Hodgkin-Huxley模型[21]和Izhikevich模型[22]等。本文使用的LIF神经元模型，是受到生物神经元启发的模型，具有计算简单，硬件友好的特点。LIF神经元的物理模型示意如图2所示，体细胞的膜电压值在接收到树突传输的脉冲后会上升，当膜电压超过阈值时会产生一个脉冲，此时神经元的膜电压会下降到复位值并通过轴突向外发放脉冲。
LIF神经元的膜电压变化可以总结如下:
cmdVdt=gl(Vreset−V)+I(2)
式中：Cm是膜电容; gl是电导率; Vreset是复位膜电压值; V是神经元的膜电压; I是输入电流。
为了以数字电路实施神经元模型，需要将LIF模型进行离散化，表示如下：
Vj(t)=Vj(t−1)+∑iwijSi(t)−vleakSj=1andVj(t)=VresetifVj(t)≥Vth(3)
式中，Vj(t) 和Vj(t-1)是后突触神经元j在t时刻和t-1时刻的膜电压；前突触神经元标记为i；wij为前突触后突触神经元间的权重；Vleak为神经元泄露值; Vth为神经元阈值。离散化表示的神经元膜电压随输入脉冲的变化如图3所示，在每个时间点t上，神经元的膜电压若接收到脉冲，膜电压则对输入的脉冲进行集成并判断是否大于阈值。若大于阈值，则此时刻膜电压复位为复位膜电压值并发放出脉冲。若小于阈值，则实施泄露操作，膜电压此时减去固定的泄露值Vleak。
1.3 网络模型结构
图4为本文构建的用于图像目标识别的脉冲神经网络结构示意图，由7层网络层组成，包括1个输入层，2个卷积层，2个池化层和2个全连接层。输入层用于对图像进行编码，共包括784个神经元，分别代表图像大小为28×28 中的一个像素。卷积层用于对上一层的输出进行特征提取，随着层数的增加，提取的特征也逐渐由局部到全局变化。每个卷积层后都紧跟着一个池化层，池化层被用于下采样并对卷积层提取的特征进行降维操作来减小数据信息和提高网络结构的容错率。第一个卷积层对输入图像采用32个3×3大小的卷积核进行卷积，卷积层后是采用2×2大小的平均池化层。第二个卷积层用于对第一层池化层的输出进行滤波，卷积核大小为32×3×3，后面紧接着是一个2×2的平均池化层。全连接层用于对提取的特征进行分类，2个全连接层各包括128个神经元和10个神经元，第二层池化层中32×6×6个神经元与全连接层的128个神经元一对一连接，第一个全连接层神经元与最后一层的10个神经元也一对一连接。最后一层的10个神经元分别代表着一个类别，神经网络最终的识别结果根据最后一层10个神经元的个数来决定：在整个编码的时间区间内，输出个数最多的神经元所标记的类别作为该图像的最终识别结果。
1.4 基于事件传输型的数据传输
以输入层28×28个神经元为例，由于SNN中加入了时间属性，输入的数据可看作是三维的矩阵。考虑到脉冲的稀疏性，在同一时间点中，只有很少输入神经元产生脉冲，若采用基于帧驱动的卷积操作需要计算大量的0值，造成硬件资源与运算时间的浪费。本文采用基于事件驱动的数据传输，将数据表示为地址事件表达（AER）的方式串行传输[23]。根据基于事件传输型的数据传输方式，上一层神经元与卷积层神经元的连接关系如图5所示，每个上一层神经元都与当前卷积层的多个神经元连接。对于当前卷积层中连接的神经元称为接收野，接收野的大小为q×wk×hk，其中q为卷积层中特征图的个数，wk、hk为卷积核的宽度和高度值。
事件驱动型的卷积操作使处理器可以在接收到第一个脉冲时就进行数据处理，同时只要有卷积层中的神经元达到产生脉冲条件就可以输出脉冲，提供给下一层神经元进行数据处理与运算。事件驱动型的计算避免了基于帧驱动型传输方式中需要等待当前帧所有数据到达后才能运算的缺点，这种伪同步传输提升了运算速度。
2 脉冲神经网络加速器设计方案
SNN硬件设计具有高仿生学和高能效的优点，适用于硬件资源和能量受限场景的解决方案。本节从加速器的总体架构出发，分别对各模块电路结构进行设计，实现了一种基于SNN模型的图像识别硬件电路，提高了图像数据的处理效率。
2.1 结构总览
图6描述了本加速器的架构：包括4个卷积工程机，1个全局控制器和一个数据接口。卷积工程机用于执行单层的卷积计算。在每个卷积工程机内都设计了一个局部控制器，用于控制本工程机的数据流向、与其他工程机的通讯以及存储器（Block RAM）的存取操作。全局控制器既要对SNN加速器所有模块进行控制，还要对输入的脉冲事件的时间点进行记录，当时间点t变化时，卷积工程机里的神经元需要执行泄露操作。数据接口是一个串行外设接口（SPI），用于接收上位机输入的脉冲事件并将加速器的产生的脉冲输出到上位机。每个卷积工程机里都设计了一个地址计算器、32个神经元单元、存储器、事件产生器以及输入输出FIFO，存储器包括一个神经元状态存储器和一个卷积核存储器，神经元状态存储器用于存储神经元的膜电压和神经元的泄露时间点，卷积核存储器用于存储卷积核的值。
为了实施多层的SNN，不同层神经元之间的通讯需要满足低延时传输。常见的SNN多核电路设计中[13]，采用的是多对多总线结构。但是多对多的总线结构有三个缺点：一是需要复杂的路由器电路结构，导致高硬件资源需要。二是高扇入和高扇出的总线负载导致大的信号延时。三是多对多通讯导致高数据冲突的概率。本设计设计了一对一的数据通讯，串行的数据传输避免了数据冲突，不需要仲裁电路，而且保证电路的低扇入扇出。由于SNN的脉冲数据具有稀疏性的特点，既每个时间点上只有很少神经元产生脉冲[24]，因此加速器的输入脉冲以AER编码方式传输[25]，脉冲表示为(t，y，x)，其中t表示时间点，y和x表示脉冲在图像中的位置。加速器的输出是图像的识别分类结果，由于是根据输出层神经元的个数进行判断，因此加速器的输出脉冲表示为c，c为发放脉冲的神经元编号。
2.2 卷积工程机
卷积工程机由七个并行模块组成，电路框图在图6里展示。为了加快数据处理，存储器的数据按行来存取。地址计算器根据输入的脉冲计算出神经元状态存储器和卷积核存储器的地址，两个存储器的行数据发送到神经元模块用于更新神经元膜电压，并判断膜电压是否大于神经元阈值。32个神经元计算单元根据膜电压与阈值比较的结果输出32bits的事件向量给事件产生器。事件向量中的每一位为1或0，表示对应的神经元是否有脉冲产生。事件产生器接收到事件向量后仍旧将其编码为AER格式进行输出。当卷积工程机中没有数据处理时，该卷积工程机使用钟控技术使电路保持静态，减小电路的动态功耗。
2.3 数据存储
数据的存储方式对卷积处理的速度有着重要影响，对于基于事件驱动的脉冲卷积处理器，脉冲是逐个串行输入和处理。对于每个输入脉冲，需要更新q×wk×hk个神经元膜电压和存取q×wk×hk个卷积核值。以1×7×7的卷积核为例，49次的存储器读写增加了读写延时以及增加了数据通讯的瓶颈。但是可以通过改变数据存取的方式来改变，比如每个时钟周期内按行对存储器进行读取。在同一时钟周期内如何最大化的取出
这些神经元膜电压是需要解决的问题。在神经网络中的神经元可看作是三维矩阵，卷积核看作是多个三维矩阵。需要将三维核多维的矩阵排放在二维的存储器中。考虑到卷积神经网络中的q都远大于卷积核尺寸hk，因此将卷积层不同特征图中具有相同（y, x）坐标的神经元排列到存储器的同一行中，如图7所示。由于神经元在每个时间点上都需要实施泄露操作，为了减小膜电压的存取次数，在神经元状态存储器中增加了一列数据，每个数据用于记录本行的膜电压数据在上一次实施泄露的时间。卷积核存储器中的卷积核值以类似的方式进行数据排列，每个三维卷积核矩阵排列为二维存储器矩阵中，再将所有排列后的二维存储器矩阵堆叠在统一存储器中。
2.4 神经元模块
神经元模块采用流水线技术来实现数据的高速处理，为了保证数据流水线处理，神经元状态存储器选用双端口存储器。神经元模块包括32个神经元计算单元，神经元计算单元的电路结构如图8所示。图8中，t来自全局控制器，泄漏时间点（T）和32个膜电压（m1, m2，…, m32）在神经元状态存储器的第一个端口输出，32个卷积核值（k1，k2，…, k32）在卷积核存储器输出。根据当前时间点t与存储器中膜电压上一次实施泄露的时间点T的差值（t−T）乘以每个时间点需要泄露值Vleak，得到实施泄露要减掉的泄露值nleak。泄露值被所有神经元计算单元共享来减小硬件资源。在更新该行所有的膜电压后，将膜电压与当前时间点写入到神经元状态存储器的第二个端口。
2.5 事件产生器
事件产生器用于将事件向量中的脉冲编码为AER格式。对事件向量中的每一位逐位判断是否有脉冲是低效率的，因此采用了基于查找表的方法，实现了优先编码器的功能。事件产生器的电路结构图如图9所示，将事件向量输入查找表，下个时钟则输出事件向量中最高位为1的位置。再将该位置与事件向量进行异或操作，将对应位置所在的位数置0。结合查找表与异或操作查找事件向量中的脉冲过程如图10举例所示。假设事件向量的第29位为1，表示在此处有一个脉冲。此时将事件向量输入到查找表中，下个时钟查找表输出f'=29以及独热码ed。将ed与事件向量进行异或，则得到清除了第29位标记的事件向量。以此循环，直到事件产生器中所有的事件都被编码。
虽然脉冲具有稀疏性，但是时间向量中也会有多个脉冲事件的情况，此时事件产生器处理每个事件向量时可能需要多个时钟。若事件产生器对当前事件向量还未处理完毕，又有新的事件向量输入，此时会造成数据冲突。为了避免数据冲突，当前的事件向量的脉冲事件未全部找到时，事件产生器会产生一个“停止”（stop）信号，使地址计算器和神经元模块中的寄存器值保持不变，直到脉冲事件全部处理完，再使寄存器继续工作。产生脉冲的卷积层神经元坐标为（z, y, x）, z值通过结合查找表与异或操作求出。池化层对卷积层进行下采样，2×2的下采样在硬件中可以通过移位来实现，避免了硬件昂贵的乘法器的使用。
3 实验验证与结果分析
本文的设计通过可综合的硬件描述语言进行实现，在Vivado2016软件上进行综合，并实施在Xilinx Virtex-7 VC707 FPGA开发板中，该开发板包含485000个逻辑单元、2800个DSP资源以及37Mb的存储单元。本文提出的设计在开发板上的工作频率为100MHz。本设计使用了MNIST手写数字图像数据集进行测试，该数据集包括7万张手写数字图像，每张图像大小为28×28，其中的5万张为训练集，其余2万张为测试集，该数据集的图例如图11所示。
为了保证准确率和硬件资源的平衡，首先在软件上采用不同的权值位数测试识别结果。如图12所示，随着卷积核位数增大，识别准确度也逐渐提高，并在8 bit后稳定，最终卷积核的位数选择为8 bit。
为了比较软件仿真与硬件加速器的性能，该SNN模型也在计算机上使用Python软件进行了仿真，计算机的配置为3.2GB的因特尔中央处理器（CPU）与16GB的内存。软件程序对测试集的2万张图像进行测试。为了避免引入计算机外围设备的工作功耗，中央处理器（CPU）在软件程序运行时的功耗P由计算机的AIDA64软件进行测量。使用Python的time.clock()函数以浮点数来计算软件程序开始运行的CPU时间t1和结束运行时的CPU时间t2，得到软件程序识别2万张图像的总运行时间（t2-t1）和识别单张图像的运行时间t。识别单张图像的能量E/J由功耗P/W与运行时间t/s相乘得到,公式为E=P×t。本文提出的加速器设计方案通过Vivado2016软件实施在FPGA上，并使用Xilinx 的功耗分析器（Xpower Analysis tools）对设计进行分析并得到功耗。在硬件设计中添加了一个计数器，通过对时钟个数进行计数，最后得到了加速器识别单张图像的运行时间。由表1的性能对比可知，本文的硬件设计与软件仿真相比，具有更快的处理速度以及具有显著优势的能量效率。硬件的处理速度、功耗以及能量为软件仿真速度的1/7.7,1/186.2和1/1453.8。虽然本设计采用了定点数进行计算，仍然获得了99.11%的准确率，准确率可以和采用32位浮点数的软件准确率相近。
为了进一步比较本设计的优势，本设计与其他采用FPGA实现的硬件加速器方案进行对比，如表2所示。文献[9]是 “达尔文”芯片，采用单核（8个神经元）复用计算技术，相比于本设计中多核（每个核32个神经元）计算，其低神经元并行度造成处理单张图像需要160ms的时间。文献[13]采用多核结构，但是核与核之间采用了复杂的多对多通讯，增加了硬件资源和通讯延时；采用基于帧驱动的计算增加了对无用数据0的存储与计算，使电路的功耗高达1.6 W。本方案通过设计多核并行工作方式实现了多神经元的高并行计算，采用基于事件驱动的数据传输增加了数据效率，只需3.6ms的时间和1.04mJ的能量来完成单张图像的识别，能量分别是文献[9]与文献[13]的1/3.23与1/4.85。实验结果表明，本方案的能效领先于主流基于FPGA实现的SNN硬件水平。
4 结 论
为了解决传统冯诺依曼结构上软件仿真速度慢、能耗高和体积大等问题，本文以神经形态学的脉冲神经网络为研究背景，提出了一种用于图像识别的脉冲神经网络加速器设计方案。为了解决脉冲稀疏性导致的基于帧传输信息效率低的问题，提出了一种基于事件驱动的脉冲传输方式。通过多核并行工作，每个卷积工程机实现单层的卷积计算，提高了网络的处理速度。提出了一种新的数据排列方式，提高了数据的利用率和神经元计算的并行度。设计了结合查找表与异或的电路结构，可以高效快速的对脉冲位置进行定位。
本文基于寄存器级电路设计，全面仿真验证，并在FPGA开发板上进行了实现，使用经典的手写数字图像数据集进行测试，实验结果表明，与基于冯诺依曼结构的软件仿真方案进行对比，本设计具有高速度低能耗的优势。在与同类型硬件电路的比较中，本设计的能量效率优势处于主流水平，更适用于能量体积等受限的边缘设备中。
参考文献
[1] Greenberg A, Hamilton J, Maltz D, et al. The Cost of A Cloud: Research Problems in Data Center Networks[J]. ACM SIGCOMM Computer Communication Review, 2009, 39(1): 68-73.
[2] Togacar M, Ergen B, Comert Z. Detection of Weather Images by Using Spiking Neural Networks of Deep Learning Models[J]. Neural Computing and Application, 2020, 33(11): 6147-6159.
[3] 马新娜, 赵猛, 祁琳. 基于卷积脉冲神经网络的故障诊断方法研究[J]. 广西师范大学学报, 2022, 40(3): 112-120.
[4] 胡一凡，李国齐，吴郁杰，等. 脉冲神经网络研究进展综述[J]. 控制与决策, 2021, 26(1): 1-26.
[5] Bouvier M. Spiking Neural Networks Hardware Implementations and Challenges: A Survey[J]. ACM Journal on Emerging Technologies in Computing Systems, 2019, 15: 1-35.
[6] van Schaik A. Buiding Blocks for Electronic Spiking Neural Networks[J]. Neural Networks, 2001, 14(6-7): 617-628.
[7] Mitra S, Fusi S, Indiveri G, et al. Real-time Classification of Complex Patterns Using Spike-based Learning in Neuromorphic VLSI[J]. IEEE Transactions on Biomedical Circuits and Systems, 2009, 3(1):32–42.
[8] Akopyan F, Sawada J, Cassidy A, et al. TrueNorth: Design and Tool Flow of A 65 mW 1 Million Neuron Programmable Neurosynaptic Chip[J]. IEEE Transactions on Computer-adided Design of Integrated Circuits and Systems, 2015, 34(10): 1537-1557.
[9] Ma D, Shen J, Gu Z, et al. Darwin: A Neuromorphic Hardware Co-processor Based on Spiking Neural Networks[J]. Journal of Systems Architecture, 2017, 77: 43-51.
[10] Furber S.B, Galluppi F, Temple S, et al. The SpiNNaker Project[J]. Proceedings of the IEEE, 2014,102(5):652-665.
[11] Deng L, Wang G, Li G, et al. Tianjic: A Unified and Scalable Chip Bridging Spike-based and Continuous Neural Computation[J]. IEEE Journal of Solid-State Circuits, 2020, 55(8): 2228-2246.
[12] Benjamin B, Gao P, McQuinn E, et al. Neurogrid: A mixed-analog-digital multichip system for large scale neural simulations[J]. Proceeding of the IEEE, 2014, 102(5): 699-716.
[13] LI S, Zhang Z, Mao R, et al. A Fast and Energy-Efficient SNN Processor with Adaptive Clock/Event-Driven Computation Scheme and Online Learning[J]. IEEE Transactions on Circuits and Systems I-Regular Papers, 2021, 68(4):1543-1552.
[14] Wu Y, Deng L, Li G, et al. Spatio-temporal Backpropagation for Training High-performance Spiking Neural Network [J]. Frontiers in Neuroscience, 2018, 12: 1-12.
[15] 刘宙思, 李尊朝, 张剑, 等. 一种离散时间调度的图像自分类脉冲神经网络[J]. 西安交通大学学报, 2021, 55(3): 57-64.
[16] Kostal L, Lansky P, Rospars J. Neuronal Coding and Spiking Randomness[J]. European Journal of Neuroscience, 2007, 26(10):2693-2701.
[17] 苏亚丽, 吴健行, 惠维, 等. 一种用于视觉颜色特征分类的脉冲神经网络[J]. 西安交通大学学报, 2019, 53(10): 115-121.
[18] Gerstner W, Kistler W M. Spiking Neuron Models: Single Neurons, Populations, Plasticity[M]. New York: Cambridge University Press, 2002: 20-25.
[19] Abbott L F. Lapicque’s Introduction of the Integrate-and-fire Model Neuron[J]. Brain Research Bulletin, 1999, 50(5): 303-304.
[20] 程龙, 刘洋. 脉冲神经网络：模型、学习算法与应用[J]. 控制与决策, 2018, 33(5): 923-937.
[21] Izhikevich E. Simple Model of Spiking Neurons[J]. IEEE Transactions on Neural Networks, 2003,14(6): 1569-1572.
[22] Kumar A, Rotter S, Aertsen A. Spiking Activity Propagation in Neuronal Networks: Reconciling Different Perspectives on Neural Coding[J]. Nature Reviews Neuroscience, 2010, 11(9): 615-627.
[23] Serrano-Gotarredona R, Serrano-Gotarredona T, Acosta-Jimenez P, et al. On Real-time AER 2-D Convolutions Hardware for Neuromorphic Spike-based Cortical Processing[J]. IEEE Transactions on Neural Networks, 2008, 19(7):1196-1219.
[24] Serrano-Gotarredona R, Oster M, Lichtsteiner P, et al. CAVIAR: A 45k Neuron, 5M Synapse, 12G Connects/s AER Hardware Sensory-processing-learning-acturating System for High-speed Visual Object Recognition and Tracking[J]. IEEE Transactions on Neural Networks, 2009, 20(9):1417-1438.
[25] Son B, Suh Y, Kim S, et al. A 640x480 Dynamic Vision Sensor with A 9 um Pixel and 300 Meps Addre
ss-event Representation[C]. 2017 IEEE International Solid- State Circuits Conference (ISSCC), 2017: 66-67.
上一篇：没有了
下一篇：3D打印在智能纺织品中的应用研究进展
下一篇：3D打印在智能纺织品中的应用研究进展
热门排行
