System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind()
【技术实现步骤摘要】
本专利技术涉及基于忆阻器材料的存算一体芯片可靠性设计,具体涉及一种面向深度学习存算一体芯片的计算精度补偿架构与方法。
技术介绍
1、随着深度学习网络的不断发展,对于神经网络计算在速度功耗方面的要求日渐提高。传统的主流硬件平台以cpu和gpu为主,均基于冯诺依曼计算架构实现。深度神经网络算法属于数据密集型的数据流式的计算,处理单元与存储单元间产生了大量的数据传输,由于“存储墙”问题,有限的数据传输带宽会显著影响神经网络计算速度。存储内计算可有效降低数据通信代价,是神经网络计算架构的重要研究方向。忆阻器与传统存储器相比有更高的集成度与能效,且适合于存储内计算,是实现存算一体芯片的最佳器件。
2、由于工艺的局限性,当前忆阻器计算阵列在运行深度神经网络计算时,存在多种类型的噪音,如硬错误、工艺偏差、读噪音、写噪音及电压降等;各种噪音在忆阻器阵列中叠加,共同影响输出结果。在离线训练中对单一噪音的分析并不能解决实际计算中的精度损失,而在线训练写操作成本高,且对忆阻器寿命与可靠性影响较大。
技术实现思路
1、为了克服以上技术问题,本专利技术的目的在于提供一种面向深度学习存算一体芯片的计算精度补偿架构与方法,该架构针对不同噪音的综合影响,针对忆阻器芯片在实际使用过程中实际所产生的噪声情况(忆阻器在使用过程中不同生命周期阶段噪声的特点不同),基本不增加额外的硬件耗费,避免线下训练添加噪声模型时由于噪音模型不准确带来的精度损失问题,提高了神经网络模型在实际忆阻器芯片中的网络精度。
< ...【技术保护点】
1.一种面向深度学习存算一体芯片的计算精度补偿架构,其特征在于,在神经网络模型向忆阻器阵列映射的过程中,不同网络层间仅共享行资源,不共享列资源,在列方向上根据神经网络规模的不同,有不同程度的资源剩余;
2.根据权利要求1所述的一种面向深度学习存算一体芯片的计算精度补偿架构,其特征在于,所述神经网络中,包括卷积层和全连接层;
3.根据权利要求1所述的一种面向深度学习存算一体芯片的计算精度补偿架构,其特征在于,所述忆阻器阵列包括忆阻器阵列1、忆阻器阵列2、忆阻器阵列3与忆阻器阵列4;
4.根据权利要求3所述的一种面向深度学习存算一体芯片的计算精度补偿架构,其特征在于,所述第一层卷积层未添加补偿通道,其对应的忆阻器资源中,列方向上剩余的忆阻器单元保持空闲状态;第二层卷积层添加补偿通道,卷积层的补偿通道规模与第二层的原始卷积层规模相关,平均地分配到忆阻器阵列1与忆阻器阵列2中,放置位置为原始卷积核的相同列中;第二层卷积进行计算时,同一忆阻器阵列中,补偿通道的输出与原始卷积核输出自然叠加,第三层全连接层分配到忆阻器阵列3与忆阻器阵列4两个忆阻器阵列中,每
5.权利要求1-4任一项所述的一种面向深度学习存算一体芯片的计算精度补偿架构的补偿方法,其特征在于,包括以下步骤:
6.根据权利要求5所述的一种面向深度学习存算一体芯片的计算精度补偿架构的补偿方法,其特征在于,当网络规模较小,单个网络层仅需要单个忆阻器阵列,增加补偿通道时,原始网络模型向忆阻器阵列映射前,考虑各层补偿通道的规模,对于卷积层,补偿通道规模为(1,K,K,N),即输入通道数量为1,输出通道数量为N,输出通道数量与原始网络模型的卷积层输出通道数量相等,映射到忆阻器阵列中后,占用的阵列规模为(KxK,N),即需要的忆阻器阵列输入行数量为KxK,输出列数量为N,补偿通道的输出列数量与原始网络模型卷积层输出列数量相同,在忆阻器阵列中分配的位置在原始网络模型卷积层的上方,写入N列中闲置的忆阻器单元中,不占用N列之外的忆阻器资源。
7.根据权利要求5所述的一种面向深度学习存算一体芯片的计算精度补偿架构的补偿方法,其特征在于,当网络规模较大,单个网络层需要多个忆阻器阵列完成映射时,卷积层的补偿通道尽可能均分到各忆阻器阵列中,对于卷积层,需要增加补偿通道数量时,以(1,K,K,N)为基本单位,输入通道的数量1可增加为任意整数值,其余参数量不变,新增的补偿通道输入值通过改变选择器配置生成。
8.根据权利要求5所述的一种面向深度学习存算一体芯片的计算精度补偿架构的补偿方法,其特征在于,当网络规模非常大时,所述忆阻器阵列数量用二维向量(H_,V_)表示,其中H_代表在输入行方向上需要的忆阻器阵列数量,H_值为2,表示全连接矩阵被水平分割为两个矩阵,忆阻器阵列3和4的输出值需要相加,以获得最终的计算结果;
9.根据权利要求5所述的一种面向深度学习存算一体芯片的计算精度补偿架构的补偿方法,其特征在于,对于规模为(C,K,K,N)的卷积层,补偿通道的最小规模为(1,K,K,N),映射到忆阻器阵列中后为(KxK,N),其补偿通道的输入行数量为kxk,若该卷积层所需要的忆阻器阵列数量为(H_conv,V_conv),将补偿通道均分到各忆阻器阵列中时,单个忆阻器阵列中补偿通道所需要的输入行数量为为即(KxK)/H_conv的计算结果向上取整,只有当单个忆阻器阵列中空闲的输入行数量大于时,才能够满足补偿通道的设计需要;
...【技术特征摘要】
1.一种面向深度学习存算一体芯片的计算精度补偿架构,其特征在于,在神经网络模型向忆阻器阵列映射的过程中,不同网络层间仅共享行资源,不共享列资源,在列方向上根据神经网络规模的不同,有不同程度的资源剩余;
2.根据权利要求1所述的一种面向深度学习存算一体芯片的计算精度补偿架构,其特征在于,所述神经网络中,包括卷积层和全连接层;
3.根据权利要求1所述的一种面向深度学习存算一体芯片的计算精度补偿架构,其特征在于,所述忆阻器阵列包括忆阻器阵列1、忆阻器阵列2、忆阻器阵列3与忆阻器阵列4;
4.根据权利要求3所述的一种面向深度学习存算一体芯片的计算精度补偿架构,其特征在于,所述第一层卷积层未添加补偿通道,其对应的忆阻器资源中,列方向上剩余的忆阻器单元保持空闲状态;第二层卷积层添加补偿通道,卷积层的补偿通道规模与第二层的原始卷积层规模相关,平均地分配到忆阻器阵列1与忆阻器阵列2中,放置位置为原始卷积核的相同列中;第二层卷积进行计算时,同一忆阻器阵列中,补偿通道的输出与原始卷积核输出自然叠加,第三层全连接层分配到忆阻器阵列3与忆阻器阵列4两个忆阻器阵列中,每个忆阻器阵列增加1个补偿通道,放置位置同样为原矩阵参数的相同列中。
5.权利要求1-4任一项所述的一种面向深度学习存算一体芯片的计算精度补偿架构的补偿方法,其特征在于,包括以下步骤:
6.根据权利要求5所述的一种面向深度学习存算一体芯片的计算精度补偿架构的补偿方法,其特征在于,当网络规模较小,单个网络层仅需要单个忆阻器阵列,增加补偿通道时,原始网络模型向忆阻器阵列映射前,考虑各层补偿通道的规模,对于卷积层,补偿通道规模为(1,k,k,n),即输入通道数量为1,输出通道数量为n,输出通道数量与原始网络模型...
【专利技术属性】
技术研发人员:刘龙军,赵晓青,孙宏滨,郑南宁,
申请(专利权)人:西安交通大学,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。