【技术实现步骤摘要】
本申请涉及但不限于计算机，尤其涉及一种权重校正方法、装置、设备、存储介质及计算机程序产品。
技术介绍
1、存算一体技术由于从材料、器件、计算范式、架构等多方面进行革新，能够在存储单元上完成计算功能，突破了冯·诺依曼计算体系架构中计算功能和存储功能分离的传统模式，能够在人工智能等计算密集和访存密集型应用场景下，进行大规模神经网络等人工智能算法的部署。但是，由于以忆阻器为代表的存算一体器件在状态切换过程中涉及到导电通道以及载荷的原子级行为，使得在存算一体器件的电特性上表现出器件与器件之间，状态与状态之间，状态切换过程中的随机性偏差。该现象导致在存算一体器件上进行人工智能算法的模型权重部署时，会产生权重写入误差以及模拟计算误差。
2、相关技术中，是在某一模型的训练过程中对该模型进行训练或权重更新，无法适用于任一模型，存在当面对其他模型时，需要重新进行模型训练或模型微调，增加了计算及通信开销。
技术实现思路
1、本申请提供一种权重校正方法、装置、设备、存储介质及产品，基于存算一体芯片自身的特性指标数据，利用随机生成的权重矩阵训练第一网络，第一网络能够对任一模型的权重专门进行校正，使第一网络与不同模型之间实现解耦，能够适用于任一模型。解决了相关技术中在某一模型的训练过程中对该模型进行训练或权重更新，无法适用于任一模型，存在当面对其他模型时，需要重新进行模型训练或模型微调，增加了计算及通信开销的问题。
2、本申请实施例的技术方案是这样实现的：
3、一种权重校
4、获取第一数据，所述第一数据包括存算一体芯片特性的指标数据；
5、基于所述第一数据，生成第一矩阵，所述第一矩阵与所述存算一体芯片的存算一体阵列的阵列尺寸相同、数值在量化范围内；
6、基于所述第一矩阵，对第一网络进行训练，得到训练后的第一网络，所述训练后的第一网络用于权重校正。
7、上述方案中，所述基于所述第一矩阵，对第一网络进行训练，得到训练后的第一网络，包括：
8、将所述第一矩阵写入所述存算一体阵列中，得到第二矩阵；
9、将所述第二矩阵的每行或每列数据作为输入数据，将所述第一矩阵的每行或每列数据作为输出数据，将欧式距离作为损失函数，对所述第一网络进行训练，得到所述训练后的第一网络，所述欧式距离表征所述第一矩阵和所述第二矩阵之间的差值。
10、上述方案中，所述训练后的第一网络满足以下至少之一：
11、训练停止时的写入误差值大于误差阈值的次数小于第一阈值，所述写入误差值为所述第一矩阵与所述第二矩阵的每个数据之间的差值；
12、训练停止时的迭代次数大于第二阈值。
13、上述方案中，所述指标数据包括以下至少之一：
14、数据写入所述存算一体阵列一次所用时间；
15、所述存算一体芯片容许的擦写次数；
16、所述存算一体阵列的尺寸大小；
17、权重的数值量化范围。
18、本申请实施例还提供一种权重校正方法，应用于存算一体芯片，所述方法包括：
19、得到训练后的第一网络，所述训练后的第一网络用于权重校正；
20、获取训练后的第二网络，所述训练后的第二网络用于对输入数据进行处理；
21、得到第一信息，所述第一信息指示是否使用所述训练后的第一网络对所述第二网络的权重进行校正；
22、基于所述第一信息，执行所述训练后的第二网络的权重写入存算一体阵列的操作。
23、上述方案中，所述基于所述第一信息，执行所述训练后的第二网络的权重写入存算一体阵列的操作，包括：
24、当所述第一信息指示使用所述训练后的第一网络对所述训练后的第二网络的权重进行校正时，将所述训练后的第二网络的权重逐层输入所述训练后的第一网络，得到矫正后的权重；
25、将所述矫正后的权重写入存算一体阵列中。
26、上述方案中，所述将所述训练后的第二网络的权重逐层输入所述训练后的第一网络，得到矫正后的权重，包括：
27、获取所述训练后的第二网络的权重的每行或每列数据；
28、若每行/每列数据维度小于所述存算一体阵列的每行/每列，用量化范围内的数值将空白的位置补全，得到所述训练后的第二网络的补全后的权重；
29、将所述补全后的权重逐层输入所述训练后的第一网络，得到所述矫正后的权重；
30、相应的，所述将所述矫正后的权重写入存算一体阵列中，包括：
31、将所述矫正后的权重中补全的位置裁剪掉，得到更新后的权重；
32、将所述更新后的权重写入所述存算一体阵列中。
33、上述方案中，所述基于所述第一信息，执行所述训练后的第二网络的权重写入存算一体阵列的操作，包括：
34、当所述第一信息指示不使用所述训练后的第一网络对所述训练后的第二网络的权重进行校正时，将所述训练后的第二网络的权重写入存算一体阵列中。
35、上述方案中，所述基于所述第一信息，执行所述训练后的第二网络的权重写入存算一体阵列的操作之后，所述方法还包括：
36、获取第二数据；
37、基于所述存算一体阵列对所述第二数据进行处理，得到处理结果。
38、本申请实施例还提供一种第一权重校正装置，所述第一权重校正装置包括：
39、第一获取单元，用于获取第一数据，所述第一数据包括存算一体芯片特性的指标数据；
40、第一处理单元，用于基于所述第一数据，生成第一矩阵，所述第一矩阵与所述存算一体芯片的存算一体阵列的阵列尺寸相同、数值在量化范围内；
41、所述第一处理单元，用于基于所述第一矩阵，对第一网络进行训练，得到训练后的第一网络，所述训练后的第一网络用于权重校正。
42、本申请实施例还提供一种第二权重校正装置，所述第二权重校正装置包括：
43、第二获取单元，用于得到训练后的第一网络，所述训练后的第一网络用于权重校正；
44、所述第二获取单元，用于获取训练后的第二网络，所述训练后的第二网络用于对输入数据进行处理；
45、所述第二获取单元，用于得到第一信息，所述第一信息指示是否使用所述训练后的第一网络对所述第二网络的权重进行校正；
46、第二处理单元，用于基于所述第一信息，执行所述训练后的第二网络的权重写入存算一体阵列的操作。
47、本申请实施例还提供一种权重校正设备，包括：处理器和用于存储能够在处理器上运行的计算机程序的存储器；其中，
48、所述处理器，用于运行所述计算机程序时，执行上述权重校正方法的步骤。
49、本申请实施例还提供一种存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述权重校正方法的步骤。
50、本申请实施例还提供一种计算机程序本文档来自技高网...
【技术保护点】
1.一种权重校正方法，其特征在于，应用于存算一体芯片，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述基于所述第一矩阵，对第一网络进行训练，得到训练后的第一网络，包括：
3.根据权利要求2所述的方法，其特征在于，所述训练后的第一网络满足以下至少之一：
4.根据权利要求1所述的方法，其特征在于，所述指标数据包括以下至少之一：
5.一种权重校正方法，其特征在于，应用于存算一体芯片，所述方法包括：
6.根据权利要求5所述的方法，其特征在于，所述基于所述第一信息，执行所述训练后的第二网络的权重写入存算一体阵列的操作，包括：
7.根据权利要求6所述的方法，其特征在于，所述将所述训练后的第二网络的权重逐层输入所述训练后的第一网络，得到矫正后的权重，包括：
8.根据权利要求5所述的方法，其特征在于，所述基于所述第一信息，执行所述训练后的第二网络的权重写入存算一体阵列的操作，包括：
9.根据权利要求6或7或8所述的方法，其特征在于，所述基于所述第一信息，执行所述训练后的第二网络的权重写入
10.一种第一权重校正装置，其特征在于，所述第一权重校正装置包括：
11.一种第二权重校正装置，其特征在于，所述第二权重校正装置包括：
12.一种权重校正设备，其特征在于，包括：处理器和用于存储能够在处理器上运行的计算机程序的存储器；其中，
13.一种存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至4或5至9任一项所述方法的步骤。
14.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至4或5至9任一项所述方法的步骤。
...【技术特征摘要】
1.一种权重校正方法，其特征在于，应用于存算一体芯片，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述基于所述第一矩阵，对第一网络进行训练，得到训练后的第一网络，包括：
3.根据权利要求2所述的方法，其特征在于，所述训练后的第一网络满足以下至少之一：
4.根据权利要求1所述的方法，其特征在于，所述指标数据包括以下至少之一：
5.一种权重校正方法，其特征在于，应用于存算一体芯片，所述方法包括：
6.根据权利要求5所述的方法，其特征在于，所述基于所述第一信息，执行所述训练后的第二网络的权重写入存算一体阵列的操作，包括：
7.根据权利要求6所述的方法，其特征在于，所述将所述训练后的第二网络的权重逐层输入所述训练后的第一网络，得到矫正后的权重，包括：
8.根据权利要求5所述的方法，其特征在于，所述基于...
【专利技术属性】
技术研发人员：王琪，李杨，
申请(专利权)人：中国移动通信有限公司研究院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。