【技术实现步骤摘要】
本申请涉及模型量化，尤其涉及一种模型量化方法、装置、设备及存储介质。
技术介绍
1、在图像编解码领域，基于人工智能的方法相比传统方法可以获得更高的压缩率，因此成为了编解码领域中的一个重要趋势，这得益于通过深度学习训练的网络可以对图像进行更好的压缩与复原，但它也带来了相比传统方法更多的计算量和资源消耗，这无疑给解码设备带来更高的要求。
2、图像解码器一般会部署在对码流进行解码的设备上，而解码器中的神经网络，具有较多的参数量和计算量，使得它的前向计算需要较多的存储和计算资源，同时，在浮点状态的参数下，由于不同设备的计算精度存在差异，还会导致不同设备间解码的结果会存在不一致的现象。
3、模型量化是解决上述问题的常用方法，将模型中浮点形式的参数量化成定点类型，在可以降低模型的存储消耗的同时，还可以降低模型前向计算时的带宽，并且，将模型中的浮点参数转为定点参数，可以降低模型的计算量，还可以避免计算精度的影响，保证不同设备间的解码一致性。
4、但是，解码器中的神经网络中每一层对量化的敏感度是不一致的，部分层在较低比特下难以保证量化性能，而由于一些设备并不支持高比特的量化运算，为了适应此种场景，如何降低较低比特下对模型进行量化产生的性能损失是一个难题。
5、上述内容仅用于辅助理解本申请的技术方案，并不代表承认上述内容是现有技术。
技术实现思路
1、本申请的主要目的在于提供一种模型量化方法、装置、设备及存储介质，旨在解决现有技术无法降低在使用低比特对
2、为实现上述目的，本申请提供了一种模型量化方法，所述方法包括：
3、获取待量化解码模型中各模型层对应的性能偏差；
4、根据所述各模型层对应的性能偏差构建分层量化序列；
5、基于所述分层量化序列对所述待量化解码模型中的模型层进行分层量化处理。
6、在本申请的一种可能的实施方式中，所述根据所述各模型层对应的性能偏差构建分层量化序列，包括：
7、依据对应的性能偏差从大到小对所述待量化解码模型中各模型层进行排序，获得分层量化序列。
8、在本申请的一种可能的实施方式中，所述依据对应的性能偏差从大到小对所述待量化解码模型中各模型层进行排序，获得分层量化序列，包括：
9、依据对应的性能偏差从大到小对所述待量化解码模型中各模型层进行排序，获得模型层序列；
10、根据预设长度从前至后对所述模型层序列进行截取，获得分层量化序列。
11、在本申请的一种可能的实施方式中，所述模型层对应的性能偏差为对所述待量化解码模型中模型层进行单独量化前后模型输出的偏差。
12、在本申请的一种可能的实施方式中，所述基于所述分层量化序列对所述待量化解码模型中的模型层进行分层量化处理，包括：
13、对所述分层量化序列进行遍历，并将遍历到的模型层作为当前模型层；
14、对所述当前模型层进行量化处理；
15、以缩小所述当前模型层对应的性能偏差为目标，对所述待量化解码模型中至少一个模型参数进行调整；
16、检测所述分层量化序列中是否还存在未被遍历到的模型层；
17、若存在未被遍历到的模型层，并返回所述对所述分层量化序列进行遍历，并将遍历到的模型层作为当前模型层的步骤。
18、在本申请的一种可能的实施方式中，所述以缩小所述当前模型层对应的性能偏差为目标，对所述待量化解码模型中至少一个模型参数进行调整，包括：
19、采用梯度求导方式，以缩小所述当前模型层对应的性能偏差为目标，对所述待量化解码模型中至少一个模型参数进行调整。
20、在本申请的一种可能的实施方式中，所述对所述待量化解码模型中至少一个模型参数进行调整，包括以下至少一项：
21、对所述当前模型层的至少一个模型参数进行调整；
22、对所述当前模型层，以及所述当前模型层相邻的模型层的至少一个模型参数进行调整；
23、对所述待量化解码模型中各模型层的至少一个模型参数进行调整。
24、在本申请的一种可能的实施方式中，所述检测所述分层量化序列中是否还存在未被遍历到的模型层之后，还包括：
25、若不存在未被遍历到的模型层，则检测所述待量化解码模型中是否还存在未被量化的模型层；
26、若不存在未被量化的模型层，则终止对所述分层量化序列的遍历。
27、在本申请的一种可能的实施方式中，所述若不存在未被遍历到的模型层，则检测所述待量化解码模型中是否还存在未被量化的模型层之后，还包括：
28、若存在未被量化的模型层，则对所述待量化解码模型中未被量化的模型层进行量化处理；
29、在量化处理完成时，终止对所述分层量化序列的遍历。
30、此外，为实现上述目的，本申请还提出一种模型量化装置，所述模型量化装置包括：
31、获取模块，用于获取待量化解码模型中各模型层对应的性能偏差；
32、构建模块，用于根据所述各模型层对应的性能偏差构建分层量化序列；
33、量化模块，用于基于所述分层量化序列对所述待量化解码模型中的模型层进行分层量化处理。
34、此外，为实现上述目的，本申请还提出一种模型量化设备，所述模型量化设备包括：处理器、存储器及存储在所述存储器上并可在所述处理器上运行的模型量化程序，所述模型量化程序被处理器执行时实现如上所述的模型量化方法的步骤。
35、此外，为实现上述目的，本申请还提出一种编码设备，所述编码设备包括：处理器、存储器及存储在所述存储器上并可在所述处理器上运行的编码程序，所述编码程序被处理器执行时实现如上所述的模型量化方法的步骤。
36、此外，为实现上述目的，本申请还提出一种解码设备，所述解码设备包括：处理器、存储器及存储在所述存储器上并可在所述处理器上运行的解码程序，所述解码程序被处理器执行时实现如上所述的模型量化方法的步骤。
37、此外，为实现上述目的，本申请还提出一种存储介质，所述存储介质上存储有模型量化程序，所述模型量化程序执行时实现如上所述的模型量化方法的步骤。
38、本申请通过获取待量化解码模型中各模型层对应的性能偏差；根据各模型层对应的性能偏差构建分层量化序列；基于分层量化序列对待量化解码模型中的模型层进行分层量化处理。由于会根据待量化解码模型中各模型层对应的性能偏差构建分层量化序列，并依据分层量化序列的序列顺序对待量化解码模型中各模型层分别进行分层量化处理，在处理过程中量化之后会利用调参修正，以尽可能降低模型因低比特量化产生的性能损失。
本文档来自技高网...【技术保护点】
1.一种模型量化方法，其特征在于，所述模型量化方法包括：
2.如权利要求1所述的模型量化方法，其特征在于，所述根据所述各模型层对应的性能偏差构建分层量化序列，包括：
3.如权利要求2所述的模型量化方法，其特征在于，所述依据对应的性能偏差从大到小对所述待量化解码模型中各模型层进行排序，获得分层量化序列，包括：
4.如权利要求1所述的模型量化方法，其特征在于，所述模型层对应的性能偏差为对所述待量化解码模型中模型层进行单独量化前后模型输出的偏差。
5.如权利要求1-4任一项所述的模型量化方法，其特征在于，所述基于所述分层量化序列对所述待量化解码模型中的模型层进行分层量化处理，包括：
6.如权利要求5所述的模型量化方法，其特征在于，所述以缩小所述当前模型层对应的性能偏差为目标，对所述待量化解码模型中至少一个模型参数进行调整，包括：
7.如权利要求5所述的模型量化方法，其特征在于，所述对所述待量化解码模型中至少一个模型参数进行调整，包括以下至少一项：
8.如权利要求5所述的模型量化方法，其特征在于，所述检测
9.如权利要求8所述的模型量化方法，其特征在于，所述若不存在未被遍历到的模型层，则检测所述待量化解码模型中是否还存在未被量化的模型层之后，还包括：
10.一种模型量化装置，其特征在于，所述模型量化装置包括：
11.一种模型量化设备，其特征在于，所述模型量化设备包括：处理器、存储器及存储在所述存储器上并可在所述处理器上运行的模型量化程序，所述模型量化程序被处理器执行时实现如权利要求1-9任一项所述的模型量化方法的步骤。
12.一种编码设备，其特征在于，所述编码设备包括：处理器、存储器及存储在所述存储器上并可在所述处理器上运行的编码程序，所述编码程序被处理器执行时实现如权利要求1-9任一项所述的模型量化方法的步骤。
13.一种解码设备，其特征在于，所述解码设备包括：处理器、存储器及存储在所述存储器上并可在所述处理器上运行的解码程序，所述解码程序被处理器执行时实现如权利要求1-9任一项所述的模型量化方法的步骤。
14.一种存储介质，其特征在于，所述存储介质上存储有模型量化程序，所述模型量化程序执行时实现如权利要求1-9任一项所述的模型量化方法的步骤。
...【技术特征摘要】
1.一种模型量化方法，其特征在于，所述模型量化方法包括：
2.如权利要求1所述的模型量化方法，其特征在于，所述根据所述各模型层对应的性能偏差构建分层量化序列，包括：
3.如权利要求2所述的模型量化方法，其特征在于，所述依据对应的性能偏差从大到小对所述待量化解码模型中各模型层进行排序，获得分层量化序列，包括：
4.如权利要求1所述的模型量化方法，其特征在于，所述模型层对应的性能偏差为对所述待量化解码模型中模型层进行单独量化前后模型输出的偏差。
5.如权利要求1-4任一项所述的模型量化方法，其特征在于，所述基于所述分层量化序列对所述待量化解码模型中的模型层进行分层量化处理，包括：
6.如权利要求5所述的模型量化方法，其特征在于，所述以缩小所述当前模型层对应的性能偏差为目标，对所述待量化解码模型中至少一个模型参数进行调整，包括：
7.如权利要求5所述的模型量化方法，其特征在于，所述对所述待量化解码模型中至少一个模型参数进行调整，包括以下至少一项：
8.如权利要求5所述的模型量化方法，其特征在于，所述检测所述分层量化序列中是否还存在未被遍历到的模型层之后...
【专利技术属性】
技术研发人员：林晨，彭博，李哲暘，谭文明，
申请(专利权)人：杭州海康威视数字技术股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。