一种深度神经网络处理装置、解压缩方法及压缩方法制造方法及图纸

本发明专利技术涉及一种深度神经网络处理装置、解压缩方法及压缩方法，该深度神经网络处理装置包括：储存模组，用来储存多个二元码、编码树、零点值及尺度；解压缩模组，耦接于储存模组，用来根据多个二元码、编码树及零点值，产生量化权重阵列，其中根据对齐的量化权重阵列及零点值，量化权重阵列被产生；以及深度神经网络处理模组，耦接于解压缩模组，用来根据量化权重阵列及尺度，处理输入讯号。本发明专利技术可实现在嵌入式系统领域中的深度学习技术的模型精度、计算负担及记忆体需求之间的平衡。算负担及记忆体需求之间的平衡。算负担及记忆体需求之间的平衡。

【技术实现步骤摘要】
一种深度神经网络处理装置、解压缩方法及压缩方法
[0001]本申请要求在2022年03月10日提交中国专利局、申请号为US 17/691,145、申请名称为“具有解压缩模组的深度神经网络处理装置、解压缩方法及压缩方法”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。


[0002]本专利技术相关于一种用于嵌入式系统的装置及方法，尤其涉及用于在嵌入式系统中的一种深度神经网络处理装置、解压缩方法及压缩方法。

技术介绍

[0003]随着深度学习技术的发展，人工智慧(artificial intelligence，AI)的性能，尤其是在与感知及预测相关的任务中，已大幅地超越现有技术。然而，因为深度学习技术的主要产品是包含有大量(例如百万)权重的深度神经网络模型，沉重的计算负担及高的记忆体需求被需要以实现高的模型精度，其限制了在嵌入式系统领域中的深度学习技术的发展。因此，如何在嵌入式系统领域中的深度学习技术的模型精度、计算负担及记忆体需求之间取得平衡，是一个亟待解决的问题。

技术实现思路

[0004]本专利技术提供了一种深度神经网络处理装置、解压缩方法及压缩方法，在不牺牲深度神经网络模型的性能的情况下，降低沉重的计算负担及高的记忆体需求，以及维持模型精度，以解决上述问题。
[0005]本专利技术揭露一种具有解压缩(decompressing)模组的深度神经网络DNN处理装置，包括：储存模组，用来储存多个二元码(binary code)、编码树(coding tree)、零点值(zero<br/>‑
point value)及尺度(scale)；所述解压缩模组，耦接于所述储存模组，用来根据所述多个二元码、所述编码树及所述零点值，产生量化权重阵列(quantized weight array)，其中根据对齐的(aligned)量化权重阵列及所述零点值，所述量化权重阵列被产生；以及深度神经网络处理模组，耦接于所述解压缩模组，用来根据所述量化权重阵列及所述尺度，处理输入讯号。
[0006]本专利技术另揭露一种解压缩(decompressing)方法，包括：接收多个二元码(binary code)、编码树(coding tree)、零点值(zero
‑
point value)及尺度(scale)；根据所述多个二元码及所述编码树，产生对齐的(aligned)量化权重阵列(quantized weight array)；根据所述对齐的量化权重阵列及所述零点值，产生量化权重阵列；以及传送所述量化权重阵列、所述零点值及所述尺度。
[0007]本专利技术另揭露一种压缩(compressing)方法，包括：接收量化权重阵列(quantized weight array)、零点值(zero
‑
point value)及尺度(scale)；根据所述量化权重阵列及所述零点值，产生对齐的(aligned)量化权重阵列；根据所述对齐的量化权重阵列，产生多个二元码(binary code)及编码树(coding tree)；以及传送所述多个二元码、所述编码树、所
述零点值及所述尺度到一储存模组。
附图说明
[0008]图1为本专利技术实施例中深度神经网络处理装置的示意图；
[0009]图2为本专利技术实施例中解压缩模组的示意图；
[0010]图3为本专利技术实施例中一种流程的流程图；
[0011]图4为本专利技术实施例中另一种流程的流程图。
具体实施方式
[0012]图1为本专利技术实施例中深度神经网络(deep neural network，DNN)处理装置10的示意图。本专利技术实施例中，深度神经网络处理装置10包含有储存模组100、解压缩模组110及深度神经网络处理模组120。储存模组100储存多个二元码(binary code)(或任何适合的码)、编码树(coding tree)、零点值(zero
‑
point value)及尺度(scale)。解压缩模组110耦接于储存模组100，以及根据(例如藉由使用)多个二元码、编码树及零点值，产生(例如恢复(restores))量化权重阵列(quantized weight array)(例如，参数矩阵)。根据对齐的(aligned)量化权重阵列及零点值，量化权重阵列被产生。深度神经网络处理模组120耦接于解压缩模组110，以及根据量化权重阵列及尺度，处理输入讯号(例如图1所示的讯号)。
[0013]在一实施例中，深度神经网络处理装置10包含有(例如为或被设定为)影像讯号处理(image signal processing，ISP)装置、数位讯号处理(digital signal processing，DSP)装置、任何适合用于处理深度神经网络模型或相关运作的装置，或者其组合，但不限于此。
[0014]在一实施例中，深度神经网络处理模组120被设定为人工智慧(artificial intelligence，AI)引擎，以将输入讯号转换为所需资讯(例如用于处理深度神经网络模型或相关运作)，其中输入讯号从感测器(例如相机的影像感测器)被获得。在一实施例中，人工智慧引擎包含有图形处理单元(graphic processing unit，GPU)、任何适合用于处理计算机图形及影像的电子电路，或者其组合，但不限于此。在一实施例中，深度神经网络处理模组120被设定为影像讯号处理模组，输入讯号为影像讯号，或者所需资讯为影像资料。
[0015]在一实施例中，深度神经网络处理装置10另包括控制模组(未绘示于图1中)。控制模组耦接于储存模组100，以及执行在储存模组100中储存的多个指令(例如二元码)，以控制解压缩模组110及深度神经网络处理模组120。
[0016]图2为本专利技术实施例中解压缩模组110的示意图。解压缩模组110包括接收电路200、解码(decoding)电路210及去对齐(de
‑
alignment)电路220。接收电路200接收多个二元码、编码树、零点值及尺度(例如从储存模组100)。解码电路210耦接于接收电路200，以及根据多个二元码及编码树，产生对齐的量化权重阵列。去对齐电路220耦接于接收电路200及解码电路210，以及根据对齐的量化权重阵列及零点值，产生(例如恢复)量化权重阵列。
[0017]在一实施例中，解压缩模组110传送(例如储存)量化权重阵列、零点值及尺度(例如在深度神经网络处理装置10的暂存器(register)中)。
[0018]在一实施例中，根据编码树，解码电路210解码多个二元码，以产生对齐的量化权重阵列。在一实施例中，去对齐电路220将零点值加到对齐的量化权重阵列，以产生量化权
重阵列。也就是说，在对齐的量化权重阵列中具有数值的参数被加上零点值。在一实施例中，去对齐电路220包含有加法器，其为用于对数值执行加法的数位电路。
[0019]解压缩模组110的解压缩方法可被归纳为一种流程30，如图3所示，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种具有解压缩(decompressing)模组的深度神经网络(deep neural network)处理装置，其特征在于，包括：储存模组，用来储存多个二元码(binary code)、编码树(coding tree)、零点值(zero
‑
point value)及尺度(scale)；所述解压缩模组，耦接于所述储存模组，用来根据所述多个二元码、所述编码树及所述零点值，产生量化权重阵列(quantized weight array)，其中根据对齐的(aligned)量化权重阵列及所述零点值，所述量化权重阵列被产生；以及深度神经网络处理模组，耦接于所述解压缩模组，用来根据所述量化权重阵列及所述尺度，处理输入讯号。2.根据权利要求1所述的深度神经网络处理装置，其特征在于，所述深度神经网络处理模组被设定为人工智慧(artificial intelligence)引擎，以将所述输入讯号转换为所需资讯，其中所述输入讯号从感测器被获得。3.根据权利要求1所述的深度神经网络处理装置，其特征在于，还包括：控制模组，耦接于所述储存模组，用来执行在所述储存模组中储存的多个指令，以控制所述解压缩模组及所述深度神经网络处理模组。4.根据权利要求1所述的深度神经网络处理装置，其特征在于，所述解压缩模组还包括：接收电路，用来接收所述多个二元码、所述编码树、所述零点值及所述尺度；解码(decoding)电路，耦接于所述接收电路，用来根据所述多个二元码及所述编码树，产生所述对齐的量化权重阵列；以及去对齐(de
‑
alignment)电路，耦接于所述接收电路及所述解码电路，用来根据所述对齐的量化权重阵列及所述零点值，产生所述量化权重阵列。5.根据权利要求4所述的深度神经网络处理装置，其特征在于，根据所述编码树，所述解码电路解码所述多个二元码，以产生所述对齐的量化权重阵列。6.根据权利要求4所述的深度神经网络处理装置，其特征在于，所述去对齐电路将所述零点值加到所述对齐的量化权重阵列，以产生所述量化权重阵列。7.根据权利要求1所述的深度神经网络处理装置，其特征在于，所述量化权重阵列包含有在8位元整数的范围中具有第一多个数值的第一多个参数。8.根据权利要求7所述的深度神经网络处理装置，其特征在于，所述第一多个参数对应于在实数的范围中具有第二多个数值的第二多个参数。9.根据权利要求8所述的深度神经网络处理装置，其特征在于，所述零点值包含有在所述第二多个数值中的数值0映射的在所述第一多个数值中的第三数值。10.根据权利要求1所述的深度神经网络处理装置，其特征在于，所述编码树包含有霍夫曼树(Huffman tree)，或者所述尺度包含有正实数。11.一种解压缩(decompressing)方法，其特征在于，包括：接收多个二元码(binary code)、编码树(coding tree)、零点值(zero
‑
point value)及尺度(scale)；根据所述多个二元码及所述编码树，产生对齐的(aligned)量化权重阵列(quantized weight array)；
根据所述对...

【专利技术属性】
技术研发人员：黄浚锋，刘镕瑄，林昭文，
申请(专利权)人：聚晶半导体股份有限公司，
类型：发明
国别省市：