用于神经网络压缩的基于聚类的量化制造技术

本发明专利技术公开了用于神经网络(NN)压缩的基于聚类的量化的系统、方法和手段。可以分析NN层中权重张量中的权重分布以识别集群异常值。可以例如使用标量量化和/或向量量化相对于集群异常值对集群内部值进行编码。权重重新排列可以将较高维度的权重张量的权重重新排列为较低维度的矩阵。例如，权重重新排列可以将卷积核扁平化为向量。例如，可以通过将跨信道的一个或多个滤波器视为一个点来保持核之间的相关性。张量可以例如沿输入信道和/或输出信道被分成多个子空间。可以基于重新整形或先前编码的块或矩阵对权重或权重矩阵的当前块执行预测性编码。可以向解码器发信号通知排列、内部值、异常值和/或预测信息以用于压缩的NN的重建。的重建。的重建。

【技术实现步骤摘要】
【国外来华专利技术】用于神经网络压缩的基于聚类的量化
[0001]相关申请的交叉引用
[0002]本申请要求2019年7月2日提交的美国临时专利申请号62/869,754的优先权，该专利申请的全文以引用方式并入本文，如同在本文完整示出一样。

技术介绍

[0003]神经网络表示(NNR)编码系统可用于压缩神经网络模型，例如，以减少此类模型所需的存储和/或传输带宽。NNR编码系统可包括基于块的、基于小波的和/或基于对象的系统。

技术实现思路

[0004]公开了用于神经网络(NN)模型压缩的基于聚类的量化(例如，基于分层或基于k
‑
均值聚类的量化)的系统、方法和手段。NN模型可以是一种用于处理视频、音频、医疗、语音等的NN模型。NN模型可以表示例如数据模型、包括一个或多个参数和/或函数的数学模型等。基于聚类的量化可以分析NN层(例如，卷积NN(CNN)层)和/或集群异常值的参数的张量排列。
[0005]设备诸如编码设备可以使用基于集群的量化来进行NN压缩，并且可以分析NN层中权重张量中的一个或多个NN权重的分布。例如，设备可以识别和/或分离集群外的异常值和集群内的内部值。设备可以使用相对于集群内的内部值识别的和/或分离的集群外的异常值来应用基于聚类的量化，诸如基于K
‑
均值聚类的量化。设备可以根据内部值来对权重张量中的异常值进行检测、移除或分离和/或编码(例如，单独编码)。内部值(例如，移除异常值后的其余权重)可以与异常值分开编码(例如，使用标量量化和/或向量量化)。设备可以使用一个或多个异常值检测过程来检测一个或多个异常值。设备可以基于点的维度(例如，一维的点)来选择一个或多个异常值检测过程。例如，设备可以向解码设备，诸如解码器发信号通知内部值和/或异常值信息(例如，用于重建压缩的NN模型)。权重张量和权重矩阵在本文中可互换使用。
[0006]例如，用于NN压缩的基于集群的量化可以采用权重重新排列，以保持核间相关性。网络权重(例如，对于CNN层的较高维度的权重张量)可以重新排列为二维矩阵。可以对重排矩阵逐行或逐列执行向量量化。一种排列可以导致所得矩阵中的行向量(或列向量)之间的相关性(例如，大相关性)。例如，设备诸如编码设备可以例如使用权重重新排列将卷积核重新排列为向量。可以将跨信道的单个滤波器或多个核视为一个点。例如，可以通过在聚类期间将跨信道的一个或多个核视为一个点来保持核之间的相关性。张量可以例如沿输入信道被分成多个子空间。张量可以例如沿输出信道被分成多个子空间。设备可以基于重新整形的或先前编码的权重块或先前编码的权重矩阵来(例如，对于当前权重块或当前权重矩阵)执行预测。设备可以例如向解码器发信号通知排列信息、预测信息等(例如，用于重建压缩的NN模型)。
[0007]在示例中，可以(例如，在编解码器中)实现方法，以针对NN压缩或压缩NN的解压
缩/重建执行基于聚类的量化或逆量化。方法可以例如由装置实施。装置可包括被配置为执行计算机可执行指令的一个或多个处理器。一个或多个计算机可执行指令可以存储在计算机可读介质或计算机程序产品上，当由一个或多个处理器执行时，执行该方法。装置可包括一个或多个处理器，该一个或多个处理器被配置为执行该方法。计算机可读介质或计算机程序产品可包括指令，这些指令使一个或多个处理器通过执行指令来执行方法。计算机可读介质可包括根据方法生成的数据内容。信号可以包括码本和码索引、异常值和异常值索引和/或对权重矩阵或权重矩阵中的权重块的预测，其中该权重矩阵根据本文所述的方法利用重新整形、异常值检测和移除以及/或者对原始权重矩阵的NN压缩的预测性编码，根据基于聚类的量化而生成。
[0008]一种使用基于聚类的量化进行编码以进行NN压缩的方法可包括例如获得包括与权重矩阵诸如权重张量相关联的NN层的NN模型；识别权重矩阵的维数；基于所识别的权重矩阵的维数，对权重矩阵重新整形以减少权重矩阵的维数；并且基于重新整形的权重矩阵对NN层进行编码。
[0009]对权重矩阵重新整形可以包括例如展平或重新排列权重矩阵的维数。
[0010]权重矩阵的示例性维数可以包括例如二维(2D)、三维(3D)、四维(4D)或更高维。权重矩阵可以被重新整形为例如一维(1D)权重向量。维数可以从多维减少到(例如，任何)较低维度(例如，4D至3D、4D至2D、3D至2D、2D至1D、3D至1D、4D至1D等)。
[0011]NN层可以包括例如卷积NN(CNN)层、全连接层或偏置层。
[0012]该方法还可以包括例如在比特流中传输权重矩阵的所识别的维数和减少的维数。
[0013]在示例中，对NN层进行编码可以包括执行量化。量化可以是基于聚类的量化。可以在对集群内的内部值进行量化之前移除异常值。量化可以包括例如向量量化。
[0014]该方法还可以包括基于重新整形或先前编码的权重块或权重矩阵(例如，对于当前权重块或当前权重矩阵)执行预测。
[0015]一种解码方法可包括例如获得压缩的NN模型，该压缩的NN模型包括与具有第一维数的权重矩阵相关联的量化的NN层；获得指示具有第二维数的权重矩阵形状的权重矩阵形状指示；基于权重矩阵形状指示将权重矩阵重新整形为第二维数；并且基于重新整形的权重矩阵对NN层进行解码。
[0016]对权重矩阵重新整形可以包括例如将具有第一维数的权重矩阵恢复为具有第二维数的权重矩阵。具有第二维数的权重矩阵形状可包括例如在量化之前具有原始维数的权重矩阵。权重矩阵形状指示可以指示例如与原始维数相关联的列数和行数。权重矩阵的第二维数可包括例如2D、3D、4D或更高维。例如，可以通过将权重矩阵的第一维数增加至权重矩阵的第二维数来对权重矩阵重新整形。维数可以从较低维度增加至较高维度(例如，3D至4D、2D至4D、2D至3D、1D至2D、1D至3D、1D至4D等)。
[0017]在示例中，编码设备诸如基于神经网络模型的编码器、视频编码器等，可以被配置为获得具有多层的NN模型；针对NN模型的卷积层识别卷积层权重张量(例如，4
‑
D张量，诸如K1xK2xCinxCout)；例如通过将权重矩阵向量化为向量(例如，K1
×
K2
→
K1K2)来重新排列卷积层权重张量；以及使用重新排列的卷积层权重张量(例如，K1K2
×
C
输入
×
C
输出
)对卷积层执行向量量化。
附图说明
[0018]图1A是示出可在其中实现一个或多个所公开的实施方案的示例性通信系统的系统图。
[0019]图1B是示出根据实施方案可在图1A所示的通信系统内使用的示例性无线发射/接收单元(WTRU)的系统图。
[0020]图1C是示出根据实施方案的可在图1A所示的通信系统内使用的示例性无线电接入网络(RAN)和示例性核心网络(CN)的系统图。
[0021]图1D是示出根据实施方案的可在图1A所示的通信系统内使用的另一个示例性RAN和另一个本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种编码方法，包括：获得包括与权重矩阵相关联的神经网络(NN)层的NN模型；识别所述权重矩阵的维数；基于所述权重矩阵的所识别的维数，对所述权重矩阵重新整形以减少所述权重矩阵的所述维数；以及基于重新整形的权重矩阵对所述NN层进行编码。2.根据权利要求1所述的方法，其中对所述权重矩阵重新整形包括展平或重新排列所述权重矩阵的所述维数。3.根据权利要求1所述的方法，其中所述权重矩阵的所述维数包括二维、三维或更高维，并且将所述权重矩阵重新整形为一维权重向量。4.根据权利要求1所述的方法，其中所述方法包括：在比特流中传输所述权重矩阵的所识别的维数和减少的维数。5.根据权利要求1所述的方法，其中编码包括执行量化。6.根据权利要求5所述的方法，其中所述量化包括向量量化。7.根据权利要求1所述的方法，所述方法包括：基于所述重新整形的权重矩阵执行预测。8.一种用于编码的装置，包括：处理器，所述处理器被配置为：获得包括与权重矩阵相关联的神经网络(NN)层的NN模型；识别所述权重矩阵的维数；基于所述权重矩阵的所识别的维数，对所述权重矩阵重新整形以减少所述权重矩阵的所述维数；以及基于重新整形的权重矩阵对所述NN层进行编码。9.一种解码方法，包括：获得压缩的神经网络(NN)模型，所述压缩的NN模型包括与...

【专利技术属性】
技术研发人员：李端顺，田东，杨华，贺玉文，
申请(专利权)人：VID拓展公司，
类型：发明
国别省市：