拓扑识别模型的压缩方法、装置、电子设备及介质制造方法及图纸

本公开涉及计算机技术领域，具体涉及一种拓扑识别模型的压缩方法、装置、电子设备及介质，所述拓扑识别模型的压缩方法包括：对待压缩模型进行剪枝，得到剪枝模型，并对所述剪枝模型进行训练，得到训练好的剪枝模型；将所述训练好的剪枝模型中各神经网络层的权重参数的比特位数由第一比特位数量化到第二比特位数，得到高量化剪枝模型，并对所述高量化剪枝模型进行训练，得到训练好的高量化剪枝模型；将所述训练好的高量化剪枝模型作为待压缩模型，继续对所述待压缩模型进行剪枝和量化，直至得到压缩好的拓扑识别模型，并将所述压缩好的拓扑识别模型部署到电力物联终端，从而在确保拓扑识别模型的精度满足需求的情况下，减小拓扑识别模型的尺寸。拓扑识别模型的尺寸。拓扑识别模型的尺寸。

【技术实现步骤摘要】
拓扑识别模型的压缩方法、装置、电子设备及介质


[0001]本公开涉及计算机
，具体涉及一种拓扑识别模型的压缩方法、装置、电子设备及介质。

技术介绍

[0002]精确地获知配电网的拓扑结构是电网规划、运行和控制的先决条件。然而，随着大量新能源接入，配电网拓扑变化频繁，因此，配电网的拓扑结构往往是未知的。为了精确识别配电网的拓扑结构，可以使用拓扑识别模型对配电网的拓扑结构进行识别，拓扑识别模型是对深度神经网络模型进行训练得到的，识别精度较高，但由于结构复杂只能运行在服务端。随着配电网业务的发展，需要在电力物联终端上运行拓扑识别模型，以便捷的识别供电变压器台区测的拓扑结构。然而电力物联终端硬件资源有限，存在存储、计算能力、功耗和带宽等方面的限制，因此很难在电力物联终端设备上部署深度学习模型。
[0003]对拓扑识别模型进行压缩，将压缩好的拓扑识别模型部署在电力物联终端设备，是较好的解决方案。然而对拓扑识别模型进行压缩必然会带来拓扑识别模型测精度下降的问题。
[0004]因此，如何在确保拓扑识别模型的精度满足需求的情况下，有效减小拓扑识别模型的尺寸，从而可以在电力物联终端上运行拓扑识别模型，是亟待解决的技术问题。

技术实现思路

[0005]为了解决相关技术中的问题，本公开实施例提供一种拓扑识别模型的压缩方法、装置、电子设备及介质。
[0006]第一方面，本公开实施例中提供了一种拓扑识别模型的压缩方法，包括：对待压缩模型进行剪枝，得到剪枝模型，并对所述剪枝模型进行训练，得到训练好的剪枝模型；其中，所述待压缩模型为拓扑识别模型，所述拓扑识别模型为运行在服务端的用于识别电网拓扑结构的机器学习模型；将所述训练好的剪枝模型中各神经网络层的权重参数的比特位数由第一比特位数量化到第二比特位数，得到高量化剪枝模型，并对所述高量化剪枝模型进行训练，得到训练好的高量化剪枝模型；其中，所述第二比特位数小于所述第一比特位数；将所述训练好的高量化剪枝模型作为待压缩模型，继续对所述待压缩模型进行剪枝和量化，直至得到压缩好的拓扑识别模型，并将所述压缩好的拓扑识别模型部署到电力物联终端。
[0007]在一些实施例中，所述对待压缩模型进行剪枝，得到剪枝模型，包括：通过稀疏正则化训练，确定所述待压缩模型中的冗余通道，并从所述待压缩模型中移除所述冗余通道，得到所述剪枝模型。
[0008]在一些实施例中，所述方法还包括：将全连接层作为线性分类器，使用所述线性分类器得到所述待压缩模型中各个神经网络层的识别精度；如果所述待压缩模型中任意两个相邻神经网络层的识别精度之间的差值小于预设差值阈值，则将所述任意两个相邻神经网络层中识别精度最低的神经网络层移除。
[0009]在一些实施例中，所述将全连接层作为线性分类器，使用所述线性分类器得到所述待压缩模型中各个神经网络层的识别精度，包括：从所述待压缩模型中选择任意两个相邻神经网络层，移除所述任意两个相邻神经网络层中的一个神经网络层，得到神经网络层精度预测模型；使用带标注的预测数据集，对所述神经网络层精度预测模型进行测试，得到所述神经网络层精度预测模型的输出精度，将所述输出精度作为所述任意两个相邻神经网络层中未被移除的神经网络层的识别精度。
[0010]在一些实施例中，所述对所述剪枝模型进行训练，得到训练好的剪枝模型，包括：使用所述待压缩模型，对无标签训练数据集中的训练数据做标注，得到训练数据集；使用所述训练数据集，对所述剪枝模型进行训练，得到训练好的剪枝模型。
[0011]在一些实施例中，所述使用所述待压缩模型，对无标签训练数据集中的训练数据做标注，得到训练数据集，包括：将所述训练数据输入所述待压缩模型，将所述待压缩模型的输出结果作为所述训练数据的标签；将所述训练数据与所述训练数据的标签，作为所述训练数据集中的一组训练数据。
[0012]在一些实施例中，所述使用所述训练数据集，对所述剪枝模型进行训练，得到训练好的剪枝模型，包括：使用损失函数，根据所述剪枝模型的输出与所述训练数据集中训练数据的标签，得到损失值；根据所述损失值，判断所述损失函数是否收敛；若是，则停止训练，否则，调整所述剪枝模型的参数，并进行下一次训练，直至所述损失函数收敛或者训练次数达到预设训练次数阈值。
[0013]在一些实施例中，所述方法还包括：如果训练次数达到所述预设训练次数阈值，所述损失函数还未收敛，则参照所述待压缩模型，增加所述剪枝模型的通道或者神经网络层。
[0014]在一些实施例中，所述将所述训练好的剪枝模型中各神经网络层的权重参数的比特位数由第一比特位数量化到第二比特位数，得到高量化剪枝模型，包括；将所述剪枝模型中的各个神经网络层的权重参数由第一比特位数量化到第二比特位数，并对所述剪枝模型进行训练；将所述剪枝模型的全连接层的权重参数的比特位数由第一比特位数量化到第二比特位数，并对所述剪枝模型进行训练；对所述剪枝模型的激活函数进行量化，得到所述高量化剪枝模型。
[0015]在一些实施例中，所述对所述高量化剪枝模型进行训练，得到训练好的高量化剪枝模型，包括：从所述高量化剪枝模型中选择至少一个神经网络层构建损失函数；使用所述剪枝模型，对无标签训练数据集中的训练数据做标注，得到训练数据集；根据所述损失函数和所述训练数据集，对所述高量化剪枝模型进行训练，得到训练好的高量化剪枝模型。
[0016]在一些实施例中，所述使用所述剪枝模型，对无标签训练数据集中的训练数据做标注，得到训练数据集，包括：将所述训练数据输入所述剪枝模型，将所述剪枝模型中的参照网络层的输出作为所述训练数据的标签；其中，所述参照网络层与所述高量化剪枝模型中被选择的所述至少一个神经网络层对应；将所述训练数据与所述训练数据的标签，作为所述训练数据集中的一组训练数据。
[0017]在一些实施例中，所述根据所述损失函数和所述训练数据集，对所述高量化剪枝模型进行训练，得到训练好的高量化剪枝模型，包括：使用所述损失函数，根据所述高量化剪枝模型中的所述至少一个神经网络层的输出与所述训练数据集中训练数据的标签，得到损失值；根据所述损失值，判断所述损失函数是否收敛；若是，则停止训练，否则，调整所述
高量化剪枝模型的参数，并进行下一次训练，直至所述损失函数收敛或者训练次数达到预设训练次数阈值。
[0018]在一些实施例中，所述方法还包括：如果训练次数达到所述预设训练次数阈值，所述损失函数还未收敛，则参照所述剪枝模型中神经网络层的权重参数，将所述高量化剪枝模型中的至少一个权重参数的比特位数由所述第二比特位数增加到所述第一比特位数。
[0019]在一些实施例中，所述将所述剪枝模型中的各个神经网络层的权重参数由第一比特位数量化到第二比特位数，包括：逐次使用预设算法从所述剪枝模型中选择至少一个神经网络层，将所述至少一个神经网络层的权重参数由第一比特位数量化到第二比特位数。
[0020]第二方面，本公开实施例中提供了一种拓扑识别模型的压缩装置，包括：剪枝模块，用于对待压缩模型进行剪枝，得到剪本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种拓扑识别模型的压缩方法，其特征在于，所述方法包括：对待压缩模型进行剪枝，得到剪枝模型，并对所述剪枝模型进行训练，得到训练好的剪枝模型；其中，所述待压缩模型为拓扑识别模型，所述拓扑识别模型为运行在服务端的用于识别电网拓扑结构的机器学习模型；将所述训练好的剪枝模型中各神经网络层的权重参数的比特位数由第一比特位数量化到第二比特位数，得到高量化剪枝模型，并对所述高量化剪枝模型进行训练，得到训练好的高量化剪枝模型；其中，所述第二比特位数小于所述第一比特位数；将所述训练好的高量化剪枝模型作为待压缩模型，继续对所述待压缩模型进行剪枝和量化，直至得到压缩好的拓扑识别模型，并将所述压缩好的拓扑识别模型部署到电力物联终端。2.根据权利要求1所述的方法，其特征在于，所述对待压缩模型进行剪枝，得到剪枝模型，包括：通过稀疏正则化训练，确定所述待压缩模型中的冗余通道，并从所述待压缩模型中移除所述冗余通道，得到所述剪枝模型。3.根据权利要求2所述的方法，其特征在于，所述方法还包括：将全连接层作为线性分类器，使用所述线性分类器得到所述待压缩模型中各个神经网络层的识别精度；如果所述待压缩模型中任意两个相邻神经网络层的识别精度之间的差值小于预设差值阈值，则将所述任意两个相邻神经网络层中识别精度最低的神经网络层移除。4.根据权利要求3所述的方法，其特征在于，所述将全连接层作为线性分类器，使用所述线性分类器得到所述待压缩模型中各个神经网络层的识别精度，包括：从所述待压缩模型中选择任意两个相邻神经网络层，移除所述任意两个相邻神经网络层中的一个神经网络层，得到神经网络层精度预测模型；使用带标注的预测数据集，对所述神经网络层精度预测模型进行测试，得到所述神经网络层精度预测模型的输出精度，将所述输出精度作为所述任意两个相邻神经网络层中未被移除的神经网络层的识别精度。5.根据权利要求1所述的方法，其特征在于，所述对所述剪枝模型进行训练，得到训练好的剪枝模型，包括：使用所述待压缩模型，对无标签训练数据集中的训练数据做标注，得到训练数据集；使用所述训练数据集，对所述剪枝模型进行训练，得到训练好的剪枝模型。6.根据权利要求5所述的方法，其特征在于，所述使用所述待压缩模型，对无标签训练数据集中的训练数据做标注，得到训练数据集，包括：将所述训练数据输入所述待压缩模型，将所述待压缩模型的输出结果作为所述训练数据的标签；将所述训练数据与所述训练数据的标签，作为所述训练数据集中的一组训练数据。7.根据权利要求5所述的方法，其特征在于，所述使用所述训练数据集，对所述剪枝模型进行训练，得到训练好的剪枝模型，包括：使用损失函数，根据所述剪枝模型的输出与所述训练数据集中训练数据的标签，得到损失值；
根据所述损失值，判断所述损失函数是否收敛；若是，则停止训练，否则，调整所述剪枝模型的参数，并进行下一次训练，直至所述损失函数收敛或者训练次数达到预设训练次数阈值。8.根据权利要求7所述的方法，其特征在于，所述方法还包括：如果训练次数达到所述预设训练次数阈值，所述损失函数还未收敛，则参照所述待压缩模型，增加所述剪枝模型的通道或者神经网络层。9.根据权利要求1所述的方法，其特征在于，所述将所述训练好的剪枝模型中各神经网络层的权重参数的比特位数由第一比特位数量化到第二比特位数，得到高量化剪枝模型，包括；将所述剪枝模型中的各个神经网络层的权重参数由第一比特位数量化到第二比特位数，并对所述剪枝模型进行训练；将所述剪枝模型的全连接层的权重参数的比特位数由第一比特位数量化到第二比特位数，并对所述剪枝模型进行训练；对所述剪枝模型的激活函数进行量化，得到所述高量化剪枝模型。10.根据权利要求1所述的方法，其特征在于，所述对所述高量化剪枝模型进行训练，得到训练好的高量化剪枝模型，包括：从所述高量化剪枝模型中选择至少一个神经网络层构建损失函数；使用所述剪枝模型，对无标签训练数据集中的训练数据做标注，得到训练数据集；根据所述损失函数和所述训练数据集，对所述高量化剪枝模型进行训练，得到训练好的高量化剪枝模型。11.根据权利要求10所述的方法，其特征在于，所述使用所述剪枝模型，对无标签训练数据集中的训练数据做标注，得到训练数据集，包括：将所述训练数据输入所述剪枝模型，将所述剪枝模型中的参照网络层的输出作为所述训练数据的标签；其中，所述参照网络层与所述高量化剪枝模型中被选择的所述至少一个神经网络层对应；将所述训练数据与所述训练数据的标签，作为所述训练数据集中的一组训练数据。12.根据权利要求10所述的方法，其特征在于，所述根据所述损失函数和所述训练数据集，对所述高量化剪枝模型进行训练，得到训练好的高量化剪枝模型，包括：使用所述损失函数，根据所述高量化剪枝模型中的所述至少一个神经网络层的输出与所述训练数据集中训练数据的标签，得到损失值；根据所述损失值，判断所述损失函数是否收敛；若是，则停止训练，否则，调整所述高量化剪枝模型的参数，并进行下一次训练，直至所述损失函数收敛或者训练次数达到预设训练次数阈值。13.根据权利要求12所述的方法，其特征在于，所述方法还包括：如果训练次数达到所述预设训练次数阈值，所述损失函数还未收敛，则参照所述剪枝模型中神经网络层的权重参数，将所述高量化剪枝模型中的至少一个权重参数的比特位数由所述第二比特位数增加到所述第一比特位数。14.根据权利要求9所述的方法，其特征在于，所述将所述剪枝模型中的各个神经网络层的权重参数由第一比特位数量化到第二比特位数，包括：
逐次使用预设算法从所述剪枝模型中选择至少一个神经网络层，将所述至少一个神经网络层的权重参数由第一比特位数量化到第二比特位数。15.一种拓扑识别模型的压缩装置，其特征在于，包括：剪枝模块，用于对待压缩模型进行剪枝，得到剪枝模型，并对所述剪枝模型进行训练，得到训练好的剪枝模型；其中，所述待压缩模型为拓扑识别模型，所述拓扑识别模型为运行在服务端的用于识别电网拓扑结构的机器学习模型；量化模块，用于将所述训练好的剪枝模型中各神经网络层的权重参数的比特位数由...

【专利技术属性】
技术研发人员：苑佳楠，霍超，白晖峰，张港红，高建，郑利斌，于华东，尹志斌，罗安琴，谢凡，申一帆，杨双双，丁啸，
申请(专利权)人：北京智芯微电子科技有限公司，
类型：发明
国别省市：