图像处理方法、人脸识别模型训练方法、装置及设备制造方法及图纸

本公开提供了一种图像处理方法、人脸识别模型训练方法、装置及设备，涉及人工智能技术领域，具体涉及计算机视觉和深度学习技术领域，可应用于图像处理、图像识别等场景。具体实现方案为：获取待处理人脸图像，并将待处理人脸图像切割为多个图像块；确定待处理人脸图像中各图像块的重要性信息；获取预设的视觉转换模型的剪枝率；将多个图像块输入至视觉转换模型，并根据剪枝率和各图像块的重要性信息，对视觉转换模型之中每层网络的输入进行剪枝处理，获得视觉转换模型的输出结果；根据视觉转换模型的输出结果，确定待处理人脸图像的特征向量。本公开的技术方案可以降低图像处理过程中的算力消耗，提高图像处理的效率。提高图像处理的效率。提高图像处理的效率。

【技术实现步骤摘要】
图像处理方法、人脸识别模型训练方法、装置及设备


[0001]本公开涉及人工智能
，具体涉及计算机视觉和深度学习
，可应用于图像处理、图像识别等场景，尤其涉及一种图像处理方法、人脸识别模型训练方法、装置及设备。

技术介绍

[0002]近期视觉转换(Vision Transformer,ViT)模型得到了极大的发展，转换模型(Transformer)在各项视觉领域竞争中取得优异结果。不过对比卷积神经网络模型，Transformer模型一般需要耗费巨大的算力进行推断和部署，迫切需要将Transformer模型进行小型化压缩处理。

技术实现思路

[0003]本公开提供了一种图像处理方法、人脸识别模型训练方法、装置及设备。
[0004]根据本公开的第一方面，提供了一种图像处理方法，包括：
[0005]获取待处理人脸图像，并将所述待处理人脸图像切割为多个图像块；
[0006]确定所述待处理人脸图像中各图像块的重要性信息；
[0007]获取预设的视觉转换模型的剪枝率；
[0008]将所述多个图像块输入至所述视觉转换模型，并根据所述剪枝率和所述各图像块的重要性信息，对所述视觉转换模型之中每层网络的输入进行剪枝处理，获得所述视觉转换模型的输出结果；
[0009]根据所述视觉转换模型的输出结果，确定所述待处理人脸图像的特征向量。
[0010]根据本公开的第二方面，提供了一种人脸识别模型的训练方法，包括：
[0011]获取人脸图像样本，并将所述人脸图像样本切割为多个图像块；
[0012]确定所述人脸图像样本中各图像块的重要性信息；
[0013]获取视觉转换模型的剪枝率；
[0014]将所述多个图像块输入至所述视觉转换模型，并根据所述剪枝率和所述各图像块的重要性信息，对所述视觉转换模型之中每层网络的输入进行剪枝处理，获得所述视觉转换模型的输出结果；
[0015]根据所述视觉转换模型的输出结果，确定所述人脸图像样本的特征向量，并根据所述特征向量获取人脸识别结果；
[0016]根据所述人脸识别结果训练所述视觉转换模型。
[0017]根据本公开的第三方面，提供了一种图像处理装置，包括：
[0018]第一获取模块，用于获取待处理人脸图像，并将所述待处理人脸图像切割为多个图像块；
[0019]第一确定模块，用于确定所述待处理人脸图像中各图像块的重要性信息；
[0020]第二获取模块，用于获取视觉转换模型的剪枝率；
[0021]剪枝模块，用于将所述多个图像块输入至所述视觉转换模型，并根据所述剪枝率和所述各图像块的重要性信息，对所述视觉转换模型之中每层网络的输入进行剪枝处理，获得所述视觉转换模型的输出结果；
[0022]第二确定模块，用于根据所述视觉转换模型的输出结果，确定所述待处理人脸图像的特征向量。
[0023]根据本公开的第四方面，提供了一种人脸识别模型的训练装置，包括：
[0024]第一获取模块，用于获取人脸图像样本，并将所述人脸图像样本切割为多个图像块；
[0025]第一确定模块，用于确定所述人脸图像样本中各图像块的重要性信息；
[0026]第二获取模块，用于获取视觉转换模型的剪枝率；
[0027]剪枝模块，用于将所述多个图像块输入至所述视觉转换模型，并根据所述剪枝率和所述各图像块的重要性信息，对所述视觉转换模型之中每层网络的输入进行剪枝处理，获得所述视觉转换模型的输出结果；
[0028]第二确定模块，用于根据所述视觉转换模型的输出结果，确定所述人脸图像样本的特征向量，并根据所述特征向量获取人脸识别结果；
[0029]训练模块，用于根据所述人脸识别结果训练所述视觉转换模型。
[0030]根据本公开的第五方面，提供了一种电子设备，包括：
[0031]至少一个处理器；以及
[0032]与所述至少一个处理器通信连接的存储器；其中，
[0033]所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述第一方面所述的方法，和/或，执行上述第二方面所述的方法。
[0034]根据本公开的第六方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行上述第一方面所述的方法，和/或，执行上述第二方面所述的方法。
[0035]根据本公开的第七方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现上述第一方面所述的方法，和/或，实现上述第二方面所述的方法。
[0036]根据本公开的技术方案，将待处理人脸图像的多个图像块输入至预设的视觉转换模型，并根据模型的剪枝率及各图像块的重要信息，对视觉转换模型之中每层网络的输入进行剪枝处理，从而可以通过减少视觉转换模型之中每层网络的输入特征，在不影响人脸图像特征提取的同时，实现了降低视觉转换模型的算力消耗，从而可以提高图像处理的效率。
[0037]应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
[0038]附图用于更好地理解本方案，不构成对本公开的限定。其中：
[0039]图1是根据本公开实施例中的视觉转换模型的结构示意图；
[0040]图2是根据本公开实施例提供的一种图像处理方法的流程图；
[0041]图3是根据本公开实施例中的一种针对每层网络输入的剪枝处理的流程图
[0042]图4是根据本公开实施例中的另一种针对每层网络输入的剪枝处理的流程图；
[0043]图5是根据本公开实施例提供的又一种针对每层网络输入的剪枝处理的流程图；
[0044]图6是根据本公开实施例中的针对每层网络输入的剪枝处理的示例图；
[0045]图7是根据本公开实施例提供的一种人脸识别模型的训练方法；
[0046]图8是根据本公开实施例提供的一种图像处理装置的结构框图；
[0047]图9是根据本公开实施例提供的另一种图像处理装置的结构框图；
[0048]图10是用来实现本公开实施例的电子设备的框图。
具体实施方式
[0049]以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
[0050]本公开的技术方案中，所涉及的用户个人信息的获取，存储和应用等，均符合相关法律法规的规定，且不违背公序良俗。所涉及的用户个人信息是在争得用户同意的情况下获取、存储和应用的。
[0051]需要说明的是，在本公开的一本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像处理方法，包括：获取待处理人脸图像，并将所述待处理人脸图像切割为多个图像块；确定所述待处理人脸图像中各图像块的重要性信息；获取预设的视觉转换模型的剪枝率；将所述多个图像块输入至所述视觉转换模型，并根据所述剪枝率和所述各图像块的重要性信息，对所述视觉转换模型之中每层网络的输入进行剪枝处理，获得所述视觉转换模型的输出结果；根据所述视觉转换模型的输出结果，确定所述待处理人脸图像的特征向量。2.根据权利要求1所述的方法，其中，所述确定所述待处理人脸图像中各图像块的重要性信息，包括：将多张人脸图像样本输入至所述视觉转换模型，得到各层网络输出的每张人脸图像样本对应的注意力矩阵；将得到的所有注意力矩阵进行合并，获得各图像块样本的权重；根据所述各图像块样本的权重，确定所述待处理人脸图像中各图像块的重要性信息。3.根据权利要求1所述的方法，其中，所述根据所述剪枝率和所述各图像块的重要性信息，对所述视觉转换模型之中每层网络的输入进行剪枝处理，包括：根据所述剪枝率，确定每层网络的图像块剪枝数量；根据所述各图像块的重要性信息和所述每层网络的图像块剪枝数量，确定所述多个图像块中在每层网络的待剪枝图像块；针对每层网络的输入特征，对所述输入特征中的待剪枝图像块的特征进行裁剪，并将所述裁剪后得到的特征输入至当前层网络。4.根据权利要求1所述的方法，其中，所述将所述多个图像块输入至所述视觉转换模型，并根据所述剪枝率和所述各图像块的重要性信息，对所述视觉转换模型之中每层网络的输入进行剪枝处理，包括：根据所述各图像块的重要性信息，对所述各图像块进行排序；将所述各图像块及所述各图像块的排序结果输入至所述视觉转换模型；根据所述剪枝率，确定每层网络的图像块剪枝数量；针对每层网络的输入特征，根据所述各图像块的排序结果，在所述输入特征中裁剪掉所述图像块剪枝数量的图像块对应的特征，并将所述裁剪后得到的特征输入至当前层网络。5.根据权利要求1所述的方法，其中，所述视觉转换模型包括N层网络，所述N为大于1的整数；所述根据所述剪枝率和所述各图像块的重要性信息，对所述视觉转换模型之中每层网络的输入进行剪枝处理，包括：根据所述剪枝率，确定第i层网络的图像块剪枝数量；其中，所述i大于0且小于或等于N
‑
1的整数；根据所述各图像块的重要性信息和所述第i层网络的图像块剪枝数量，确定所述多个图像块中在所述第i层网络的待剪枝图像块；针对第i层网络的输入特征，对所述输入特征中的待剪枝图像块的特征进行裁剪，并将所述裁剪后得到的特征输入至第i层网络；
针对第N层网络的输入特征，将所述输入特征与所有被裁剪掉的图像块的特征进行拼接，并将拼接处理后得到的特征输入至第N层网络。6.一种人脸识别模型训练方法，所述人脸识别模型中包括视觉转换模型，所述方法包括：获取人脸图像样本，并将所述人脸图像样本切割为多个图像块；确定所述人脸图像样本中各图像块的重要性信息；获取所述视觉转换模型的剪枝率；将所述多个图像块输入至所述视觉转换模型，并根据所述剪枝率和所述各图像块的重要性信息，对所述视觉转换模型之中每层网络的输入进行剪枝处理，获得所述视觉转换模型的输出结果；根据所述视觉转换模型的输出结果，确定所述人脸图像样本的特征向量，并根据所述特征向量获取人脸识别结果；根据所述人脸识别结果训练所述人脸识别模型。7.一种图像处理装置，包括：第一获取模块，用于获取待处理人脸图像，并将所述待处理人脸图像切割为多个图像块；第一确定模块，用于确定所述待处理人脸图像中各图像块的重要性信息；第二获取模块，用于获取视觉转换模型的剪枝率；剪枝模块，用于将所述多个图像块输入至所述视觉转换模型，并根据所...

【专利技术属性】
技术研发人员：李建伟，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：