基于视觉转换器模型的图像处理方法、训练方法和设备技术

本公开提供的基于视觉转换器模型的图像处理方法、训练方法和设备，涉及人工智能中的深度学习、图像处理、计算机视觉技术领域，可应用于人脸等场景。该图像处理方法包括：对待处理图像进行特征提取，得到第一初始特征信息，其中，所述第一初始特征信息包括所述待处理图像的多个局部特征；通过所述视觉转换器模型，从所述多个局部特征中去除与第一掩码对应的第一局部特征，得到第二初始特征信息；所述第一掩码用于指示局部特征需剪除，所述第二掩码用于指示局部特征无需剪除；通过所述视觉转换器模型对所述第二初始特征信息进行图像处理，得到图像处理结果。进而，通过采用上述方式，可以有效降低模型的计算量。以有效降低模型的计算量。以有效降低模型的计算量。

【技术实现步骤摘要】
基于视觉转换器模型的图像处理方法、训练方法和设备


[0001]本公开涉及人工智能中的深度学习、图像处理、计算机视觉
，可应用于人脸等场景；尤其涉及一种基于视觉转换器模型的图像处理方法、训练方法和设备。

技术介绍

[0002]随着人工智能技术的发展，视觉转换器(Vision Transformer，简称ViT)模型可以应用到图像处理中。
[0003]然而，由于视觉转换器模型本身计算量较大，导致再采用视觉转换器模型进行图像处理时，耗时较长。因此，如何降低视觉转换器模型的计算量是一个急需解决的问题。

技术实现思路

[0004]本公开提供了一种用于降低视觉转换器模型计算量的基于视觉转换器模型的图像处理方法、训练方法和设备。
[0005]根据本公开的第一方面，提供了一种基于视觉转换器模型的图像处理方法，包括：
[0006]对待处理图像进行特征提取，得到第一初始特征信息，其中，所述第一初始特征信息包括所述待处理图像的多个局部特征；
[0007]通过所述视觉转换器模型，从所述多个局部特征中去除与第一掩码对应的第一局部特征，得到第二初始特征信息；其中，所述第二初始特征信息中包括所述多个局部特征中的与第二掩码对应的第二局部特征；所述视觉转换器模型中包括与所述多个局部特征中的局部特征一一对应的掩码信息，所述掩码信息为所述第一掩码或所述第二掩码；所述第一掩码用于指示局部特征需剪除，所述第二掩码用于指示局部特征无需剪除；
[0008]通过所述视觉转换器模型对所述第二初始特征信息进行图像处理，得到图像处理结果。
[0009]根据本公开的第二方面，提供了一种应用于图像处理的视觉转换器模型的训练方法，包括：
[0010]对待训练图像进行特征提取，得到所述待训练图像的第一图像特征信息，其中，所述第一图像特征信息中包括所述待训练图像的多个局部特征；
[0011]根据所述第一图像特征信息对第一初始模型进行训练，得到第一损失函数；其中，所述第一初始模型中包括与所述多个局部特征中的局部特征一一对应的掩码信息，所述掩码信息为第一掩码或第二掩码；所述第一掩码用于指示局部特征需剪除，所述第二掩码用于指示局部特征无需剪除；所述第一损失函数用于指示局部特征的重要性；
[0012]根据所述第一损失函数，确定所述第一图像特征信息中待剪除的局部特征；并将与所述待剪除的局部特征对应第二掩码调整为第一掩码，得到视觉转换器模型；其中，所述视觉转换器模型用于对待处理图像进行图像处理得到图像处理结果。
[0013]根据本公开的第三方面，提供了一种基于视觉转换器模型的图像处理装置，包括：
[0014]第一提取单元，用于对待处理图像进行特征提取，得到第一初始特征信息，其中，
所述第一初始特征信息包括所述待处理图像的多个局部特征；
[0015]去除单元，通过所述视觉转换器模型，从所述多个局部特征中去除与第一掩码对应的第一局部特征，得到第二初始特征信息；其中，所述第二初始特征信息中包括所述多个局部特征中的与第二掩码对应的第二局部特征；所述视觉转换器模型中包括与所述多个局部特征中的局部特征一一对应的掩码信息，所述掩码信息为所述第一掩码或所述第二掩码；所述第一掩码用于指示局部特征需剪除，所述第二掩码用于指示局部特征无需剪除；
[0016]处理单元，用于通过所述视觉转换器模型对所述第二初始特征信息进行图像处理，得到图像处理结果。
[0017]根据本公开的第四方面，提供了一种应用于图像处理的视觉转换器模型的训练装置，包括：
[0018]第二提取单元，用于对待训练图像进行特征提取，得到所述待训练图像的第一图像特征信息，其中，所述第一图像特征信息中包括所述待训练图像的多个局部特征；
[0019]训练单元，用于根据所述第一图像特征信息对第一初始模型进行训练，得到第一损失函数；其中，所述第一初始模型中包括与所述多个局部特征中的局部特征一一对应的掩码信息，所述掩码信息为第一掩码或第二掩码；所述第一掩码用于指示局部特征需剪除，所述第二掩码用于指示局部特征无需剪除；所述第一损失函数用于指示局部特征的重要性；
[0020]确定单元，用于根据所述第一损失函数，确定所述第一图像特征信息中待剪除的局部特征；
[0021]调整单元，用于将与所述待剪除的局部特征对应第二掩码调整为第一掩码，得到视觉转换器模型；其中，所述视觉转换器模型用于对待处理图像进行图像处理得到图像处理结果。
[0022]根据本公开的第五方面，提供了一种电子设备，包括：
[0023]至少一个处理器；以及
[0024]与所述至少一个处理器通信连接的存储器；其中，
[0025]所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行第一方面所述的方法，或者，以使所述至少一个处理器能够执行第二方面所述的方法。
[0026]根据本公开的第六方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行第一方面所述的方法，或者，所述计算机指令用于使所述计算机执行第二方面所述的方法。
[0027]根据本公开的第七方面，提供了一种计算机程序产品，所述计算机程序产品包括：计算机程序，所述计算机程序存储在可读存储介质中，电子设备的至少一个处理器可以从所述可读存储介质读取所述计算机程序，所述至少一个处理器执行所述计算机程序使得电子设备执行第一方面所述的方法，或者，所述至少一个处理器执行所述计算机程序使得电子设备执行第二方面所述的方法。
[0028]应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
[0029]附图用于更好地理解本方案，不构成对本公开的限定。其中：
[0030]图1是本公开提供的一种视觉转换器模型的结构示意图；
[0031]图2是根据本公开第一实施例的示意图；
[0032]图3是根据本公开第二实施例的示意图；
[0033]图4是本公开实施例提供的一种视觉转换器模型的示意图；
[0034]图5是根据本公开第三实施例的示意图；
[0035]图6是根据本公开第四实施例的示意图；
[0036]图7是根据本公开第五实施例的示意图；
[0037]图8是根据本公开第六实施例的示意图；
[0038]图9是根据本公开第七实施例的示意图；
[0039]图10是根据本公开第八实施例的示意图；
[0040]图11是根据本公开第九实施例的示意图；
[0041]图12是根据本公开第十实施例的示意图；
[0042]图13是可以实现本公开实施例的基于视觉转换器模型的图像处理方法、或者应用于图像处理的视觉转换器模型的训练方法的电子设备的框图。
具体实施方式
[00本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于视觉转换器模型的图像处理方法，包括：对待处理图像进行特征提取，得到第一初始特征信息，其中，所述第一初始特征信息包括所述待处理图像的多个局部特征；通过所述视觉转换器模型，从所述多个局部特征中去除与第一掩码对应的第一局部特征，得到第二初始特征信息；其中，所述第二初始特征信息中包括所述多个局部特征中的与第二掩码对应的第二局部特征；所述视觉转换器模型中包括与所述多个局部特征中的局部特征一一对应的掩码信息，所述掩码信息为所述第一掩码或所述第二掩码；所述第一掩码用于指示局部特征需剪除，所述第二掩码用于指示局部特征无需剪除；通过所述视觉转换器模型对所述第二初始特征信息进行图像处理，得到图像处理结果。2.根据权利要求1所述的方法，其中，所述第二初始特征信息还包括：占位符特征；所述占位符特征的维度与所述多个局部特征中的任一局部特征的维度相同；所述占位符特征用于指示零向量。3.根据权利要求2所述的方法，其中，所述通过所述视觉转换器模型对所述第二初始特征信息进行图像处理，得到图像处理结果，包括：对所述第二初始特征信息中的第i个第二局部特征进行自相关计算处理，得到所述第i个第二局部特征的相关性系数集合；其中，所述相关性系数集合包括所述第i个第二局部特征与所述第二初始特征信息中的每一局部特征之间的第一相关性系数；i为正整数，且i的取值范围为[1，m]，m为正整数，m为所述第二初始特征信息中的第二局部特征的数量；对所述第i个第二局部特征与所述占位符特征进行相关性计算，得到所述第i个第二局部特征的第二相关性系数；通过所述视觉转换器模型，并根据所述相关性系数集合、所述第二相关性系数、和所述第一掩码的第一数量，获取所述图像处理结果。4.根据权利要求3所述的方法，其中，所述通过所述视觉转换器模型，并根据所述相关性系数集合、所述第二相关性系数、和所述第一掩码的第一数量，获取所述图像处理结果，包括：根据所述相关性系数集合、所述第二相关性系数、和所述第一数量进行系数求和，得到相关性信息；对所述第一相关性系数、和所述相关性信息进行归一化处理，得到第一特征信息；其中，所述第一特征信息表征第二局部特征之间的归一化处理结果；对所述第二相关性系数、和所述相关性信息进行归一化处理，得到第二特征信息；其中，所述第二特征信息表征第二局部特征与占位符特征之间的归一化处理结果；通过所述视觉转换器模型对所述第一特征信息和所述第二特征信息进行特征融合处理，得到所述图像处理结果。5.根据权利要求4所述的方法，其中，通过所述视觉转换器模型对所述第一特征信息和所述第二特征信息进行特征融合处理，得到所述图像处理结果，包括：基于所述视觉转换器模型的全连接层对所述第一特征信息和所述第二特征信息进行非线性处理，得到特征组合；对所述特征组合进行特征处理，得到所述图像处理结果。
6.根据权利要求1
‑
5任一项所述的方法，其中，所述图像处理为以下的任意一种：图像分类、图像识别、图像分割。7.一种应用于图像处理的视觉转换器模型的训练方法，包括：对待训练图像进行特征提取，得到所述待训练图像的第一图像特征信息，其中，所述第一图像特征信息中包括所述待训练图像的多个局部特征；根据所述第一图像特征信息对第一初始模型进行训练，得到第一损失函数；其中，所述第一初始模型中包括与所述多个局部特征中的局部特征一一对应的掩码信息，所述掩码信息为第一掩码或第二掩码；所述第一掩码用于指示局部特征需剪除，所述第二掩码用于指示局部特征无需剪除；所述第一损失函数用于指示局部特征的重要性；根据所述第一损失函数，确定所述第一图像特征信息中待剪除的局部特征；并将与所述待剪除的局部特征对应第二掩码调整为第一掩码，得到视觉转换器模型；其中，所述视觉转换器模型用于对待处理图像进行图像处理得到图像处理结果。8.根据权利要求7所述的方法，其中，根据所述第一损失函数，确定所述第一图像特征信息中待剪除的局部特征，包括：根据所述第一损失函数，确定局部特征的重要性信息；其中，所述重要性信息表征局部特征对于图像处理的重要性；根据所述重要性信息，确定所述第一图像特征信息中待剪除的局部特征。9.根据权利要求8所述的方法，其中，所述第一损失函数中包括所述多个局部特征中的局部特征一一对应的掩码信息；根据所述第一损失函数，确定局部特征的重要性信息，包括：针对所述第一损失函数中的第二掩码，在所述第二掩码不变、以及所述第一损失函数中的其他掩码信息不变时，对所述第一损失函数进行偏导计算处理，得到梯度信息；所述梯度信息用于指示局部特征的重要性；根据所述梯度信息，确定所述多个局部特征中第二掩码对应的第二局部特征的重要性信息。10.根据权利要求9所述的方法，其中，根据所述梯度信息，确定所述多个局部特征中第二掩码对应的第二局部特征的重要性信息，包括：根据所述梯度信息、第一掩码以及第二掩码，确定第二局部特征的重要性信息。11.根据权利要求8所述的方法，其中，根据所述第一损失函数，确定局部特征的重要性信息，包括：针对所述第一初始模型中的第二掩码，将所述第二掩码调整为第一掩码，以及保持所述第一初始模型的其他掩码信息不变，得到第二初始模型；根据所述第一图像特征信息对所述第二初始模型进行训练，得到第二损失函数；其中，所述第二损失函数用于指示局部特征的重要性；根据所述第一损失函数和所述第二损失函数，确定所述多个局部特征中第二掩码对应的第二局部特征的重要性信息。12.根据权利要求11所述的方法，其中，根据所述第一损失函数和所述第二损失函数，确定所述多个局部特征中第二掩码对应的第二局部特征的重要性信息，包括：对所述第一损失函数与所述第二损失函数进行求差处理，得到差值信息；其中，所述差
值信息表征局部特征的重要性信息；根据所述差值信息，确定第二局部特征的重要性信息。13.根据权利要求8
‑
12任一项所述的方法，其中，根据所述重要性信息，确定所述第一图像特征信息中待剪除的局部特征，包括：确定重要性信息的取值小于第一阈值的局部特征，为所述第一图像特征信息中待剪除的局部特征。14.根据权利要求8
‑
12任一项所述的方法，其中，根据所述重要性信息，确定所述第一图像特征信息中待剪除的局部特征，包括：确定取值最小的重要性信息、各所述重要性信息中的每一其他的重要性信息两者之间的数值差值；确定取值小于第二阈值的数值差值所对应的各重要性信息以及取值最小的重要性信息，为待处理的重要性信息集合；确定所述待处理的重要性信息集合所对应的局部特征，为所述第一图像特征信息中待剪除的局部特征。15.根据权利要求7
‑
14任一项所述的方法，其中，所述视觉转换器模型的计算复杂度符合预设计算量；其中，所述预设计算量为2n2d+12nd2，n为所述视觉转换器模型中第二掩码的总个数，d为所述多个局部特征中任一局部特征的维度。16.根据权利要求7
‑
15任一项所述的方法，其中，根据所述第一图像特征信息对第一初始模型进行训练，得到第一损失函数，包括：从所述第一图像特征信息中去除与第一掩码所对应的第一局部特征，得到第二图像特征信息；其中，所述第二图像特征信息中包括所述多个局部特征中的与第二掩码所对应的第二局部特征、以及占位符特征；所述占位符特征的维度与所述多个局部特征中的任一个局部特征的维度相同；所述占位符特征用于指示零向量；根据所述第二图像特征信息对所述第一初始模型进行训练，得到所述第一损失函数。17.根据权利要求16所述的方法，其中，根据所述第二图像特征信息对所述第一初始模型进行训练，得到所述第一损失函数，包括：对所述第二图像特征信息中的第i个第二局部特征进行自相关计算处理，得到所述第i个第二局部特征的相关性系数集合；其中，所述相关性系数集合中包括所述第i个第二局部特征与所述第二图像特征信息中的每一局部特征之间的第一相关性系数；i为正整数，且i的取值范围为[1，m]，m为正整数，m为所述第二图像特征信息中的第二局部特征的数量；对所述第i个第二局部特征与所述占位符特征进行相关性计算处理，得到所述第i个第二局部特征的第二相关性系数；通过所述第一初始模型，并根据所述相关性系数集合、所述第二相关性系数、和所述第一掩码的第一数量，得到所述第一损失函数。18.根据权利要求17所述的方法，其中，通过所述第一初始模型，并根据所述相关性系数集合、所述第二相关性系数、和所述第一掩码的第一数量，得到所述第一损失函数，包括：根据所述相关性系数集合、所述第二相关性系数、和所述第一数量进行系数求和处理，得到相关性信息；对所述第一相关性系数、和所述相关性信息进行归一化处理，得到第一特征信息；其
中，所述第一特征信息表征第二局部特征之间的归一化处理结果；对所述第二相关性系数、和所述相关性信息进行归一化处理，得到第二特征信息；其中，所述第二特征信息表征第二局部特征与占位符特征之间的归一化处理结果；通过所述第一初始模型对所述第一特征信息和所述第二特征信息进行特征融合处理，得到所述第一损失函数。19.根据权利要求18所述的方法，其中，通过所述第一初始模型对所述第一特征信息和所述第二特征信息进行特征融合处理，得到所述第一损失函数，包括：基于所述第一初始模型的全连接层对所述第一特征信息和所述第二特征信息进行非线性处理，得到特征组合；对所述特征组合进行特征处理，输出所述第一损失函数。20.根据权利要求7
‑
19任一项所述的方法，其中，所述图像处理为以下的任意一种：图像分类、图像识别、图像分割。21.一种基于视觉转换器模型的图像处理装置，包括：第一提取单元，用于对待处理图像进行特征提取，得到第一初始特征信息，其中，所...

【专利技术属性】
技术研发人员：尉德利，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：