图像处理及模型训练方法、装置、设备和存储介质制造方法及图纸

本公开提供了一种图像处理及模型训练方法、装置、设备和存储介质，涉及人工智能技术领域，具体为深度学习、图像处理、计算机视觉技术领域，可应用于OCR、人脸识别等场景。图像特征提取模型的训练方法包括：对第一图像的第一图像特征进行分割处理，以获得第一分割特征；对第二图像的第二图像特征进行分割处理，以获得第二分割特征，所述第一图像和所述第二图像互为正样本；基于所述第一图像特征、所述第二图像特征、所述第一分割特征和所述第二分割特征，构建总损失函数；基于所述总损失函数，训练图像特征提取模型。本公开可以提高图像特征提取模型的性能。取模型的性能。取模型的性能。

【技术实现步骤摘要】
图像处理及模型训练方法、装置、设备和存储介质


[0001]本公开涉及人工智能
，具体为深度学习、图像处理、计算机视觉
，可应用于光学字符识别(Optical Character Recognition，OCR)、人脸识别等场景，尤其涉及一种图像处理及模型训练方法、装置、设备和存储介质。

技术介绍

[0002]为了使计算机能够“理解”图像，从而获得“视觉”，图像处理的基础步骤是对图像进行特征提取处理，以将图像转换为非图像的表示或描述，这些表示或描述为图像特征。
[0003]随着深度学习技术的发展，可以采用图像特征提取模型对输入的图像进行特征提取处理，以输出对应的图像特征。

技术实现思路

[0004]本公开提供了一种图像处理及模型训练方法、装置、设备和存储介质。
[0005]根据本公开的一方面，提供了一种图像特征提取模型的训练方法，包括：对第一图像的第一图像特征进行分割处理，以获得第一分割特征；对第二图像的第二图像特征进行分割处理，以获得第二分割特征；基于所述第一图像特征、所述第二图像特征、所述第一分割特征和所述第二分割特征，构建总损失函数；基于所述总损失函数，训练图像特征提取模型。
[0006]根据本公开的另一方面，提供了一种图像特征提取模型的训练装置，包括：第一获取模块，用于对第一图像的第一图像特征进行分割处理，以获得第一分割特征；第二获取模块，用于对第二图像的第二图像特征进行分割处理，以获得第二分割特征；构建模块，用于基于所述第一图像特征、所述第二图像特征、所述第一分割特征和所述第二分割特征，构建总损失函数；训练模块，用于基于所述总损失函数，训练图像特征提取模型。
[0007]根据本公开的另一方面，提供了一种图像处理方法，包括：获取待处理图像；基于预设参数，提取所述待处理图像的图像特征；其中，所述预设参数是基于第一图像样本的第一图像特征、第二图像样本的第二图像特征，以及，第一分割特征和第二分割特征获得，所述第一分割特征是对所述第一图像特征进行分割处理后获得，所述第二分割特征是对所述第二图像特征进行分割处理后获得，所述第一图像样本和所述第二图像样本互为正样本；基于所述图像特征，获取所述待处理图像的处理结果。
[0008]根据本公开的另一方面，提供了一种图像处理装置，包括：获取模块，用于获取待处理图像；提取模块，用于基于预设参数，提取所述待处理图像的图像特征；其中，所述预设参数是基于第一图像样本的第一图像特征、第二图像样本的第二图像特征，以及，第一分割特征和第二分割特征获得，所述第一分割特征是对所述第一图像特征进行分割处理后获得，所述第二分割特征是对所述第二图像特征进行分割处理后获得，所述第一图像样本和所述第二图像样本互为正样本；处理模块，用于基于所述图像特征，获取所述待处理图像的处理结果。
[0009]根据本公开的另一方面，提供了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如上述任一方面的任一项所述的方法。
[0010]根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据上述任一方面的任一项所述的方法。
[0011]根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据上述任一方面的任一项所述的方法。
[0012]根据本公开的技术方案，可以提高图像特征提取模型的性能。
[0013]应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要表示，也不用于限制本公开的范围。本公开的其它表示将通过以下的说明书而变得容易理解。
附图说明
[0014]附图用于更好地理解本方案，不构成对本公开的限定。其中：
[0015]图1是本公开实施例提供的一种图像特征提取模型的训练方法的流程图；
[0016]图2是用来实现本公开实施例的图像特征提取模型的训练方法的应用场景的示意图；
[0017]图3是本公开实施例提供的另一种图像特征提取模型的训练方法的流程图；
[0018]图4是图3所对应的框架图；
[0019]图5是本公开实施例与相关技术所提取的图像特征的对比图；
[0020]图6是本公开实施例提供的一种图像特征提取模型的训练装置的结构图；
[0021]图7是本公开实施例提供的一种图像处理方法的流程图；
[0022]图8是本公开实施例提供的一种图像处理装置的流程图；
[0023]图9是用来实现本公开实施例的图像特征提取模型的训练方法或图像处理方法的电子设备的示意图。
具体实施方式
[0024]以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
[0025]相关技术中，训练图像特征提取模型时，一般是样本级别(instance level)的，这种粒度较粗，性能并不理想。
[0026]为了提高图像特征提取模型的性能，本公开提供如下实施例。
[0027]图1是本公开实施例提供的一种图像特征提取模型的训练方法的流程图，如图1所示，本实施例的方法包括：
[0028]101、对第一图像的第一图像特征进行分割处理，以获得第一分割特征。
[0029]102、对第二图像的第二图像特征进行分割处理，以获得第二分割特征，所述第一
图像和所述第二图像互为正样本。
[0030]103、基于所述第一图像特征、所述第二图像特征、所述第一分割特征和所述第二分割特征，构建总损失函数。
[0031]104、基于所述总损失函数，训练图像特征提取模型。
[0032]本实施例的执行主体可以为图像特征提取模型的训练装置，该训练装置可以位于电子设备内，电子设备可以为用户终端或者服务器等。
[0033]第一图像和第二图像为模型训练的一对样本，互为正样本。可以在已有的样本集中获取，或者，采用预设的生成方式进行生成。
[0034]第一图像特征是第一图像的图像特征，可以通过对第一图像进行特征提取处理后获得；第二图像特征是第二图像的图像特征，可以通过对第二图像进行特征提取处理后获得。
[0035]对第一图像特征进行分割处理后获得的特征可以称为第一分割特征，对第二图像特征进行分割处理后获得的特征可以称为第二分割特征。
[0036]由于分割特征(第一分割特征和第二分割特征)是对图像特征(第一图像特征和第二图像特征)进行分割后获得的，因此，一般来讲，分割特征的维度是小于图像特征的维度的，因此，图像特征可以认为是粗粒本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像特征提取模型的训练方法，包括：对第一图像的第一图像特征进行分割处理，以获得第一分割特征；对第二图像的第二图像特征进行分割处理，以获得第二分割特征，所述第一图像和所述第二图像互为正样本；基于所述第一图像特征、所述第二图像特征、所述第一分割特征和所述第二分割特征，构建总损失函数；基于所述总损失函数，训练图像特征提取模型。2.根据权利要求1所述的方法，其中，所述基于所述第一图像特征、所述第二图像特征、所述第一分割特征和所述第二分割特征，构建总损失函数，包括：基于所述第一图像特征和所述第二图像特征，构建第一损失函数；基于所述第一分割特征和所述第二分割特征，构建第二损失函数；基于所述第一损失函数和所述第二损失函数，构建所述总损失函数。3.根据权利要求2所述的方法，其中，还包括：获取所述第一图像的负样本的第三图像特征；所述基于所述第一图像特征和所述第二图像特征，构建第一损失函数，包括：采用对比学习算法，基于所述第一图像特征、所述第二图像特征和所述第三图像特征，构建所述第一损失函数。4.根据权利要求3所述的方法，其中，所述获取所述第一图像的负样本的第三图像特征，包括：从预设的存储队列中，获取所述第三图像特征。5.根据权利要求1所述的方法，其中，所述图像特征提取模型为第一编码器或第二编码器；所述方法还包括：采用所述第一编码器，对输入的所述第一图像进行特征提取处理，以获得所述第一图像特征；采用所述第二编码器，对输入的所述第二图像进行特征提取处理，以获得所述第二图像特征。6.根据权利要求5所述的方法，其中，所述基于所述总损失函数，训练图像特征提取模型，包括：基于所述总损失函数，调整所述第一编码器的模型参数，以获得所述第一编码器的调整后的模型参数；基于所述第二编码器的调整前的模型参数，以及所述第一编码器的调整后的模型参数，获得所述第二编码器的调整后的模型参数。7.根据权利要求6所述的方法，其中，所述基于所述第二编码器的调整前的模型参数，以及所述第一编码器的调整后的模型参数，获得所述第二编码器的调整后的模型参数，包括：对所述第二编码器的调整前的模型参数，以及所述第一编码器的调整后的模型参数，进行加权求和运算，以获得所述第二编码器的调整后的模型参数；其中，所述第二编码器的调整前的模型参数对应第一权重值，所述第一编码器的调整
后的模型参数对应第二权重值，所述第一权重值大于所述第二权重值。8.根据权利要求1
‑
7任一项所述的方法，其中，所述第一图像特征为第一图像特征图，所述第二图像特征为第二图像特征图，且，所述第一图像特征图与所述第二图像特征图的维度相同；所述对第一图像的第一图像特征进行分割处理，以获得第一分割特征，包括：将所述第一图像特征图平均分割为第一数量的分块，将所述第一数量的分块作为所述第一分割特征；所述对第二图像的第二图像特征进行分割处理，以获得第二分割特征，包括：将所述第二图像特征图平均分割为第二数量的分块，将所述第二数量的分块作为所述第二分割特征；其中，所述第一数量与所述第二数量相同。9.根据权利要求1
‑
7任一项所述的方法，还包括：对同一张图像分别进行两种不同的数据增强处理，以获得所述第一图像和所述第二图像。10.一种图像特征提取模型的训练装置，包括：第一获取模块，用于对第一图像的第一图像特征进行分割处理，以获得第一分割特征；第二获取模块，用于对第二图像的第二图像特征进行分割处理，以获得第二分割特征，所述第一图像和所述第二图像互为正样本；构建模块，用于基于所述第一图像特征、所述第二图像特征、所述第一分割特征和所述第二分割特征，构建总损失函数；训练模块，用于基于所述总损失函数，训练图像特征提取模型。11.根据权利要求10所述的装置，其中，所述构建模块进一步用于：基于所述第一图像特征和所述第二图像特征，构建第一损失函数；基于所述第一分割特征和所述第二分割特征，构建第二损失函数；基于所述第一损失函数和所述第二损失函数，构建所述总损失函数。12.根据权利要...

【专利技术属性】
技术研发人员：谷祎，孙准，王晓迪，韩树民，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：