一种图像处理方法及相关设备技术

本申请实施例公开了一种图像处理方法及相关设备，可以应用于云技术、人工智能、区块链、车联网、智慧交通、智能家居、健康管理等各种领域或场景，该方法包括：获取待处理图像；调用图像处理模型对待处理图像进行特征提取，得到待处理图像的特征信息；图像处理模型是利用训练样本集对第一神经网络和第二神经网络进行联合训练得到的，训练样本集包括第一训练样本、第二训练样本和标注数据，第二训练样本是基于第一训练样本生成的，联合训练包括有监督训练以及对比训练，基于待处理图像的特征信息和目标任务确定待处理图像的处理结果，目标任务包括分类任务、分割任务以及检测任务中的一种或多种。本申请可以全面、有效地提取到图像的有用信息。的有用信息。的有用信息。

【技术实现步骤摘要】
一种图像处理方法及相关设备


[0001]本专利技术涉及计算机
，尤其涉及一种图像处理方法及相关设备。

技术介绍

[0002]为了提取图像的更多的有价值的特征信息，现如今的提取方法采用了一些对比学习方法，但是，目前的一些对比学习方法可能会忽略有监督预训练能够提取图像的高阶特征信息，或者，主要学习图像的低级和中级的表征，而损失了图像的高级的语义信息；但是，尽管采用有监督的预训练模型对图像的高阶特征信息进行提取，通常也只关注与目标任务相关的有限图像区域，而忽略了图像剩余区域的有价值的信息。因此，如何使模型能够全面、有效地提取到图像的有用信息是亟待解决的问题。

技术实现思路

[0003]本专利技术实施例提供一种图像处理方法及相关设备，可以全面、有效地提取到图像的有用信息，从而提升任务处理的准确度。
[0004]一方面，本申请实施例公开了一种图像处理方法，该方法包括：
[0005]获取待处理图像；
[0006]调用图像处理模型对所述待处理图像进行特征提取，得到所述待处理图像的特征信息；其中，所述图像处理模型是利用训练样本集对第一神经网络和第二神经网络进行联合训练得到的，所述训练样本集包括第一训练样本、第二训练样本和标注数据，所述第二训练样本是基于所述第一训练样本生成的，所述联合训练包括有监督训练以及对比训练；
[0007]基于所述待处理图像的特征信息和目标任务确定所述待处理图像的处理结果，所述目标任务包括分类任务、分割任务以及检测任务中的一种或多种。
[0008]另一方面，本申请实施例公开了一种图像处理装置，该装置包括：
[0009]获取单元，用于获取待处理图像；
[0010]处理单元，用于调用图像处理模型对所述待处理图像进行特征提取，得到所述待处理图像的特征信息；其中，所述图像处理模型是利用训练样本集对第一神经网络和第二神经网络进行联合训练得到的，所述训练样本集包括第一训练样本、第二训练样本和标注数据，所述第二训练样本是基于所述第一训练样本生成的，所述联合训练包括有监督训练以及对比训练；
[0011]确定单元，用于基于所述待处理图像的特征信息和目标任务确定所述待处理图像的处理结果，所述目标任务包括分类任务、分割任务以及检测任务中的一种或多种。
[0012]本申请实施例还公开了一种图像处理设备，该图像处理设备包括：存储器、处理器，其中，所述存储器上存储有图像处理程序，所述图像处理程序被所述处理器执行上述图像处理方法的步骤。
[0013]本申请实施例还公开了一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行上述图像处理方法的步骤。
[0014]相应地，本申请实施例还公开了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。图像处理设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该图像处理设备执行上述的图像处理方法。
[0015]实施本专利技术实施例，具有如下有益效果：获取待处理图像，并且调用图像处理模型对该待处理图像进行特征提取，得到该待处理图像的特征信息，其中，该图像处理模型是利用训练样本集对第一神经网络和第二神经网络进行联合训练得到的，该训练样本集包括第一训练样本、第二训练样本和标注数据，该第二训练样本是基于所述第一训练样本生成的；基于所述待处理图像的特征信息和目标任务确定所述待处理图像的处理结果，所述目标任务包括分类任务、分割任务以及检测任务中的一种或多种；由于联合训练过程中考虑了第二训练样本，而该第二训练样本是通过抑制图像中与任务最相关的高响应区域得到的，能够使该模型从其他图像区域提取更多的有价值的图像信息，可以全面、有效地提取到图像的有用信息，从而提升任务处理的准确度。
附图说明
[0016]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0017]图1是本申请实施例公开的一种图像处理系统的架构示意图；
[0018]图2是本申请实施例公开的一种图像处理方法的流程示意图；
[0019]图3a是本申请实施例公开的一种图像处理模型的第一阶段的训练过程示意图；
[0020]图3b是本申请实施例公开的一种图像处理模型的第二阶段的训练过程示意图；
[0021]图4本申请实施例公开的一种确定待处理图像的处理结果示意图；
[0022]图5是本申请实施例公开的一种待处理图像的分类任务示意图；
[0023]图6是本申请实施例公开的一种待处理图像的分割任务示意图；
[0024]图7是本申请实施例公开的一种待处理图像的检测任务示意图；
[0025]图8是本申请实施例公开的一种利用得到的图像处理模型执行目标任务训练的流程示意图；
[0026]图9是本申请实施例公开的一种图像处理模型的训练方法的流程示意图；
[0027]图10为本申请实施例提供的一种处理待处理图像的整体框架结构图；
[0028]图11是本申请实施例公开的一种图像处理装置的结构示意图；
[0029]图12是本申请实施例公开的一种图像处理设备的结构示意图。
具体实施方式
[0030]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0031]其中，本申请涉及的术语的含义如下：
[0032]对比学习：一种与任务无关的无监督的表示学习方法。在没有图像标签的情况下通过学习图像之间的相似与差异从而学习有关数据集的特征。
[0033]预训练：在执行目标任务之前，先通过执行大量数据上的特定任务(通常为图像分类)训练一个模型。
[0034]低级/中级/高级表征：低级特征通常为图像中的一些小的细节，例如边缘、颜色等；高级特征是具有语义信息的特征；中级特征介于两者之间。
[0035]下游任务：利用预训练模型或组件的监督学习任务。
[0036]高响应区域/低响应区域：高响应区域指网络抽取到的高层特征的对最终分类影响更大的图像区域。反之即为低响应区域。
[0037]多层感知机：一种前向结构的人工神经网络，由多层全连接层组成。
[0038]请参阅图1，图1为本申请实施例提供的一种图像处理系统的架构示意图，该架构示意图可包括客户端101和服务器102。其中，该服务器102可从客户端101中获取待处理图像，进而，该服务器102可执行本申请实施例所述的图像处理方法，调用图像处理模型对本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像处理方法，其特征在于，所述方法包括：获取待处理图像；调用图像处理模型对所述待处理图像进行特征提取，得到所述待处理图像的特征信息；其中，所述图像处理模型是利用训练样本集对第一神经网络和第二神经网络进行联合训练得到的，所述训练样本集包括第一训练样本、第二训练样本和标注数据，所述第二训练样本是基于所述第一训练样本生成的，所述联合训练包括有监督训练以及对比训练；基于所述待处理图像的特征信息和目标任务确定所述待处理图像的处理结果，所述目标任务包括分类任务、分割任务以及检测任务中的一种或多种。2.根据权利要求1所述的方法，其特征在于，所述方法还包括：获取第一训练样本以及对应的标注数据；基于所述第一训练样本以及对应的标注数据对第一神经网络进行训练，得到训练后的第一神经网络；基于所述训练后的第一神经网络和所述第一训练样本生成第二训练样本；基于所述第一训练样本、所述第二训练样本以及对应的标注数据，对第二神经网络以及所述训练后的第一神经网络进行联合训练，得到图像处理模型，其中，所述第二神经网络为所述第一神经网络的孪生网络。3.根据权利要求2所述的方法，其特征在于，所述基于所述第一训练样本、所述第二训练样本以及对应的标注数据，对第二神经网络以及所述训练后的第一神经网络进行联合训练，得到图像处理模型，包括：调用所述训练后的第一神经网络分别对所述第一训练样本和所述第二训练样本进行处理，得到所述第一训练样本的预测结果和第一特征投影、所述第二训练样本的预测结果，所述第一特征投影包括所述第一训练样本中高响应图像区域的特征；调用第二神经网络以及对应的预测函数对所述第二训练样本进行处理，得到第二特征投影，所述第二特征投影包括所述第二训练样本中低响应图像区域的特征；基于所述第一训练样本的预测结果、所述第二训练样本的预测结果、对应的标注数据、所述第一特征投影和所述第二特征投影，确定目标损失；根据所述目标损失对第二神经网络的网络参数以及所述训练后的第一神经网络的网络参数进行调整，以得到图像处理模型，所述图像处理模型包括网络参数调整后的所述训练后的第一神经网络。4.根据权利要求3所述的方法，其特征在于，所述基于所述第一训练样本的预测结果、所述第二训练样本的预测结果、对应的标注数据、所述第一特征投影和所述第二特征投影，确定目标损失，包括：基于所述第一训练样本的预测结果以及对应的标注数据确定第一损失；基于所述第二训练样本的预测结果以及对应的标注数据确定第二损失；基于所述第一特征投...

【专利技术属性】
技术研发人员：孙镜涵，魏东，李悦翔，卢东焕，宁慕楠，何楠君，马锴，王连生，郑冶枫，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：