图像处理方法、模型训练方法、装置和电子设备制造方法及图纸

本公开提供了图像处理方法、模型训练方法、装置和电子设备，涉及人工智能领域，具体涉及计算机视觉和深度学习技术。具体实现方案为：确定待处理图像中的重点区域的位置信息；基于重点区域的位置信息对待处理图像执行变形操作，得到变形图像；基于变形图像进行语义分割，得到第一语义分割结果；对第一语义分割结果执行变形操作的逆操作，得到第二语义分割结果。本公开的技术方案有利于在移动终端上部署语义分割模型。署语义分割模型。署语义分割模型。

【技术实现步骤摘要】
图像处理方法、模型训练方法、装置和电子设备


[0001]本公开涉及人工智能领域，具体涉及计算机视觉和深度学习技术。

技术介绍

[0002]语义分割是常见的图像处理任务。相关技术中，通过增加语义分割模型的输入分辨率、增大模型深度或宽度、增强模型结构等方式，提升语义分割模型的分割能力。与此同时，模型的计算复杂度增加，难以在移动终端上部署。

技术实现思路

[0003]本公开提供了一种图像处理方法、模型训练方法、装置和电子设备。
[0004]根据本公开的一方面，提供了一种图像处理方法，包括：
[0005]确定待处理图像中的重点区域的位置信息；
[0006]基于重点区域的位置信息对待处理图像执行变形操作，得到变形图像；
[0007]基于变形图像进行语义分割，得到第一语义分割结果；
[0008]对第一语义分割结果执行变形操作的逆操作，得到第二语义分割结果。
[0009]根据本公开的另一方面，提供了一种模型训练方法，包括：
[0010]对预设模型进行训练，得到语义分割模型；
[0011]其中，语义分割模型用于针对待处理图像进行如下处理：
[0012]确定待处理图像中的重点区域的位置信息；
[0013]基于重点区域的位置信息对待处理图像执行变形操作，得到变形图像；
[0014]基于变形图像进行语义分割，得到第一语义分割结果；
[0015]对第一语义分割结果执行变形操作的逆操作，得到第二语义分割结果。
[0016]根据本公开的另一方面，提供了一种图像处理装置，包括：
[0017]空间自注意力模块，用于确定待处理图像中的重点区域的位置信息；
[0018]空间变换模块，用于基于重点区域的位置信息对待处理图像执行变形操作，得到变形图像；
[0019]语义分割模块，用于基于变形图像进行语义分割，得到第一语义分割结果；
[0020]空间逆变换模块，用于对第一语义分割结果执行变形操作的逆操作，得到第二语义分割结果。
[0021]根据本公开的另一方面，提供了一种模型训练装置，包括
[0022]训练模块，用于对预设模型进行训练，得到语义分割模型；
[0023]其中，语义分割模型用于针对待处理图像进行如下处理：
[0024]确定待处理图像中的重点区域的位置信息；
[0025]基于重点区域的位置信息对待处理图像执行变形操作，得到变形图像；
[0026]基于变形图像进行语义分割，得到第一语义分割结果；
[0027]对第一语义分割结果执行变形操作的逆操作，得到第二语义分割结果。
[0028]根据本公开的另一方面，提供了一种电子设备，包括：
[0029]至少一个处理器；以及
[0030]与该至少一个处理器通信连接的存储器；其中，
[0031]该存储器存储有可被该至少一个处理器执行的指令，该指令被该至少一个处理器执行，以使该至少一个处理器能够执行本公开任一实施例中的方法。
[0032]根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，该计算机指令用于使计算机执行本公开任一实施例中的方法。
[0033]根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现本公开任一实施例中的方法。
[0034]本公开的技术方案中，先确定待处理图像中的重点区域的位置信息，并基于该信息对待处理图像执行变形操作。由于是基于变形操作后得到的变形图像进行语义分割，再将得到的第一语义分割结果通过逆操作转换为第二语义分割结果，因此，可以通过配置变形操作，实现重点区域的细节放大和非重点区域的空间压缩，使得语义分割的有限的计算量可以作用于需要精细分割的区域。从而可以使用轻量的语义分割模型实现高精度的语义分割能力，有利于在移动终端上部署语义分割模型。
[0035]应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
[0036]附图用于更好地理解本方案，不构成对本公开的限定。其中：
[0037]图1是根据本公开一个实施例的图像处理方法的示意图；
[0038]图2是根据本公开一个实施例的空间自注意力模块的示意图；
[0039]图3是根据本公开一个实施例的语义分割模型的示意图；
[0040]图4是根据本公开一个实施例的模型训练方法的示意图；
[0041]图5是根据本公开一个实施例的图像处理装置的示意图；
[0042]图6是根据本公开另一个实施例的图像处理装置的示意图；
[0043]图7是根据本公开一个实施例的模型训练装置的示意图；
[0044]图8是用来实现本公开实施例的方法的电子设备的框图。
具体实施方式
[0045]以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
[0046]图1示出了本公开一个实施例提供的图像处理方法的示意图。如图1所示，该方法包括：
[0047]步骤S110，确定待处理图像中的重点区域的位置信息；
[0048]步骤S120，基于重点区域的位置信息对待处理图像执行变形操作，得到变形图像；
[0049]步骤S130，基于变形图像进行语义分割，得到第一语义分割结果；
[0050]步骤S140，对第一语义分割结果执行变形操作的逆操作，得到第二语义分割结果。
[0051]上述方法可以由电子设备执行。实际应用中，电子设备可以用于针对待处理图像完成语义分割任务。例如，待处理图像可以包括路况图像，语义分割任务需要对道路图像中的天空、路面、车辆等感兴趣对象进行分割。又如，待处理图像可以包括景区图像，语义分割任务需要对景区图像中的景点、背景和人物进行分割。示例性地，本公开实施例中，语义分割结果可以包括分割得到的分割图，分割图中以不同颜色或者说不同的像素值突出显示不同的感兴趣对象。
[0052]示例性地，在上述步骤S110中，可以采用多种方式确定重点区域的位置信息。例如，基于先验知识确定重点区域的位置信息。一个具体的示例是：在将视频中的连续多个图像帧依次作为待处理图像执行语义分割任务的情况下，可以基于前一个图像帧的语义分割结果确定感兴趣对象的外接矩形框，基于该外接矩形框确定当前待处理的图像帧的重点区域。又如，可以人工确定待处理图像中的重点区域的位置信息。再如，可以在语义分割模型中设置空间自注意力模块，空间自注意力模块用于确定待处理图像中的重点区域的位置信息。
[0053]示例性地，重点区域的位置信息可以本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像处理方法，包括：确定待处理图像中的重点区域的位置信息；基于所述重点区域的位置信息对所述待处理图像执行变形操作，得到变形图像；基于所述变形图像进行语义分割，得到第一语义分割结果；对所述第一语义分割结果执行所述变形操作的逆操作，得到第二语义分割结果。2.根据权利要求1所述的方法，其中，所述重点区域的位置信息包括所述待处理图像中的重点区域的多个顶点坐标；所述基于所述重点区域的位置信息对所述待处理图像执行变形操作，得到变形图像，包括：将所述多个顶点坐标作为多个控制点，并基于所述多个控制点对所述待处理图像执行非均匀变形操作，得到所述变形图像。3.根据权利要求2所述的方法，其中，所述非均匀变形操作包括薄样条插值。4.根据权利要求1
‑
3中任一项所述的方法，其中，所述确定待处理图像中的重点区域的位置信息，包括：基于多个卷积网络对所述待处理图像进行处理，得到第一特征图；基于所述第一特征图，得到所述待处理图像中的重点区域的位置信息。5.根据权利要求4所述的方法，其中，所述基于多个卷积网络对所述待处理图像进行处理，得到第一特征图，包括：基于至少一个第一卷积网络以及第一步长对所述待处理图像进行处理，得到第二特征图；基于至少一个第二卷积网络以及第二步长对所述待处理图像进行处理，得到所述第一特征图；其中，所述第一步长小于所述第二步长。6.一种模型训练方法，包括：对预设模型进行训练，得到语义分割模型；其中，所述语义分割模型用于针对待处理图像进行如下处理：确定待处理图像中的重点区域的位置信息；基于所述重点区域的位置信息对所述待处理图像执行变形操作，得到变形图像；基于所述变形图像进行语义分割，得到第一语义分割结果；对所述第一语义分割结果执行所述变形操作的逆操作，得到第二语义分割结果。7.一种图像处理装置，包括：空间自注意力模块，用于确定待处理图像中的重点区域的位置信息；空间变换模块，用于基于所述重点区域的位置信息对所述待处理图像执行变形操作，得到变形图像；语义分割模块，用于基于所述变形图像进行语义分割，得到第一语义分割结果；空间逆变换模块，用于对所述第一语义分割结果执行所述变形...

【专利技术属性】
技术研发人员：张健，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：