一种图像处理方法、装置、电子设备及介质制造方法及图纸

本公开提供了一种图像处理方法、装置、电子设备及介质，涉及人工智能技术领域，尤其涉及计算机视觉技术领域。具体实现方案为：获取待处理图像，然后利用预先训练的特征提取网络中的至少一层动态卷积算子和多层静态卷积算子对待处理图像进行特征提取，得到特征提取网络输出的包括待处理图像特征的目标特征图。其中，每层动态卷积算子的处理包括：基于接收到的特征图预测动态膨胀系数，按照动态膨胀系数对接收到的特征图进行卷积操作，得到输出特征图；每层静态卷积算子的处理包括：按照默认膨胀系数对接收到的特征图进行卷积操作，得到输出特征图。之后基于目标特征图确定待处理图像的识别结果。可以提高图像识别的准确性。可以提高图像识别的准确性。可以提高图像识别的准确性。

【技术实现步骤摘要】
一种图像处理方法、装置、电子设备及介质


[0001]本公开涉及人工智能
，尤其涉及计算机视觉


技术介绍

[0002]在计算机视觉领域中，一般使用计算机视觉算法对图像进行图像检测或图像分类，在图像检测或图像分类的过程中需要先对图像进行特征提取，再根据提取到的特征图进一步检测图像中的目标，或确定图像的类别。

技术实现思路

[0003]本公开实施例提供了一种图像处理方法、装置、电子设备及介质。
[0004]本公开实施例的第一方面，提供了一种图像处理方法，包括：
[0005]获取待处理图像；
[0006]利用预先训练的特征提取网络中的至少一层动态卷积算子和多层静态卷积算子对所述待处理图像进行特征提取，得到所述特征提取网络输出的包括所述待处理图像特征的目标特征图；其中，每层动态卷积算子的处理包括：基于接收到的特征图预测动态膨胀系数，按照所述动态膨胀系数对接收到的特征图进行卷积操作，得到输出特征图；每层静态卷积算子的处理包括：按照默认膨胀系数对接收到的特征图进行卷积操作，得到输出特征图；
[0007]基于所述目标特征图确定所述待处理图像的识别结果。
[0008]本公开实施例的第二方面，提供了一种图像处理装置，包括：
[0009]获取模块，用于获取待处理图像；
[0010]特征提取模块，用于利用预先训练的特征提取网络中的至少一层动态卷积算子和多层静态卷积算子对所述获取模块获取的所述待处理图像进行特征提取，得到所述特征提取网络输出的包括所述待处理图像特征的目标特征图；其中，每层动态卷积算子的处理包括：基于接收到的特征图预测动态膨胀系数，按照所述动态膨胀系数对接收到的特征图进行卷积操作，得到输出特征图；每层静态卷积算子的处理包括：按照默认膨胀系数对接收到的特征图进行卷积操作，得到输出特征图；
[0011]识别模块，用于基于所述特征提取模块提取的所述目标特征图确定所述待处理图像的识别结果。
[0012]本公开实施例的第三方面，提供了一种电子设备，包括：
[0013]至少一个处理器；以及
[0014]与所述至少一个处理器通信连接的存储器；其中，
[0015]所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行第一方面任一项所述的方法。
[0016]本公开实施例的第四方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据第一方面中任一项所述的方法。
[0017]本公开实施例的第五方面，提供了一种计算机程序产品，包括计算机程序，所述计
算机程序在被处理器执行时实现根据第一方面中任一项所述的方法。
[0018]应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
[0019]附图用于更好地理解本方案，不构成对本公开的限定。其中：
[0020]图1为本公开实施例提供的一种卷积操作的示例性示意图；
[0021]图2为本公开实施例提供的第一种图像处理方法的流程图；
[0022]图3为本公开实施例提供的感受野大小的示例性示意图；
[0023]图4为本公开实施例提供的一种动态卷积算子处理过程的示例性示意图；
[0024]图5为本公开实施例提供的第二种图像处理方法的流程图；
[0025]图6为本公开实施例提供的第三种图像处理方法的流程图；
[0026]图7为本公开实施例提供的一种特征提取网络训练方法的流程图；
[0027]图8为本公开实施例提供的第四种图像处理方法的流程图；
[0028]图9为本公开实施例提供的第五种图像处理方法的流程图；
[0029]图10为本公开实施例提供的一种图像处理装置的结构示意图；
[0030]图11是用来实现本公开实施例的图像处理方法的电子设备的框图。
具体实施方式
[0031]以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
[0032]目前，在计算机视觉领域中，可通过人工提取图像特征来进行计算机视觉算法建模，但人工提取特征依赖人的经验和知识面，因此提取精度难以保证，且效率低不利于算法迭代。因此使用该算法对图像进行图像分类或图像检测的准确度低。
[0033]或者，可通过卷积神经网络提取图像特征来进行计算机视觉算法建模，但是卷积神经网络对图像提取特征时感受野是固定的，而由于不同图像中所需识别的目标的大小不同，使得固定的感受野不能适用于不同大小的目标，因此该方式提取特征的准确度低，导致利用该算法对图像进行图像分类或图像检测的准确度低。
[0034]以下首先对本公开实施例涉及的感受野进行说明：
[0035]感受野指的是卷积神经网络每一层输出的特征图(feature map)中每个特征点在原始输入图像上映射的区域大小。
[0036]结合图1，图1中左边的图像为原始输入图像，原始输入图像中的虚线框表示第一次卷积处理的卷积核，将原始输入图像经过卷积核尺寸为3
×
3且卷积步长为2的卷积处理后，得到图1的中间图像。中间图像中的每个特征点由原始输入图像上的3
×
3个像素点得到，因此经过第一次卷积处理后，得到的特征图感受野大小为3
×
3。
[0037]图1中间图像中的虚线框表示第二次卷积处理的卷积核，将图1的中间图像经过卷积核尺寸为2
×
2且卷积步长为1的卷积处理后，得到图1的右边图像。右边图像中的每个特
征点由中间图像的2
×
2个特征点得到，且中间图像的每个特征点由原始输入图像上的3
×
3个像素点得到，因此经过第二次卷积处理后，得到的特征图的感受野大小为5
×
5。
[0038]由此可以看出，特征图的感受野越大，特征图中每个特征点在原始输入图像上对应的区域越大，所以更有利于识别尺寸较大的目标；相反，特征图的感受野越小，特征图中每个特征点在原始输入图像上对应的区域越小，所以更有利于识别尺寸较小的目标。例如，房子在图像中的尺寸一般大于人在图像中的尺寸，因此识别房子需要更大的感受野，而识别人需要更小的感受野。
[0039]在自动驾驶和车路协同的场景中，可以通过采集的道路图像对道路图像中的障碍物进行分类，或者对道路中的障碍物进行定位，以辅助驾驶决策。可以理解的是，受拍摄角度或障碍物实际大小的影响，道路图像中的各类障碍物的大小不同，比如，道路图像中包括汽车图像和行人图像本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像处理方法，包括：获取待处理图像；利用预先训练的特征提取网络中的至少一层动态卷积算子和多层静态卷积算子对所述待处理图像进行特征提取，得到所述特征提取网络输出的包括所述待处理图像特征的目标特征图；其中，每层动态卷积算子的处理包括：基于接收到的特征图预测动态膨胀系数，按照所述动态膨胀系数对接收到的特征图进行卷积操作，得到输出特征图；每层静态卷积算子的处理包括：按照默认膨胀系数对接收到的特征图进行卷积操作，得到输出特征图；基于所述目标特征图确定所述待处理图像的识别结果。2.根据权利要求1所述的方法，其中，所述基于接收到的特征图预测动态膨胀系数，包括：对接收到的特征图进行全局池化操作；对全局池化结果进行全连接处理，得到接收到的特征图与各预设膨胀系数匹配的概率；选择概率最大的预设膨胀系数作为所述动态膨胀系数。3.根据权利要求1所述的方法，其中，所述基于接收到的特征图预测动态膨胀系数，包括：对接收到的特征图进行深度可分离卷积操作；对深度可分离卷积操作的结果进行全连接处理，得到输入特征图与各预设膨胀系数匹配的概率；选择概率最大的预设膨胀系数作为所述动态膨胀系数。4.根据权利要求1所述的方法，其中，所述基于接收到的特征图预测动态膨胀系数，包括：对接收到的特征图进行全局池化操作；对全局池化操作结果进行深度可分离卷积操作；对深度可分离卷积操作的结果进行全连接处理，得到输入特征图与各预设膨胀系数匹配的概率；选择概率最大的预设膨胀系数作为所述动态膨胀系数。5.根据权利要求1
‑
4任一项所述的方法，其中，所述特征提取网络属于预先训练的图像分类模型，所述图像分类模型还包括分类子网络；所述基于所述目标特征图确定所述待处理图像的识别结果，包括：将所述目标特征图输入所述分类子网络的全局池化层，得到所述待处理图像的池化特征图；将所述池化特征图输入所述分类子网络的全连接层，得到所述待处理图像属于各预设类别的概率；选择概率最大的预设类别作为所述待处理图像的类别。6.根据权利要求1
‑
4任一项所述的方法，其中，所述特征提取网络属于预先训练的图像检测模型，所述图像检测模型还包括目标检测子网络；所述基于所述目标特征图确定所述待处理图像的识别结果，包括：对所述目标特征图进行特征融合，得到所述目标特征图的多尺度特征；
基于所述目标特征图的多尺度特征，检测所述待处理图像中的目标区域位置以及目标区域中的目标。7.一种图像处理装置，包括：获取模块，用于获取待处理图像；特征提取模块，用于利用预先训练的特征提取网络中的至少一层动态卷积算子和多层静态卷积算子对所述获取模块获取的所述待处理图像进行特征提取，得到所述特征提取网络输出的包括所述待处理图像特征的目标特征图；其中，每层动态卷积算子的...

【专利技术属性】
技术研发人员：夏春龙，
申请(专利权)人：阿波罗智行科技广州有限公司，
类型：发明
国别省市：