一种图像处理方法及相关装置制造方法及图纸

本申请实施例公开了一种图像处理方法，应用于人工智能领域，包括：获取待处理图像的输入特征图，所述输入特征图包括第一输入子特征图和第二输入子特征图，所述第一输入子特征图的分辨率高于所述第二输入子特征图的分辨率；通过目标网络对所述输入特征图进行特征融合处理，得到输出特征图，在该目标网络中采用从低层往高层的方式将第一输入子特征图的特征往第二输入子特征图的特征中进行融合；根据所述输出特征图对所述待处理图像进行目标检测，得到目标检测结果。本方案中，采用从低层往高层的方式将低层特征往高层特征进行融合，弥补高层特征的稀疏问题，从而提高目标检测精度，解决加法神经网络无法应用于目标检测的问题。

【技术实现步骤摘要】
一种图像处理方法及相关装置
本申请涉及人工智能
，尤其涉及一种图像处理方法及相关装置。
技术介绍
计算机视觉是各个应用领域，如制造业、检验、文档分析、医疗诊断，和军事等领域中各种智能/自主系统中不可分割的一部分，它是一门关于如何运用照相机/摄像机和计算机来获取我们所需的，被拍摄对象的数据与信息的学问。形象地说，就是给计算机安装上眼睛(照相机/摄像机)和大脑(算法)用来代替人眼对目标进行识别、跟踪和测量等，从而使计算机能够感知环境。因为感知可以看作是从感官信号中提取信息，所以计算机视觉也可以看作是研究如何使人工系统从图像或多维数据中“感知”的科学。总的来说，计算机视觉就是用各种成象系统代替视觉器官获取输入信息，再由计算机来代替大脑对这些输入信息完成处理和解释。计算机视觉的最终研究目标就是使计算机能像人那样通过视觉观察和理解世界，具有自主适应环境的能力。目标检测，也叫目标提取，是一种基于目标几何和统计特征的图像分割，其关注图像中特定的物体目标，要求同时获得这一特定物体目标的类别信息和位置信息，目标检测在很多场景都有应用，如，无人驾驶的安防系统、智能化交通系统、智能监控系统等。目标检测对于人类来说并不困难，通过对图片中不同颜色模块的感知很容易定位并分类出其中的目标物体。但对于计算机来说，面对的是RGB像素矩阵，很难从图像中直接得到物体的抽象概念并定位其位置，再加上有时候多个物体和杂乱的背景混杂在一起，使得目标检测更加困难。目前，基于卷积神经网络的深度学习在处理计算机视觉任务中有着较好的表现。但是，这类卷积神经网络中通常包括大量的乘法操作，导致网络的功耗较高。因此，相关技术中提出了通过加法操作来代替乘法操作的加法神经网络，以起到减少网络计算功耗的作用。然而，相关技术中的加法神经网络主要应用于图像分类或图像复原等
目前的加法神经网络应用在目标检测时，通常难以获得有效的检测结果。
技术实现思路
本申请提供了一种图像处理方法，在进行特征融合的阶段中，采用从低层往高层的方式将低层特征往高层特征进行融合，弥补高层特征的稀疏问题，从而提高目标检测精度，解决加法神经网络无法应用于目标检测的问题。本申请第一方面提供一种图像处理方法，包括：终端获取待处理图像的输入特征图，所述输入特征图包括第一输入子特征图和第二输入子特征图，所述第一输入子特征图的分辨率高于所述第二输入子特征图的分辨率。其中，所述待处理图像为需要执行目标检测的图像。该待处理图像可以是终端通过摄像头拍摄到的图像，或者，该待处理图像也可以是从终端内部获得的图像(例如，终端的相册中存储的图像，或者终端从云端获取的图像)。相应地，该待处理图像的输入特征图可以为该图像的特征图。或者，该输入特征图可以是由目标检测网络中的主干网络处理后得到的特征图，该主干网络可以为加法神经网络。终端通过目标网络对所述输入特征图进行特征融合处理，得到输出特征图，其中所述目标网络为加法神经网络。所述目标网络中包括用于执行特征融合处理的多个支路。其中，所述多个支路包括第一支路和第二支路，所述第一支路用于对所述第一输入子特征图执行特征提取处理，得到第一子特征图和第一输出子特征图，所述第一子特征图为所述第一支路得到的中间特征。所述第二支路用于对所述第二输入子特征图和所述第一子特征图执行特征提取处理，得到第二输出子特征图，所述输出特征图包括所述第一输出子特征图和所述第二输出子特征图。最后，终端根据所述输出特征图对所述待处理图像进行目标检测，得到目标检测结果。本方案中，在采用加法神经网络执行目标检测的情况下，在进行多尺度特征融合时，采用从低层往高层的方式将低层特征往高层特征进行融合，弥补高层特征的稀疏问题，从而提高目标检测精度，解决了加法神经网络无法应用于目标检测的问题。可选的，在一个可能的实施方式中，所述目标网络中的特征提取处理为加法操作或减法操作。其中，加法操作是指：特征提取核与输入图像中对应位置的元素相加得到目标矩阵，目标矩阵中的各个元素取绝对值后再求和。减法操作是指：特征提取核与输入图像中对应位置的元素相减得到目标矩阵，目标矩阵中的各个元素取绝对值后再求和。换句话说，目标矩阵可以是由其对应的输入子特征图与特征提取核进行矩阵加法或矩阵减法得到的。其中，特征提取核在图像处理中的作用相当于一个从输入图像矩阵中提取特定信息的过滤器。特征提取核本质上可以是一个权重矩阵，在对图像进行卷积操作的过程中，权重矩阵通常在输入图像上沿着水平方向一个像素接着一个像素(或两个像素接着两个像素……这取决于步长stride的取值)的进行处理，从而完成从图像中提取特定特征的工作。例如，所述第一支路对所述第一输入子特征图执行特征提取处理可以是上述的加法操作或减法操作。所述第二支路对所述第二输入子特征图和所述第一子特征图执行特征提取处理也可以是上述的加法操作或减法操作。可选的，在一个可能的实施方式中，所述第二支路用于对所述第二输入子特征图和所述第一子特征图执行特征提取处理，得到第二输出子特征图，包括：所述第二支路用于将所述第二输入子特征图和执行下采样处理后的所述第一子特征图相加，得到第二子特征图，并对所述第二子特征图执行特征提取处理，得到所述第二输出子特征图。由于第一支路处理得到的第一子特征图的分辨率大于第二支路中的第二输入子特征图，因此可以对第一子特征图执行下采样处理，使得第一子特征图的分辨率与第二输入子特征图相同。然后，再将第二输入子特征图和执行下采样处理后的所述第一子特征图相加，得到第二子特征图。也就是说，对于处理分辨率较高的第一输入子特征图的第一支路，第一支路将处理第一输入子特征图得到的中间特征传递给处理分辨率较低的第二输入子特征图的第二支路。即采用从低层往高层的方式将低层特征往高层特征进行融合，从而弥补第二支路中所处理的高层特征的稀疏性。可选的，在一个可能的实施方式中，所述第二支路对所述第二子特征图执行特征提取处理，包括：所述第二支路通过卷积层(例如加法滤波层)和激活函数对所述第二子特征图进行处理，得到第三子特征图，该卷积层可以包括一个或多个特征提取核。所述第二支路将所述第二子特征图和所述第三子特征图相加，得到所述第二输出子特征图。本方案中，针对加法特征提取核本身所存在的表达能力上的缺陷，设计了包括卷积层和激活函数的跳连结构来目标网络中的卷积单元的表达能力，从而增强目标网络的特征学习能力。可选的，在一个可能的实施方式中，所述第二支路还用于对所述第二子特征图执行特征提取处理，得到第四子特征图，所述第四子特征图为所述第二支路得到的中间特征；所述第一支路对所述第一输入子特征图执行特征提取处理，包括：所述第一支路对所述第一子特征图执行特征提取处理，得到所述第一子特征图；所述第一支路将所述第一子特征图和执行上采样处理后的所述第四子特征图相加，得到第五子特征图；所述第一支路对所述第五特征图执行特征提取处理，得到所述第一输出子特征图。本方案中，在先采用从低层往高层的方式将低层特征往高层特征进行融合后，再将处理后的高层特征往本文档来自技高网...

【技术保护点】
1.一种图像处理方法，其特征在于，包括：/n获取待处理图像的输入特征图，所述输入特征图包括第一输入子特征图和第二输入子特征图，所述第一输入子特征图的分辨率高于所述第二输入子特征图的分辨率；/n通过目标网络对所述输入特征图进行特征融合处理，得到输出特征图，其中所述目标网络为加法神经网络，所述目标网络包括第一支路和第二支路，所述第一支路用于对所述第一输入子特征图执行特征提取处理，得到第一子特征图和第一输出子特征图，所述第一子特征图为所述第一支路得到的中间特征，所述第二支路用于对所述第二输入子特征图和所述第一子特征图执行特征提取处理，得到第二输出子特征图，所述输出特征图包括所述第一输出子特征图和所述第二输出子特征图；/n根据所述输出特征图对所述待处理图像进行目标检测，得到目标检测结果。/n

【技术特征摘要】
1.一种图像处理方法，其特征在于，包括：
获取待处理图像的输入特征图，所述输入特征图包括第一输入子特征图和第二输入子特征图，所述第一输入子特征图的分辨率高于所述第二输入子特征图的分辨率；
通过目标网络对所述输入特征图进行特征融合处理，得到输出特征图，其中所述目标网络为加法神经网络，所述目标网络包括第一支路和第二支路，所述第一支路用于对所述第一输入子特征图执行特征提取处理，得到第一子特征图和第一输出子特征图，所述第一子特征图为所述第一支路得到的中间特征，所述第二支路用于对所述第二输入子特征图和所述第一子特征图执行特征提取处理，得到第二输出子特征图，所述输出特征图包括所述第一输出子特征图和所述第二输出子特征图；
根据所述输出特征图对所述待处理图像进行目标检测，得到目标检测结果。


2.根据权利要求1所述的方法，其特征在于，所述第二支路用于对所述第二输入子特征图和所述第一子特征图执行特征提取处理，得到第二输出子特征图，包括：
所述第二支路用于将所述第二输入子特征图和执行下采样处理后的所述第一子特征图相加，得到第二子特征图，并对所述第二子特征图执行特征提取处理，得到所述第二输出子特征图。


3.根据权利要求2所述的方法，其特征在于，所述第二支路对所述第二子特征图执行特征提取处理，包括：
所述第二支路通过卷积层和激活函数对所述第二子特征图进行处理，得到第三子特征图；
所述第二支路将所述第二子特征图和所述第三子特征图相加，得到所述第二输出子特征图。


4.根据权利要求2或3所述的方法，其特征在于，所述第二支路还用于对所述第二子特征图执行特征提取处理，得到第四子特征图，所述第四子特征图为所述第二支路得到的中间特征；
所述第一支路对所述第一输入子特征图执行特征提取处理，包括：
所述第一支路对所述第一子特征图执行特征提取处理，得到所述第一子特征图；
所述第一支路将所述第一子特征图和执行上采样处理后的所述第四子特征图相加，得到第五子特征图；
所述第一支路对所述第五特征图执行特征提取处理，得到所述第一输出子特征图。


5.根据权利要求4所述的方法，其特征在于，所述第一支路对所述第五特征图执行特征提取处理，得到所述第一输出子特征图，包括：
所述第一支路通过卷积层和激活函数对所述第五子特征图进行处理，得到第六子特征图；
所述第一支路将所述第五子特征图和所述第六子特征图相加，得到所述第一输出子特征图。


6.根据权利要求1-5任意一项所述的方法，其特征在于，所述输入特征图的梯度由所述目标网络的权重与所述输入特征图之间的差值确定。


7.根据权利要求6所述的方法，其特征在于，所述输入特征图的梯度是通过对所述目标网络的权重与所述输入特征图之间的差值执行取符号操作得到的。


8.一种图像处理装置，其特征在于，包括：获取单元和处理单元；
所述获取单元用于获取待处理图像的输入特征图，所述输入特征图包括第一输入子特征图和第二输入子特征图，所述第一输入子特征图的分辨率高于所述第二输入子特征图的分辨率；
所述处理单元用于通过目标网络对所述输入特征图进行特征融合处理，得到输...

【专利技术属性】
技术研发人员：陈醒濠，李文硕，王云鹤，许春景，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：广东;44