一种图像处理方法及设备技术

本申请涉及图像处理技术领域，公开了一种图像处理方法、介质及设备。本申请的图像处理方法包括：获取图像；图像在神经网络模型的输入层被处理成至少一层图像数据；将图像数据输入神经网络模型的隐含层进行处理，得到图像数据的局部高维特征数据，其中神经网络模型的隐含层包括多个处理单元，多个处理单元中至少部分处理单元彼此互联并且与输入层的输出相连；以及输出所述图像的特征映射，图像的特征映射由图像数据的局部高维特征池化融合得到。根据本申请所提供的技术方案，在图像处理的过程中，在图像处理的过程中，消除了信息丢失，有效缓解梯度混淆；减少了计算成本，有效的去除了神经网络中的冗余参数；降低了计算复杂度，提高了对图像的分类精度；所需计算机系统的内部结构可以更精简，使得图像处理在移动设备等轻量级神经网络中能够得以应用。量级神经网络中能够得以应用。量级神经网络中能够得以应用。

【技术实现步骤摘要】
一种图像处理方法及设备


[0001]本申请涉及图像处理领域，特别涉及一种图像处理方法及图像处理装置。

技术介绍

[0002]神经网络模型是一种由大量的节点(或称为神经元)相互联接组成的运算模型。常用的神经网络模型包括输入层、输出层以及多个隐含层(也称为隐层)。随着神经网络体积越来越大，结构越来越复杂，预测和训练需要的硬件资源也逐步增多，往往只能在高算力的服务器中运行深度学习神经网络模型。而轻量级神经网络模型使得在保证模型准确率的同时体积更小，速度更快，使在移动网络中运行神经网络模型成为可能。
[0003]反向残差块(Inverted residual block，简称IR块)在移动网络中占据主导地位，它通过引入两个设计规则来改变经典的残留瓶颈：反向残差学习和线性瓶颈的使用。瓶颈之间的连接会不可避免地带来信息丢失以及引起梯度混淆，削弱梯度在各层之间的传播，从而影响训练的收敛性以及模型的性能。

技术实现思路

[0004]本申请实施例提供了一种图像处理方法、图像处理装置、图像处理设备及计算机可读介质。
[0005]第一方面，本申请实施例提供了一种基于神经网络的图像处理方法，并且所述方法包括：
[0006]获取图像；
[0007]所述图像在所述神经网络模型的输入层被处理成至少一层图像数据；
[0008]将所述图像数据输入所述神经网络模型的隐含层进行处理，得到所述图像数据的局部高维特征数据，其中所述神经网络模型的隐含层包括多个处理单元，所述多个处理单元中至少部分处理单元彼此互联并且与所述输入层的输出相连；以及
[0009]输出所述图像的特征映射，所述图像的特征映射由所述图像数据的局部高维特征池化融合得到；
[0010]其中，在至少一个处理单元中，作为所述至少一个处理单元的输入的所述图像的高维特征数据依次经过由第一深度可分离卷积层、第一逐点卷积层、第二逐点卷积层以及第二深度可卷积层构成的快捷连接处理，输出所述图像的局部高维特征数据。
[0011]本申请中的技术方案与现有技术中的图像处理方法相比，在图像处理的过程中，
[0012]1)消除了信息丢失，有效缓解梯度混淆；
[0013]2)减少了计算成本，有效的去除了神经网络中的冗余参数；
[0014]3)降低了计算复杂度，提高了对图像的分类精度；
[0015]4)所需计算机系统的内部结构可以更精简，使得图像处理在移动设备等轻量级神经网络中能够得以应用。
[0016]在上述第一方面的一种可能的实现中，上述方法还包括：所述第一逐点卷积层对
所述图像数据进行通道的缩减，以及所述第二逐点卷积层对所述第一逐点卷积层输出的图像数据进行通道的扩展。不但节省了参数和计算成本，还可以使用快捷连接而非瓶颈连接的方式连接具有大量通道的表示形式。
[0017]在上述第一方面的一种可能的实现中，上述方法还包括：在所述第一逐点卷积层和所述第二逐点卷积层之间不进行其他卷积操作。该结构将性能大大降低了1％以上。
[0018]在上述第一方面的一种可能的实现中，上述方法还包括：所述快捷连接是建立在所述图像数据的高维特征空间中，并提取所述图像数据的局部特征张量，得到所述图像数据的局部高维特征数据。
[0019]在上述第一方面的一种可能的实现中，上述方法还包括：对所述第一深度可分离卷积层输出的数据使用线性激活函数；对所述第一逐点卷积层输出的数据使用非线性激活函数；对所述第二逐点卷积层输出的数据使用线性激活函数；对所述第二深度卷积层输出的数据使用非线性激活函数。使得从输入张量到输出张量可传递更多信息，并允许更多的梯度跨多层传播。
[0020]在上述第一方面的一种可能的实现中，上述方法还包括：所述神经网络模型包括输入层、多个隐含层和输出层，所述隐含层进一步包括第一卷积层、全卷积层和全局平均池化层，全卷积层包括至少一个处理单元，其中，输入的所述图像经过包括32个输出通道的第一卷积层的处理，得到32个输出通道的所述图像数据的特征图；所述图像数据的特征图，经过所述全卷积层的处理，得到所述图像数据的局部高维特征数据；所述图像数据的局部高维特征数据经过全局平均池化层的处理，被池化为所述图像的特征映射。
[0021]第二方面，本申请实施例提供了一种图像处理装置，包括：
[0022]获取模块，获取图像；
[0023]处理模块，对所述图像进行基于神经网络模型的处理，得到所述图像数据的局部高维特征数据，所述处理模块包括多个处理单元，所述多个处理单元中至少部分处理单元彼此互联并且与输出相连；以及
[0024]输出模块，输出所述图像的特征映射，所述图像的特征映射由所述图像数据的局部高维特征池化融合得到；
[0025]其中，在至少一个处理单元中，作为所述至少一个处理单元的输入的所述图像的高维特征数据依次经过由第一深度可分离卷积层、第一逐点卷积层、第二逐点卷积层以及第二深度可卷积层构成的快捷连接处理，输出所述图像的局部高维特征数据。
[0026]在上述第二方面的一种可能的实现中，上述装置还包括：所述第一逐点卷积层对所述图像数据进行通道的缩减，以及所述第二逐点卷积层对所述第一逐点卷积层输出的图像数据进行通道的扩展。不但节省了参数和计算成本，还可以使用快捷连接而非瓶颈连接的方式连接具有大量通道的表示形式。
[0027]在上述第二方面的一种可能的实现中，上述装置还包括：在所述第一逐点卷积层和所述第二逐点卷积层之间不进行其他卷积操作。该结构将性能大大降低了1％以上。
[0028]在上述第二方面的一种可能的实现中，上述装置还包括：所述快捷连接是建立在所述图像数据的高维特征空间中，并提取所述图像数据的局部特征张量，得到所述图像数据的局部高维特征数据。
[0029]在上述第二方面的一种可能的实现中，上述装置还包括：对所述第一深度可分离
卷积层输出的数据使用线性激活函数；对所述第一逐点卷积层输出的数据使用非线性激活函数；对所述第二逐点卷积层输出的数据使用线性激活函数；对所述第二深度卷积层输出的数据使用非线性激活函数。使得从输入张量到输出张量可传递更多信息，并允许更多的梯度跨多层传播。
[0030]在上述第二方面的一种可能的实现中，上述装置还包括：所述神经网络模型包括输入层、多个隐含层和输出层，所述隐含层进一步包括第一卷积层、全卷积层和全局平均池化层，全卷积层包括至少一个处理单元，其中，输入的所述图像经过包括32个输出通道的第一卷积层的处理，得到32个输出通道的所述图像数据的特征图；所述图像数据的特征图，经过所述全卷积层的处理，得到所述图像数据的局部高维特征数据；所述图像数据的局部高维特征数据经过全局平均池化层的处理，被池化为所述图像的特征映射。
[0031]第三方面，本申请实施例提供了一种图像处理设备，包括：
[0032]存储器，用于存储由系统的一个或多个处理器执行的指令，以及
[0033]处理器，是系统的处理器之一，用于执行所述指本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于神经网络的图像处理方法，其特征在于，获取图像；所述图像在所述神经网络模型的输入层被处理成至少一层图像数据；将所述图像数据输入所述神经网络模型的隐含层进行处理，得到所述图像数据的局部高维特征数据，其中所述神经网络模型的隐含层包括多个处理单元，所述多个处理单元中至少部分处理单元彼此互联并且与所述输入层的输出相连；以及输出所述图像的特征映射，所述图像的特征映射由所述图像数据的局部高维特征池化融合得到；其中，在至少一个处理单元中，作为所述至少一个处理单元的输入的所述图像的高维特征数据依次经过由第一深度可分离卷积层、第一逐点卷积层、第二逐点卷积层以及第二深度可卷积层构成的快捷连接处理，输出所述图像的局部高维特征数据。2.如权利要求1所述的方法，其特征在于，所述第一逐点卷积层对所述图像数据进行通道的缩减，以及所述第二逐点卷积层对所述第一逐点卷积层输出的图像数据进行通道的扩展。3.如权利要求2所述的方法，其特征在于，在所述第一逐点卷积层和所述第二逐点卷积层之间不进行其他卷积操作。4.如权利要求3所述的方法，其特征在于，所述快捷连接是建立在所述图像数据的高维特征空间中，并提取所述图像数据的局部特征张量，得到所述图像数据的局部高维特征数据。5.如权利要求4所述的方法，其特征在于，对所述第一深度可分离卷积层输出的数据使用线性激活函数；对所述第一逐点卷积层输出的数据使用非线性激活函数；对所述第二逐点卷积层输出的数据使用线性激活函数；对所述第二深度卷积层输出的数据使用非线性激活函数。6.如权利要求1-5所述的方法，其特征在于，所述神经网络模型包括输入层、多个隐含层和输出层，所述隐含层进一步包括第一卷积层、全卷积层和全局平均池化层，全卷积层包括至少一个处理单元，其中，输入的所述图像数据经过包括32个输出通道的第一卷积层的处理，得到32个输出通道的所述图像数据的特征图；所述图像数据的特征图，经过所述全卷积层的处理，得到所述图像数据的局部高维特征数据；所述图像数据的局部高维特征数据经过全局平均池化层的处理，被池化为所述图像的特征映射。7.一种图像处理装置，其特征在于，包括：获取模块，获取图像；处理模块，对所述图像进行基于神经网络模型的处理，得到所述图像数据的局部高维特征数据，所述处理模块包括多个处理单元，所述多个处理单元中至少部分处理单元彼此互联并且与输出相连；以及输出模块，输出所述图像的特征映射，所述图像的特征映射由所述图像数据的局部高维特征池化融合得到；其中，在至少一个处理单元中，作为所述至少一个处理单元的输入的所述图像的高维
特征数据依次经过由第一深度可分离卷积层、第一逐点卷积层、第二逐点卷积层以及第二深度可卷积层构成的快捷连接处理，输出所述图像的局部高维特征数据。8.如权利要求7所述的装置，其特征在于，所述第一逐点卷积层对所述图像数据进行通道的缩减，以及所述第二逐点卷积层对所述第一逐点卷积层输出的图像数据进行通道的扩展。9.如权利要求8所述的装置，其特征在于，在所述第一逐点卷积层和所述第二逐点卷积层之间不进行其他卷积操作。10.如权利要求9所述的装置，其特征在于，所述快捷连接是建立在所述图像数据的高维特征空间中，并提取所述图像数据的局部特征张量，得到所述图像数据的局部高维特征数据。11.如权利要求9所述的装置，其特征...

【专利技术属性】
技术研发人员：周大权，冯佳时，蒋子航，陈云鹏，颜水成，
申请(专利权)人：新加坡依图有限责任公司私有，
类型：发明
国别省市：