图片处理方法、装置及存储介质制造方法及图纸

本发明专利技术实施例提供一种图片处理方法、装置及存储介质；该方法包括：对待检测图片进行预处理，获得处理后的图片；从所述处理后的图片中，分别提取图像特征信息和文本特征信息；根据所述图像特征信息和所述文本特征信息，确定所述待检测图片的类型，其中，所述图片类型包括正常图片或异常图片。本发明专利技术提供的图片处理方法、装置及存储介质，可以提升图片检测和识别的准确度。

Image processing method, device and storage medium

【技术实现步骤摘要】
图片处理方法、装置及存储介质
本专利技术实施例涉及图像处理
，尤其涉及一种图片处理方法、装置及存储介质。
技术介绍
随着互联网的普及，图片因其相对文字具有表达直观、内容丰富等优势，在越来越多的网页及应用中被广泛应用。例如，网购平台为各电商提供了各种商品信息发布机制，商家可以上传多角度、多背景的商品照片，以吸引用户。很多互联网电商企业为了博取眼球效应，会上传一些不符合规定的图片，因此，如何在大数据环境下对风险图片或异常图片进行处理显得越来越重要，现有技术中，通常通过卷积神经网络(ConvolutionNeuralNetwork,CNN)技术对图片进行检测与分类，其中，CNN技术主要是通过提取图片中的图像特征信息，根据图片的图像特征信息，判断该图片是正常图片还是异常图片。然而，由于CNN技术只能提取图片中的图像特征信息，对于图片中包含大量文本信息的图片来说，通过CNN技术对图片进行检测时，图片的误检率较高，造成图片检测的准确性较低。
技术实现思路
本专利技术实施例提供一种图片处理方法、装置及存储介质，可以提高图片检测和识别的准确性。根据本专利技术实施例的第一方面，提供一种图片处理方法，该方法包括：对待检测图片进行预处理，获得处理后的图片；从所述处理后的图片中，分别提取图像特征信息和文本特征信息；根据所述图像特征信息和所述文本特征信息，确定所述待检测图片的类型，其中，所述图片的类型包括正常图片或异常图片。可选的，所述根据所述图像特征信息和所述文本特征信息，确定所述待检测图片的类型，包括：对所述图像特征信息和所述文本特征信息进行拼接处理，获得拼接特征信息；对所述拼接特征信息进行流形数据的降维处理，获得所述拼接特征信息的嵌入特征；根据所述拼接特征信息的嵌入特征和预先确定的超球，确定所述待检测图片的类型。可选的，所述根据所述拼接特征信息的嵌入特征和预先确定的超球，确定所述待检测图片的类型，包括：判断所述嵌入特征是否处于所述超球内；若所述嵌入特征处于所述超球内，则确定所述待检测图片为异常图片；若所述嵌入特征不处于所述超球内，则确定所述待检测图片为正常图片。可选的，所述根据所述拼接特征信息的嵌入特征和预先确定的超球，确定所述待检测图片的类型之前，所述方法还包括：获取多个样本图片；分别提取所述多个样本图片中每个样本图片的映射特征；对各个所述映射特征进行数据描述，得到所述超球。可选的，所述对各个所述映射特征进行数据描述，得到所述超球，包括：通过支持向量数据描述SVDD算法对各个所述映射特征进行数据描述，得到所述超球。可选的，从所述处理后的图片中，提取图像特征信息，包括：通过多级卷积神经网络CNN，从所述处理后的图片中，提取图像特征信息。可选的，所述通过多级卷积神经网络CNN，从所述处理后的图片中，提取图像特征信息，包括：将所述处理后的图片输入至第一级CNN网络中，得到与所述处理后的图片对应的第一映射图像以及所述处理后的图片中目标图像的第一区域框坐标；将所述第一映射图像和所述第一区域框坐标输入至第二级CNN网络中，得到与所述处理后的图片对应的第二映射图像以及所述处理后的图片中目标图像的第二区域框坐标；将所述第二映射图像和所述第二区域框坐标输入至第三级CNN网络中，得到所述图像特征信息。可选的，从所述处理后的图片中，提取文本特征信息，包括：通过多级卷积神经网络CNN和循环神经网络RNN，从所述处理后的图片中，提取所述文本特征信息。可选的，所述对待检测图片进行预处理，获得处理后的图片，包括：对所述待检测图片进行图像金字塔处理，获得所述处理后的图片。可选的，所述对所述待检测图片进行图像金字塔处理，获得所述处理后的图片之前，所述方法还包括：对所述待检测图片进行图像颜色矫正处理，获得矫正后的图片；所述对所述待检测图片进行图像金字塔处理，获得所述处理后的图片，包括：对所述矫正后的图片进行图像金字塔处理，获得所述处理后的图片。根据本专利技术实施例的第二方面，提供一种图片处理装置，该装置包括：预处理模块，用于对待检测图片进行预处理，获得处理后的图片；第一提取模块，用于从所述处理后的图片中，分别提取图像特征信息和文本特征信息；确定模块，用于根据所述图像特征信息和所述文本特征信息，确定所述待检测图片的类型，其中，所述图片的类型包括正常图片或异常图片。可选的，所述确定模块，包括：拼接子模块，用于对所述图像特征信息和所述文本特征信息进行拼接处理，获得拼接特征信息；降维处理子模块，用于对所述拼接特征信息进行流形数据的降维处理，获得所述拼接特征信息的嵌入特征；确定子模块，用于根据所述拼接特征信息的嵌入特征和预先确定的超球，确定所述待检测图片的类型。可选的，所述确定子模块，具体用于：判断所述嵌入特征是否处于所述超球内；若所述嵌入特征处于所述超球内，则确定所述待检测图片为异常图片；若所述嵌入特征不处于所述超球内，则确定所述待检测图片为正常图片。可选的，所述装置还包括：获取模块，用于获取多个样本图片；第二提取模块，用于分别提取所述多个样本图片中每个样本图片的映射特征；数据描述模块，用于对各个所述映射特征进行数据描述，得到所述超球。可选的，所述数据描述模块，具体用于：通过支持向量数据描述SVDD算法对各个所述映射特征进行数据描述，得到所述超球。可选的，所述第一提取模块，还用于通过多级卷积神经网络CNN，从所述处理后的图片中，提取图像特征信息。可选的，所述第一提取模块，还用于：将所述处理后的图片输入至第一级CNN网络中，得到与所述处理后的图片对应的第一映射图像以及所述处理后的图片中目标图像的第一区域框坐标；将所述第一映射图像和所述第一区域框坐标输入至第二级CNN网络中，得到与所述处理后的图片对应的第二映射图像以及所述处理后的图片中目标图像的第二区域框坐标；将所述第二映射图像和所述第二区域框坐标输入至第三级CNN网络中，得到所述图像特征信息。可选的，第一提取模块，还用于通过多级卷积神经网络CNN和循环神经网络RNN，从所述处理后的图片中，提取所述文本特征信息。可选的，所述预处理模块，还用于对所述待检测图片进行图像金字塔处理，获得所述处理后的图片。可选的，所述装置还包括：矫正模块，用于对所述待检测图片进行图像颜色矫正处理，获得矫正后的图片；所述预处理模块，还用于：对所述矫正后的图片进行图像金字塔处理，获得所述处理后的图片。根据本专利技术实施例的第三方面，提供一种服务器，其特征在于，包括：处理器；存储器；以及计算机程序；其中，所述计算机程序被存储在所述存储器中，并且被配置为由所述处本文档来自技高网...

【技术保护点】
1.一种图片处理方法，其特征在于，包括：/n对待检测图片进行预处理，获得处理后的图片；/n从所述处理后的图片中，分别提取图像特征信息和文本特征信息；/n根据所述图像特征信息和所述文本特征信息，确定所述待检测图片的类型，其中，所述图片的类型包括正常图片或异常图片。/n

【技术特征摘要】
1.一种图片处理方法，其特征在于，包括：
对待检测图片进行预处理，获得处理后的图片；
从所述处理后的图片中，分别提取图像特征信息和文本特征信息；
根据所述图像特征信息和所述文本特征信息，确定所述待检测图片的类型，其中，所述图片的类型包括正常图片或异常图片。


2.根据权利要求1所述的方法，其特征在于，所述根据所述图像特征信息和所述文本特征信息，确定所述待检测图片的类型，包括：
对所述图像特征信息和所述文本特征信息进行拼接处理，获得拼接特征信息；
对所述拼接特征信息进行流形数据的降维处理，获得所述拼接特征信息的嵌入特征；
根据所述拼接特征信息的嵌入特征和预先确定的超球，确定所述待检测图片的类型。


3.根据权利要求2所述的方法，其特征在于，所述根据所述拼接特征信息的嵌入特征和预先确定的超球，确定所述待检测图片的类型，包括：
判断所述嵌入特征是否处于所述超球内；
若所述嵌入特征处于所述超球内，则确定所述待检测图片为异常图片；
若所述嵌入特征不处于所述超球内，则确定所述待检测图片为正常图片。


4.根据权利要求2或3所述的方法，其特征在于，所述根据所述拼接特征信息的嵌入特征和预先确定的超球，确定所述待检测图片的类型之前，所述方法还包括：
获取多个样本图片；
分别提取所述多个样本图片中每个样本图片的映射特征；
对各个所述映射特征进行数据描述，得到所述超球。


5.根据权利要求4所述的方法，其特征在于，所述对各个所述映射特征进行数据描述，得到所述超球，包括：
通过支持向量数据描述SVDD算法对各个所述映射特征进行数据描述，得到所述超球。


6.根据权利要求1所述的方法，其特征在于，从所述处理后的图片中，提取图像特征信息，包括：
通过多级卷积神经网络CNN，从所述处理后的图片中，提取图像特征信息。


7.根据权利要求6所述的方法，其特征在于，所述通过多级卷积神经网络CNN，从所述处理后的图片中，提取图像特征信息，包括：
将所述处理后的图片输入至第一级CNN网络中，得到与所述处理后的图片对应的第一映射图像以及所述处理后的图片中目标图像的第一区域框坐标；
将所述第一映射图像和所述第一区域框坐标输入至第二级CNN网络中，得到与所述处理后的图片对应的第二映射图像以及所述处理后的图片中目标图像的第二区域框坐标；
将所述第二映射图像和所述第二区域框坐标输入至第三级CNN网络中，得到所述图像特征信息。


8.根据权利要求1所述的方法，其特征在于，从所述处理后的图片中，提取文本特征信息，包括：
通过多级卷积神经网络CNN和循环神经网络RNN，从所述处理后的图片中，提取所述文本特征信息。


9.根据权利要求1-8任一项所述的方法，其特征在于，所述对待检测图片进行预处理，获得处理后的图片，包括：
对所述待检测图片进行图像金字塔处理，获得所述处理后的图片。


10.根据权利要求9所述的方法，其特征在于，所述对所述待检测图片进行图像金字塔处理，获得所述处理后的图片之前，所述方法还包括：
对所述待检测图片进行图像颜色矫正处理，获得矫正后的图片；
所述对所述待检测图片进行图像金字塔处理，获得所述处理后的图片，包括：
对所述矫正后的图片进行图像金字塔处理，获得所述处理后的图片。


11.一种图片处理装置，其特征在于，包括：
预处...

【专利技术属性】
技术研发人员：刘达，
申请(专利权)人：北京京东尚科信息技术有限公司，北京京东世纪贸易有限公司，
类型：发明
国别省市：北京;11