图像处理方法、装置、移动终端及计算机可读存储介质制造方法及图纸

本申请涉及一种图像处理方法和装置、移动终端、计算机可读存储介质。所述方法包括：获取待处理图像；基于卷积神经网络对所述待处理图像的背景类别和前景目标进行识别；当所述前景目标中具有待待替换对象时，根据所述背景类别替换所述待替换对象。上述方法使得处理后的图像具有较高的观赏性。

【技术实现步骤摘要】
图像处理方法、装置、移动终端及计算机可读存储介质
本申请涉及计算机应用领域，特别是涉及一种图像处理方法、装置、移动终端及计算机可读存储介质。
技术介绍
随着智能设备的日益普及，相机已成为智能设备中不可或缺的部分。我们在用相机拍摄照片时，经常会遇到如下问题：拍摄到的照片中存在某些杂物，影响了照片的质量和美感。例如，在拍摄一张美丽的风景照时，拍出的照片角落中却出现一个垃圾桶；在热门景点拍纪念照时，拍出的照片出现行人抢镜。对此类问题，用户一般是通过后期Photoshop等软件对图像进行处理，但是这种方法十分耗时、费力，并且对于图像处理技术差的用户而言，利用这种方法往往较难得到观赏性高的图像。
技术实现思路
本申请实施例提供一种图像处理方法、装置、移动终端及计算机可读存储介质，可以提高图像的观赏性。一种图像处理方法，包括：获取待处理图像；基于卷积神经网络对所述待处理图像的背景类别和前景目标进行识别；当所述前景目标中具有待待替换对象时，根据所述背景类别替换所述待替换对象。一种图像处理装置，包括：获取模块，用于获取待处理图像；识别模块，用于基于卷积神经网络对所述待处理图像的背景类别和前景目标进行识别；替换模块，用于当所述前景目标中具有待待替换对象时，根据所述背景类别替换所述待替换对象。一种移动终端，包括存储器及处理器，所述存储器中储存有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行所述的图像处理方法的步骤。一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现所述的图像处理方法的步骤。本申请实施例中图像处理方法、装置、移动终端及计算机可读存储介质，通过获取待处理图像；基于卷积神经网络对所述待处理图像的背景类别和前景目标进行识别；当所述前景目标中具有待待替换对象时，根据所述背景类别替换所述待替换对象，使得处理后的图像具有较高的观赏性。附图说明为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为一个实施例中图像处理方法的流程图；图2A为一个实施例中卷神经网络的架构示意图；图2B为一个实施例中基于卷神经网络识别待处理图像的方法流程图；图3为一个实施例中待处理图像的类别示意图；图4为一个实施例的待替换对象的检测方法的流程图；图5为另一个实施例的待替换对象的检测方法的流程图；图6为另一个实施例的待替换对象的检测方法的流程图；图7为一个实施例的根据背景类别所对应的图像数据替换待替换对象的方法的流程图；图8为一个实施例中待处理图像中目标位置确定示意图；图9为另一个实施例的根据背景类别所对应的图像数据替换待替换对象的方法的流程图；图10为一个实施例的将待替换区域的图像块替换为替换图像块的方法的流程图；图11为一个实施例中图像处理装置的结构框图；图12A为一个实施例中移动终端的内部结构示意图；图12B为一个实施例中服务器的内部结构示意图；图13为一个实施例中图像处理电路的示意图。具体实施方式为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。图1为一个实施例中图像处理方法的流程图。如图1所示，一种图像处理方法，包括步骤102至步骤106。步骤102：获取待处理图像。本实施例中，可以从照片库中获取待处理的图像，或者，也可以获取实时拍摄得到的图像作为待处理的图像，此处不作限定。步骤104：基于卷积神经网络对待处理图像的背景类别和前景目标进行识别。应当理解地，卷积神经网络(ConvolutionalNeuralNetwork，CNN)是指在传统的多层神经网络的基础上发展起来的一种针对图像分类和识别的一种神经网络模型，相对与传统的多层神经网络，CNN模型引入了卷积算法和池化算法。其中，卷积算法是指将局部区域内的数据进行加权叠加的一种数学算法，池化算法是指将局部区域内的数据进行采样处理的一种数学算法。具体而言，CNN模型由卷积层与池化层交替组成，如图2A所示，输入层210输入图像，卷积层220对输入层的图像的各个局部区域进行图像特征提取，池化层230对卷积层的图像特征进行采样以降低维数，然后再以若干层全连接层240对图像特征进行连接，以最后一层隐藏层250的输出值为最终提取的特征。根据最终提取的特征对背景类别和前景目标的类别进行检测。在一个实施例中，在卷积神经网络的最后一层隐藏层250后配置softmax分析器，通过softmax分析器可以得到图像中的背景对应的类别的概率和前景目标对应类别的概率。需要说明的是，在采用卷积神经网络对待处理图像的背景类别和前景目标进行识别之前，需要对卷积神经网络进行训练，其训练过程包括：首先，可将包含有至少一个背景训练目标(包括：风景、海滩、雪景、蓝天、绿地、夜景、黑暗、背光、日出/日落、室内、烟火、聚光灯等)和前景训练目标(包括主体对象：人像、婴儿、猫、狗、美食等；以及待替换对象：垃圾桶、杂物等)的训练图像输入到神经网络中，神经网络根据背景训练目标和前景训练目标进行特征提取，通过SIFT(Scale-invariantfeaturetransform)特征、方向梯度直方图(HistogramofOrientedGradient，HOG)特征等提取特征，再通过SSD(SingleShotMultiBoxDetector)、VGG(VisualGeometryGroup)等目标检测算法，对背景训练目标进行检测得到第一预测置信度，对前景训练目标进行检测得到第二预测置信度。第一预测置信度为采用该神经网络预测出的该训练图像中背景区域某一像素点属于该背景训练目标的置信度。第二预测置信度为采用该神经网络预测出的该训练图像中前景区域某一像素点属于该前景训练目标的置信度。训练图像中可以预先标注背景训练目标和前景训练目标，得到第一真实置信度和第二真实置信度。该第一真实置信度表示在该训练图像中预先标注的该像素点属于该背景训练目标的置信度。第二真实置信度表示在该训练图像中预先标注的该像素点属于该前景训练目标的置信度。针对图像中的每个像素点，真实置信度可以表示为1(或正值)和0(或负值)，分别用以表示该像素点属于训练目标和不属于训练目标。其次，求取第一预测置信度与第一真实置信度之间的差异得到第一损失函数，求其第二预测置信度与第二真实置信度之间的差异得到第二损失函数。第一损失函数和第二损失函数均可采用对数函数、双曲线函数、绝对值函数等。最后，将所述第一损失函数和第二损失函数进行加权求和得到目标损失函数，并根据所述目标损失函数调整所述神经网络的参数，对所述神经网络进行训练。在一实施例中，如图3所示，背景类别包括：风景、海滩、雪景、蓝天、绿地、夜景、黑暗、背光、日出/日落、室内、烟火、聚光灯等。前景目标包括主体对象和待替换对象，其中，主体对象可为：人像、婴儿、猫、狗、美食等；待替换对象可为：垃圾桶、杂物等。需要说明的是，主体对象为待处理图像中保留部分，待替换对象为待处本文档来自技高网...

【技术保护点】
1.一种图像处理方法，其特征在于，包括：获取待处理图像；基于卷积神经网络对所述待处理图像的背景类别和前景目标进行识别；当所述前景目标中具有待替换对象时，根据所述背景类别所对应的图像数据替换所述待替换对象。

【技术特征摘要】
1.一种图像处理方法，其特征在于，包括：获取待处理图像；基于卷积神经网络对所述待处理图像的背景类别和前景目标进行识别；当所述前景目标中具有待替换对象时，根据所述背景类别所对应的图像数据替换所述待替换对象。2.根据权利要求1所述的方法，其特征在于，所述基于卷积神经网络对所述待处理图像的背景类别和前景目标进行识别，包括：采用卷积神经网络对所述待处理图像进行特征提取，得到特征数据；将所述特征数据输入到卷积神经网络的分类网络对待处理图像的背景进行分类检测，得到待处理图像的背景类别；将所述特征数据输入到该卷积神经网络的目标检测网络对待处理图像的前景目标进行检测，得到前景目标的类别。3.根据权利要求1所述的方法，其特征在于，检测所述前景目标中是否具有待替换对象的方法，包括：获取所述前景目标的标签信息；当所述标签信息为预设标签信息时，确定所述前景目标为待替换对象。4.根据权利要求3所述的方法，其特征在于，检测所述前景目标中是否具有待替换对象的方法，还包括：获取所述前景目标的边界框面积；当所述标签信息为所述预设标签信息且所述边界框面积小于预设面积时，确定所述前景目标为待替换对象。5.根据权利要求3所述的方法，其特征在于，检测所述前景目标中是否具有待替换对象的方法，还包括：获取所述前景目标的边界框位置；当所述标签信息为所述预设标签信息且所述边界框位于预设...

【专利技术属性】
技术研发人员：陈岩，
申请(专利权)人：OPPO广东移动通信有限公司，
类型：发明
国别省市：广东,44