图像处理方法、装置、移动终端及计算机可读存储介质制造方法及图纸

本申请涉及一种图像处理方法和装置、移动终端、计算机可读存储介质。所述方法包括：获取待处理的预览图像；识别所述预览图像的场景；所述场景包括背景类别和前景目标；当所述前景目标为人像时，检测所述人像的面部表情信息；根据所述面部表情信息和所述背景类别调节所述预览图像中背景图像的特征参数，使得处理后的图像中人物图像和背景图像协调。

Image processing method, device, mobile terminal and computer readable storage medium

【技术实现步骤摘要】
图像处理方法、装置、移动终端及计算机可读存储介质
本申请涉及计算机应用领域，特别是涉及一种图像处理方法、装置、移动终端及计算机可读存储介质。
技术介绍
随着移动终端的不断发展，尤其是智能手机设备的出现，几乎所有的移动终端设备都具有拍摄功能。但是，人们在拍摄照片时，背景图像通常较为固定，而人物的表情却非常丰富，当人物表情变化时，背景图像无法做出相应的变化，使得人物图像和背景图像不协调，图像观赏性低。
技术实现思路
本申请实施例提供一种图像处理方法、装置、移动终端及计算机可读存储介质，可以协调人物图像和背景图像。一种图像处理方法，包括：获取待处理的预览图像；识别所述预览图像的场景；所述场景包括背景类别和前景目标；当所述前景目标为人像时，检测所述人像的面部表情信息；根据所述面部表情信息和所述背景类别调节所述预览图像中背景图像的特征参数。一种图像处理装置，包括：获取模块，用于获取待处理的预览图像；识别模块，用于识别所述预览图像的场景；所述场景包括背景类别和前景目标；检测模块，用于当所述前景目标为人像时，检测所述人像的面部表情信息；调节模块，用于根据所述面部表情信息和所述背景类别调节所述预览图像中背景图像的特征参数。一种移动终端，包括存储器及处理器，所述存储器中储存有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行所述的图像处理方法的步骤。一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现所述的图像处理方法的步骤。本申请实施例中图像处理方法、装置、移动终端及计算机可读存储介质，通过获取待处理的预览图像；识别所述预览图像的场景；所述场景包括背景类别和前景目标；当所述前景目标为人像时，检测所述人像的面部表情信息；根据所述面部表情信息和背景类别调节所述预览图像中背景图像的特征参数，使得处理后的图像中人物图像和背景图像协调。附图说明为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为一个实施例中图像处理方法的流程图；图2为一个实施例中神经网络的架构示意图；图3为一个实施例中拍摄场景的类别示意图；图4为一个实施例的基于神经网络对预览图像的场景进行识别的方法的流程图；图5为另一个实施例中神经网络的架构示意图；图6为另一个实施例基于神经网络对预览图像的场景进行识别的方法的流程图；图7为一个实施例中预览图像中前景目标的边界框示意图；图8为一个实施例中检测人像的面部表情信息的方法的流程图；图9为另一个实施例中检测人像的面部表情信息的方法的流程图；图10为一个实施例中调节预览图像中背景图像的特征参数的方法的流程图；图11为一个实施例中图像处理装置的结构框图；图12A为一个实施例中移动终端的内部结构示意图；图12B为一个实施例中服务器的内部结构示意图；图13为一个实施例中图像处理电路的示意图。具体实施方式为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。图1为一个实施例中图像处理方法的流程图。如图1所示，一种图像处理方法，包括步骤102至步骤108。步骤102：获取待处理的预览图像。本实施例中，待处理的图像可以为连续多帧预览图像，连续多帧预览图像可以是连续两帧及两帧以上的预览图像。连续多帧预览图像可以是指计算机设备的摄像头在预设时间内采集的多帧预览图像。例如，计算机设备的摄像头在0.1秒内采集了3帧预览图像，则可以将这3帧预览图像作为连续多帧预览图像。步骤104：识别预览图像的场景。其中，该场景包括背景类别和前景目标。本实施例中，基于神经网络识别预览图像的场景。应当理解地，神经网络可以为卷积神经网络(ConvolutionalNeuralNetwork，CNN)，CNN是指在传统的多层神经网络的基础上发展起来的一种针对图像分类和识别的一种神经网络模型，相对与传统的多层神经网络，CNN引入了卷积算法和池化算法。其中，卷积算法是指将局部区域内的数据进行加权叠加的一种数学算法，池化算法是指将局部区域内的数据进行采样处理的一种数学算法。具体而言，CNN模型由卷积层与池化层交替组成，如图2所示，输入层210输入预览图像，卷积层220对输入层的图像的各个局部区域进行图像特征提取，池化层230对卷积层的图像特征进行采样以降低维数，然后再以若干层全连接层240对图像特征进行连接，以最后一层隐藏层250的输出值为最终提取的特征。根据最终提取的特征对场景信息进行识别，其中场景信息包括了背景类别信息和前景目标类别信息。在一个实施例中，在卷积神经网络的最后一层隐藏层250后配置softmax分析器，通过softmax分析器对上述最终提取的特征进行分析，可以得到图像中的背景对应的类别的概率和前景目标对应类别的概率。需要说明的是，在采用神经网络对预览图像的背景类别和前景目标进行识别之前，需要对神经网络进行训练，其训练过程包括：首先，可将包含有至少一个背景训练目标(包括：风景、海滩、雪景、蓝天、绿地、夜景、黑暗、背光、日出/日落、室内、烟火、聚光灯等)和前景训练目标(包括主体对象：人像、婴儿、猫、狗、美食等)的训练图像输入到神经网络中，神经网络根据背景训练目标和前景训练目标进行特征提取，通过SIFT(Scale-invariantfeaturetransform)特征、方向梯度直方图(HistogramofOrientedGradient，HOG)特征等提取特征，再通过SSD(SingleShotMultiBoxDetector)、VGG(VisualGeometryGroup)等目标检测算法，对背景训练目标进行检测得到第一预测置信度，对前景训练目标进行检测得到第二预测置信度。第一预测置信度为采用该神经网络预测出的该训练图像中背景区域某一像素点属于该背景训练目标的置信度。第二预测置信度为采用该神经网络预测出的该训练图像中前景区域某一像素点属于该前景训练目标的置信度。训练图像中可以预先标注背景训练目标和前景训练目标，得到第一真实置信度和第二真实置信度。该第一真实置信度表示在该训练图像中预先标注的该像素点属于该背景训练目标的置信度。第二真实置信度表示在该训练图像中预先标注的该像素点属于该前景训练目标的置信度。针对图像中的每个像素点，真实置信度可以表示为1(或正值)和0(或负值)，分别用以表示该像素点属于训练目标和不属于训练目标。其次，求取第一预测置信度与第一真实置信度之间的差异得到第一损失本文档来自技高网...

【技术保护点】
1.一种图像处理方法，其特征在于，包括：/n获取待处理的预览图像；/n识别所述预览图像的场景；所述场景包括背景类别和前景目标；/n当所述前景目标为人像时，检测所述人像的面部表情信息；/n根据所述面部表情信息和所述背景类别调节所述预览图像中背景图像的特征参数；包括：/n根据所述背景类别确定所述特征参数中的待调节特征参数；不同的背景类别对应不同的优选的待调节特征参数；/n根据所述面部表情信息确定所述待调节特征参数的调节模式；/n根据所述调节模式调节所述待调节特征参数。/n

【技术特征摘要】
1.一种图像处理方法，其特征在于，包括：
获取待处理的预览图像；
识别所述预览图像的场景；所述场景包括背景类别和前景目标；
当所述前景目标为人像时，检测所述人像的面部表情信息；
根据所述面部表情信息和所述背景类别调节所述预览图像中背景图像的特征参数；包括：
根据所述背景类别确定所述特征参数中的待调节特征参数；不同的背景类别对应不同的优选的待调节特征参数；
根据所述面部表情信息确定所述待调节特征参数的调节模式；
根据所述调节模式调节所述待调节特征参数。


2.根据权利要求1所述的方法，其特征在于，所述待处理的预览图像为连续多帧预览图像，所述检测所述人像的面部表情信息，包括：
获取所述连续多帧预览图像中人像的面部运动数据；
基于面部行为编码系统将所述面部运动数据与预设特征数据进行匹配；
当所述面部运动数据与所述预设特征数据一致时，获取所述特征数据对应的预设面部表情，并将所述预设面部表情作为所述人像的面部表情信息。


3.根据权利要求1所述的方法，其特征在于，所述检测所述人像的面部表情信息，还包括：
确定所述预览图像中的人脸区域；
获取与人脸区域对应的深度信息；
根据人脸区域和对应的深度信息确定所述面部表情信息。


4.根据权利要求1所述的方法，其特征在于，所述根据所述面部表情信息和所述背景类别调节所述预览图像中背景图像的特征参数，包括：
根据所述面部表情信息和背景类别调节所述预览图像中背景图像的以下至少之一的特征参数：色调、亮度、色彩、对比度、曝光度、光效。


5.根据权利要求1所述的方法，其特征在于，根据所述背景类别的特点为不同的背景设置至少一个优选的待调节特征参数。


6.根据权利要求1所述的方法，其特征在于，所述识别所述预览图像的场景的方法，包括：
采用神经网络的基础网络对预览图像进行特征提取，得到特征数据；
将所述特征数据输入到所述神经网络的分类网络对预览图像的背景进行分类检测，输出第一置信度图；所述第一置信度图中的每个像素点表示预览图像中每个像素点属于...

【专利技术属性】
技术研发人员：陈岩，
申请(专利权)人：OPPO广东移动通信有限公司，
类型：发明
国别省市：广东;44