图像预处理方法、装置、设备以及存储介质制造方法及图纸

本申请公开了图像预处理方法、装置、设备以及存储介质，涉及计算机视觉、深度学习等人工智能技术领域。该方法的一具体实施方式包括：获取人脸的RGBD图像，其中，RGBD图像包括RGB图像和深度图像；从RGB图像中提取RGB脸部和头发掩膜；从深度图像中提取深度脸部和头发掩膜；基于RGB脸部和头发掩膜对RGB图像进行过滤，得到RGB脸部区域和RGB头发区域，以及基于深度脸部和头发掩膜对深度图像进行过滤，得到深度脸部区域和深度头发区域。该实施方式通过脸部和头发掩膜对人脸的RGBD图像进过滤，能够实现脸部区域和头发区域的像素级分割，从而针对性地去除RGBD图像中的背景。

【技术实现步骤摘要】
图像预处理方法、装置、设备以及存储介质
本申请实施例涉及计算机
，具体涉及计算机视觉、深度学习等人工智能
，尤其涉及图像预处理方法、装置、设备以及存储介质。
技术介绍
通常，深度相机采集到的人脸的RGBD图像可以用于人脸三维重建。由于人脸表情会变化，人脸三维重建相比场景三维重建难度更大。为了得到较好的重建结果，需要对人脸的RGBD图像进行预处理。目前，常用的人脸的RGBD图像的预处理方式与场景的RGBD图像的预处理方式相同，均是利用传统形态学方法进行预处理。通过形态学处理和算法策略填补空洞，去除离群点。
技术实现思路
本申请实施例提出了图像预处理方法、装置、设备以及存储介质。第一方面，本申请实施例提出了一种图像预处理方法，包括：获取人脸的RGBD图像，其中，RGBD图像包括RGB图像和深度图像；从RGB图像中提取RGB脸部和头发掩膜；从深度图像中提取深度脸部和头发掩膜；基于RGB脸部和头发掩膜对RGB图像进行过滤，得到RGB脸部区域和RGB头发区域，以及基于深度脸部和头发掩膜对深度图像进行过滤，得到深度脸部区域和深度头发区域。第二方面，本申请实施例提出了一种图像预处理装置，包括：获取模块，被配置成获取人脸的RGBD图像，其中，RGBD图像包括RGB图像和深度图像；第一提取模块，被配置成从RGB图像中提取RGB脸部和头发掩膜；第二提取模块，被配置成从深度图像中提取深度脸部和头发掩膜；第一过滤模块，被配置成基于RGB脸部和头发掩膜对RGB图像进行过滤，得到RGB脸部区域和RGB头发区域，以及基于深度脸部和头发掩膜对深度图像进行过滤，得到深度脸部区域和深度头发区域。第三方面，本申请实施例提出了一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行如第一方面中任一实现方式描述的方法。第四方面，本申请实施例提出了一种存储有计算机指令的非瞬时计算机可读存储介质，计算机指令用于使计算机执行如第一方面中任一实现方式描述的方法。本申请实施例提供的图像预处理方法、装置、设备以及存储介质，首先从人脸的RGBD图像包括的RGB图像中提取RGB脸部和头发掩膜，以及从人脸的RGBD图像包括的深度图像中提取深度脸部和头发掩膜；然后基于RGB脸部和头发掩膜对RGB图像进行过滤，以及基于深度脸部和头发掩膜对深度图像进行过滤。通过脸部和头发掩膜对人脸的RGBD图像进过滤，能够实现脸部区域和头发区域的像素级分割，从而针对性地去除RGBD图像中的背景。应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。附图说明通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显。附图用于更好地理解本方案，不构成对本申请的限定。其中：图1是本申请可以应用于其中的示例性系统架构；图2是根据本申请的图像预处理方法的一个实施例的流程图；图3是根据本申请的图像预处理方法的又一个实施例的流程图；图4是根据本申请的图像预处理方法的另一个实施例的流程图；图5是根据本申请的图像预处理装置的一个实施例的结构示意图；图6是用来实现本申请实施例的图像预处理方法的电子设备的框图。具体实施方式以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。图1示出了可以应用本申请的图像预处理方法或图像预处理装置的实施例的示例性系统架构100。如图1所示，系统架构100中可以包括相机101、网络102和服务器103。网络102用以在相机101和服务器103之间提供通信链路的介质。网络102可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。相机101可以通过网络102与服务器103交互，以接收或发送消息等。例如，相机101可以采集人脸的RGBD图像，并发送至服务器103。服务器103可以提供各种服务。例如，服务器103可以对从相机101接收到的人脸的RGBD图像进行分析等处理，生成处理结果(例如过滤掉背景区域的RGBD图像)。需要说明的是，服务器103可以是硬件，也可以是软件。当服务器103为硬件时，可以实现成多个服务器组成的分布式服务器集群，也可以实现成单个服务器。当服务器103为软件时，可以实现成多个软件或软件模块(例如用来提供分布式服务)，也可以实现成单个软件或软件模块。在此不做具体限定。需要说明的是，本申请实施例所提供的图像预处理方法一般由服务器103执行，相应地，图像预处理装置一般设置于服务器103中。应该理解，图1中的相机、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的相机、网络和服务器。继续参考图2，其示出了根据本申请的图像预处理方法的一个实施例的流程200。该图像预处理方法包括以下步骤：步骤201，获取人脸的RGBD图像。在本实施例中，图像预处理方法的执行主体(例如图1所示的服务器103)可以从深度相机(例如图1所示的相机101)获取人脸的RGBD图像。例如，终端设备可以调用深度相机的API(ApplicationProgrammingInterface，应用程序编程接口)采集人脸的RGBD图像。通常，深度相机可以扫描人脸，采集大量RGBD图像。其中，RGBD图像可以包括RGB图像和深度图像。RGB图像的每个像素点的像素值可以是人脸表面的每个点的颜色值。通常，人类视力所能感知的所有颜色均是通过对红(R)、绿(G)、蓝(B)三个颜色通道的变化以及它们相互之间的叠加来得到的。深度图像的每个像素点的像素值可以是深度摄像机与人脸表面的每个点之间的距离。通常，RGB图像和深度图像是配准的，因而RGB图像和深度图像的像素点之间具有一对一的对应关系。此外，RGBD图像还可以包括相机参数。不同型号的深度相机的相机参数可以不同，相机参数是与深度相机自身特性相关的参数，包括但不限于相机的焦距、相机的光心等参数。步骤202，从RGB图像中提取RGB脸部和头发掩膜。在本实施例中，由于人脸主要是由脸部和头发组成，因此上述执行主体可以从RGB图像中提取RGB脸部和头发掩膜(mask)。其中，RGB脸部和头发掩膜可以是由0和1组成的二进制图像，用于对RGB图像中的脸部和头发进行像素过滤。具体地，脸部区域和头发区域对应的像素值可以本文档来自技高网...

【技术保护点】
1.一种图像预处理方法，包括：/n获取人脸的RGBD图像，其中，所述RGBD图像包括RGB图像和深度图像；/n从所述RGB图像中提取RGB脸部和头发掩膜；/n从所述深度图像中提取深度脸部和头发掩膜；/n基于所述RGB脸部和头发掩膜对所述RGB图像进行过滤，得到RGB脸部区域和RGB头发区域，以及基于所述深度脸部和头发掩膜对所述深度图像进行过滤，得到深度脸部区域和深度头发区域。/n

【技术特征摘要】
1.一种图像预处理方法，包括：
获取人脸的RGBD图像，其中，所述RGBD图像包括RGB图像和深度图像；
从所述RGB图像中提取RGB脸部和头发掩膜；
从所述深度图像中提取深度脸部和头发掩膜；
基于所述RGB脸部和头发掩膜对所述RGB图像进行过滤，得到RGB脸部区域和RGB头发区域，以及基于所述深度脸部和头发掩膜对所述深度图像进行过滤，得到深度脸部区域和深度头发区域。


2.根据权利要求1所述的方法，其中，所述从所述RGB图像中提取RGB脸部和头发掩膜，包括：
将所述RGB图像输入至预先训练的深度学习分割网络，得到所述RGB脸部和头发掩膜。


3.根据权利要求2所述的方法，其中，所述深度学习分割网络通过如下步骤训练得到：
获取样本RGB图像，其中，所述样本RGB图像存在人脸；
对所述样本RGB图像中的脸部和头发进行像素级标注，得到样本标注RGB图像；
基于所述样本标注RGB图像，生成样本RGB脸部和头发掩膜；
将所述样本RGB图像作为输入，将所述样本RGB脸部和/头发掩膜作为输出，训练得到所述深度学习分割网络。


4.根据权利要求2所述的方法，其中，所述从所述深度图像中提取深度脸部和头发掩膜，包括：
计算所述深度图像的深度直方图；
查找所述深度直方图的高峰；
在所述深度直方图中，从所述高峰处向前后两个方向前进，直至深度值小于预设阈值时停止，以及在停止处进行截断；
基于所述深度直方图中截断得到的部分，生成所述深度脸部和头发掩膜。


5.根据权利要求4所述的方法，其中，在所述查找所述深度直方图的高峰之前，还包括：
对所述深度直方图进行直方图平滑。


6.根据权利要求4所述的方法，其中，在所述基于所述RGB脸部和头发掩膜对所述RGB图像进行过滤，得到RGB脸部区域和RGB头发区域，以及基于所述深度脸部和头发掩膜对所述深度图像进行过滤，得到深度脸部区域和深度头发区域之前，还包括：
对所述RGB脸部和头发掩膜、所述深度脸部和头发掩膜中的至少一项做形态学处理，其中，所述形态学处理包括以下至少一项：形态学腐蚀、形态学膨胀、形态学开与形态学闭处理。


7.根据权利要求1所述的方法，其中，所述方法还包括：
将所述深度头发区域通过非零均值滤波器，对所述非零均值滤波器的滤波核内的像素统计非零均值，以及利用所述非零均值替代所述滤波核内的像素。


8.根据权利要求7所述的方法，其中，所述方法还包括：
对所述深度脸部区域做形态学处理。


9.根据权利要求1-8之一所述的方法，其中，所述方法还包括：
基于所述RGB脸部区域、所述RGB头发区域、所述深度脸部区域和所述深度头发区域进行人脸三维重建，得到人脸的三维模型。


10.一种图像预处理装置，包括：
获取模块，被配置成获取人脸的RGBD图像，其中，所述RGBD图像包括RGB图像和深度图像；
第一提取模块，被配置成从所述RGB图像中提取RGB脸部和头发掩膜；
第二提取模块，被配置...

【专利技术属性】
技术研发人员：梁柏荣，洪智滨，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：北京;11