一种面部痤疮的检测方法及设备技术

本申请公开了一种面部痤疮的检测方法及设备，涉及图像处理领域。能够检测出用户面部皮肤中的痤疮和痘印，能对痤疮进行分类。对包括人脸面部皮肤的第一图像进行检测，获取人脸面部皮肤的轮廓和特征点的位置；根据检测结果获取第一图像的人脸面部皮肤ROI的二值化掩膜；根据第一图像和该二值化掩膜获取第一通道图像的人脸面部皮肤ROI图像，即第二图像，第一通道能够反映痤疮和痘印；获取第二图像的二值化掩膜，并提取人脸面部皮肤中所有痤疮和/或痘印的连通域及对应的外接矩形框；根据外接矩形框从第一图像中获取待检测图像块；根据神经网络模型对待检测图像块进行检测，确定人脸面部皮肤中不同类型的痤疮和痘印，并在第一图像中标记。

【技术实现步骤摘要】
一种面部痤疮的检测方法及设备
本申请涉及图像处理领域，尤其涉及一种面部痤疮的检测方法及设备。
技术介绍
随着移动互联网的发展以及人们生活水平的提升，手机等电子设备已成为人们日常生活和工作中的必需品。通过在手机中安装应用程序(application，APP，以下简称为应用)，可以完善手机功能，为用户提供更丰富的使用体验。例如，通过在手机中安装肌肤检测类的应用，可以辅助用户检测面部皮肤的细纹、毛孔、黑头、红区、痤疮、色斑、肌龄、法令纹、黑眼圈等项，并根据检测结果对用户的面部皮肤进行科学评价并给出护理建议。另外，根据对面部皮肤问题的市场调研结果，大多数用户对痤疮这一项较为关注。但目前现有检测痤疮和痘印的应用较少，并且未能提供一个较高的检测稳定性和准确率。
技术实现思路
本申请实施例提供一种面部痤疮的检测方法及设备，能够较准确，较稳定地检测出用户面部皮肤中的痤疮和痘印，并能对痤疮进行分类。为了达到上述目的，本申请实施例采用如下技术方案：第一方面，本申请实施例提供一种面部痤疮的检测方法，该方法可以包括：电子设备获取包括人脸面部皮肤图像的第一图像；对该第一图像进行检测，获取人脸面部皮肤的轮廓和特征点的位置；根据人脸面部皮肤的轮廓和特征点的位置，获取第一图像的人脸面部皮肤ROI的二值化掩膜；根据第一图像和第一图像的人脸面部皮肤ROI的二值化掩膜，获取第二图像，该第二图像是第一图像的第一通道图像的人脸面部皮肤ROI图像，该第一通道是能够反映痤疮和痘印的颜色通道；电子设备获取第二图像的二值化掩膜，根据第二图像的二值化掩膜，提取人脸面部皮肤中所有痤疮和/或痘印的连通域，并获取与每个连通域对应的外接矩形框，根据每个外接矩形框，获取第一图像中与每个外接矩形框对应的待检测图像块；电子设备根据神经网络模型，对每个待检测图像块进行检测，确定与每个待检测图像块对应人脸面部皮肤位置处的皮肤类型；其中，皮肤类型可以包括痤疮、痘印和皮肤，并在待检测图像块对应人脸面部皮肤位置处的皮肤类型为痤疮时，确定痤疮的类型；在第一图像中待检测图像块对应人脸面部皮肤位置处是痤疮或痘印的区域分别标记检测到的皮肤类型。本申请实施例提供的面部痤疮的检测方法，通过对包括人脸面部皮肤的第一图像进行检测，以获得人脸面部皮肤的轮廓和特征点的位置。根据人脸面部皮肤的轮廓和特征点的位置，获取第一图像的人脸面部皮肤ROI的二值化掩膜。根据第一图像和该二值化掩膜获取第一图像的第一通道图像的人脸面部皮肤ROI图像，即获得第二图像，第一通道是能够反映痤疮和痘印的颜色通道。获取第二图像的二值化掩膜，并根据第二图像的二值化掩膜提取人脸面部皮肤中所有痤疮和/或痘印的连通域及对应的外接矩形框。根据外接矩形框从第一图像中获取待检测图像块。根据神经网络模型对待检测图像块进行检测，确定人脸面部皮肤中不同类型的痤疮和痘印，并在第一图像中标记。实现了人脸面部皮肤中痤疮和痘印较准确，较稳定地检测、分类和标记，使得电子设备更加智能，提高了用户体验。并且，预先剔除了面部大部分正常皮肤，仅对提取出的能够反映痤疮和痘印的颜色通道图像的人脸面部皮肤ROI进行痤疮和/或痘印的检测和分类，极大节省了计算复杂度，实现了面部痤疮的快速检测。在一种可能的实现方式中，该方法还可以包括：电子设备获取人脸面部皮肤中所有痤疮的大小和严重程度，以及所有痘印的大小和严重程度，根据所有痤疮的类型，大小和严重程度以及所有痘印的大小和严重程度确定人脸面部皮肤痤疮严重程度的量化评分。这样，通过根据人脸面部皮肤的痤疮和痘印的检测及分类结果，实现了对用户人脸面部皮肤痤疮严重程度的量化评分。用户可以通过多次检测，利用得到的多个量化评分，得到面部痤疮严重程度的变化趋势。通过快速呈现，痤疮类型的分类，以及动态大小的标记框呈现，具有一定的可发现性。在另一种可能的实现方式中，上述电子设备根据所有痤疮的类型，大小和严重程度以及所有痘印的大小和严重程度确定人脸面部皮肤痤疮严重程度的量化评分，可以包括：电子设备根据确定量化评分。利用该公式实现了面部皮肤痤疮严重程度的量化评分。其中，score表示量化评分，W为权重系数矩阵，m表示不同痤疮类型或痘印，n表示痤疮和痘印的大小以及严重程度，xt为痘印或痤疮的类型，b为常数。在另一种可能的实现方式中，上述电子设备根据人脸面部皮肤的轮廓和特征点的位置，获取第一图像的人脸面部皮肤ROI的二值化掩膜，可以包括：电子设备根据人脸面部皮肤的轮廓，获取第一图像的人脸面部皮肤的二值化掩膜；在第一图像的人脸面部皮肤的二值化掩膜中，人脸面部皮肤的轮廓内的像素点的像素值为第一值，人脸面部皮肤的轮廓外的像素点的像素值为第二值；将第一图像的人脸面部皮肤的二值化掩膜中、人脸面部皮肤的特征点的位置对应区域内像素点的像素值置为第二值，以获得第一图像的人脸面部皮肤ROI的二值化掩膜，人脸面部皮肤的特征点包括：眉毛、眼睛、鼻子、嘴唇和面部外周轮廓。根据人脸面部的特征确定出了人脸面部皮肤ROI的二值化掩膜。在另一种可能的实现方式中，上述电子设备根据第一图像和第一图像的人脸面部皮肤ROI的二值化掩膜，获取第二图像，可以包括：电子设备将第一图像的颜色模型由RGB颜色模型转换为Lab颜色模型，并获取第一图像的第一通道图像，Lab颜色模型包括：L通道，a通道和b通道，第一通道为a通道；根据第一图像的a通道图像和第一图像的人脸面部皮肤ROI的二值化掩膜，获取第二图像。根据确定的人脸面部皮肤ROI的二值化掩膜，提取出了能够反映痤疮和痘印的颜色通道图像的人脸面部皮肤ROI，以便进行痤疮和/或痘印的检测和分类，为面部痤疮的快速检测做好准备。在另一种可能的实现方式中，上述电子设备根据第一图像和第一图像的人脸面部皮肤ROI的二值化掩膜，获取第二图像，可以包括：电子设备将第一图像的颜色模型由RGB颜色模型转换为Ycbcr颜色模型，并获取第一图像的第一通道图像，Ycbcr颜色模型包括：Y通道，cb通道和cr通道，第一通道为cr通道；根据第一图像的cr通道图像和第一图像的人脸面部皮肤ROI的二值化掩膜，获取第二图像。根据确定的人脸面部皮肤ROI的二值化掩膜，提取出了能够反映痤疮和痘印的颜色通道图像的人脸面部皮肤ROI，以便进行痤疮和/或痘印的检测和分类，为面部痤疮的快速检测做好准备。在另一种可能的实现方式中，在上述电子设备获取第二图像的二值化掩膜之后，该方法还可以包括：电子设备去除第二图像的二值化掩膜中的噪声点；上述电子设备根据第二图像的二值化掩膜，提取人脸面部皮肤中痤疮和/或痘印的连通域，并获取与每个连通域对应的外接矩形框，可以包括：电子设备根据去除噪声点后的第二图像的二值化掩膜，提取人脸面部皮肤中痤疮和/或痘印的连通域，并获取与每个连通域对应的外接矩形框。通过去除第二图像的二值化掩膜的噪声点，对待检测的二值化掩膜进行优化调整，进一步节省了计算复杂度，实现面部痤疮的快速检测。在另一种可能的实现方式中，在上述获取与每个连通域对应的外接矩形框之后，该方法还可以包括：电子设备调整外接矩形框的宽度和/或高度。通过调整外接矩形本文档来自技高网...

【技术保护点】
1.一种面部痤疮的检测方法，其特征在于，包括：/n电子设备获取第一图像，所述第一图像包括人脸面部皮肤的图像；/n所述电子设备对所述第一图像进行检测，获取人脸面部皮肤的轮廓和特征点的位置；/n所述电子设备根据所述人脸面部皮肤的轮廓和特征点的位置，获取所述第一图像的人脸面部皮肤感兴趣区域ROI的二值化掩膜；/n所述电子设备根据所述第一图像和所述第一图像的人脸面部皮肤ROI的二值化掩膜，获取第二图像，所述第二图像是所述第一图像的第一通道图像的人脸面部皮肤ROI图像，所述第一通道是能够反映痤疮和痘印的颜色通道；/n所述电子设备获取所述第二图像的二值化掩膜；/n所述电子设备根据所述第二图像的二值化掩膜，提取人脸面部皮肤中所有痤疮和/或痘印的连通域，并获取与每个连通域对应的外接矩形框；/n所述电子设备根据每个外接矩形框，获取所述第一图像中与每个外接矩形框对应的待检测图像块；/n所述电子设备根据神经网络模型，对每个待检测图像块进行检测，确定与每个待检测图像块对应人脸面部皮肤位置处的皮肤类型，所述皮肤类型包括痤疮、痘印和皮肤，并在待检测图像块对应人脸面部皮肤位置处的皮肤类型为痤疮时，确定痤疮的类型；/n所述电子设备在所述第一图像中待检测图像块对应人脸面部皮肤位置处是痤疮或痘印的区域分别标记检测到的皮肤类型。/n...

【技术特征摘要】
1.一种面部痤疮的检测方法，其特征在于，包括：
电子设备获取第一图像，所述第一图像包括人脸面部皮肤的图像；
所述电子设备对所述第一图像进行检测，获取人脸面部皮肤的轮廓和特征点的位置；
所述电子设备根据所述人脸面部皮肤的轮廓和特征点的位置，获取所述第一图像的人脸面部皮肤感兴趣区域ROI的二值化掩膜；
所述电子设备根据所述第一图像和所述第一图像的人脸面部皮肤ROI的二值化掩膜，获取第二图像，所述第二图像是所述第一图像的第一通道图像的人脸面部皮肤ROI图像，所述第一通道是能够反映痤疮和痘印的颜色通道；
所述电子设备获取所述第二图像的二值化掩膜；
所述电子设备根据所述第二图像的二值化掩膜，提取人脸面部皮肤中所有痤疮和/或痘印的连通域，并获取与每个连通域对应的外接矩形框；
所述电子设备根据每个外接矩形框，获取所述第一图像中与每个外接矩形框对应的待检测图像块；
所述电子设备根据神经网络模型，对每个待检测图像块进行检测，确定与每个待检测图像块对应人脸面部皮肤位置处的皮肤类型，所述皮肤类型包括痤疮、痘印和皮肤，并在待检测图像块对应人脸面部皮肤位置处的皮肤类型为痤疮时，确定痤疮的类型；
所述电子设备在所述第一图像中待检测图像块对应人脸面部皮肤位置处是痤疮或痘印的区域分别标记检测到的皮肤类型。


2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
所述电子设备获取人脸面部皮肤中所有痤疮的大小和严重程度，以及所有痘印的大小和严重程度；
所述电子设备根据所有痤疮的类型，大小和严重程度以及所有痘印的大小和严重程度确定人脸面部皮肤痤疮严重程度的量化评分。


3.根据权利要求2所述的方法，其特征在于，所述电子设备根据所有痤疮的类型，大小和严重程度以及所有痘印的大小和严重程度确定人脸面部皮肤痤疮严重程度的量化评分，包括：
所述电子设备根据确定所述量化评分；
其中，score表示所述量化评分，W为权重系数矩阵，m表示不同痤疮类型或痘印，n表示痤疮和痘印的大小以及严重程度，xt为痘印或痤疮的类型，b为常数。


4.根据权利要求1-3中任一项所述的方法，其特征在于，所述电子设备根据所述人脸面部皮肤的轮廓和特征点的位置，获取所述第一图像的人脸面部皮肤感兴趣区域ROI的二值化掩膜，包括：
所述电子设备根据所述人脸面部皮肤的轮廓，获取所述第一图像的人脸面部皮肤的二值化掩膜；在所述第一图像的人脸面部皮肤的二值化掩膜中，所述人脸面部皮肤的轮廓内的像素点的像素值为第一值，所述人脸面部皮肤的轮廓外的像素点的像素值为第二值；
所述电子设备将所述第一图像的人脸面部皮肤的二值化掩膜中、所述人脸面部皮肤的特征点的位置对应区域内像素点的像素值置为所述第二值，以获得所述第一图像的人脸面部皮肤ROI的二值化掩膜，所述人脸面部皮肤的特征点包括：眉毛、眼睛、鼻子、嘴唇和面部外周轮廓。


5.根据权利要求1-4中任一项所述的方法，其特征在于，所述电子设备根据所述第一图像和所述第一图像的人脸面部皮肤ROI的二值化掩膜，获取第二图像，包括：
所述电子设备将所述第一图像的颜色模型由RGB颜色模型转换为Lab颜色模型，并获取所述第一图像的第一通道图像，所述Lab颜色模型包括：L通道，a通道和b通道，所述第一通道为所述a通道；
所述电子设备根据所述第一图像的a通道图像和所述第一图像的人脸面部皮肤ROI的二值化掩膜，获取所述第二图像。


6.根据权利要求1-4中任一项所述的方法，其特征在于，所述电子设备根据所述第一图像和所述第一图像的人脸面部皮肤ROI的二值化掩膜，获取第二图像，包括：
所述电子设备将所述第一图像的颜色模型由RGB颜色模型转换为Ycbcr颜色模型，并获取所述第一图像的第一通道图像，所述Ycbcr颜色模型包括：Y通道，cb通道和cr通道，所述第一通道为所述cr通道；
所述电子设备根据所述第一图像的cr通道图像和所述第一图像的人脸面部皮肤ROI的二值化掩膜，获取所述第二图像。


7.根据权利要求1-6中任一项所述的方法，其特征在于，在所述电子设备获取所述第二图像的二值化掩膜之后，所述方法还包括：
所述电子设备去除所述第二图像的二值化掩膜中的噪声点；
所述电子设备根据所述第二图像的二值化掩膜，提取人脸面部皮肤中痤疮和/或痘印的连通域，并获取与每个连通域对应的外接矩形框，包括：
所述电子设备根据去除噪声点后的所述第二图像的二值化掩膜，提取人脸面部皮肤中痤疮和/或痘印的连通域，并获取与每个连通域对应的外接矩形框。


8.根据权利要求1-7中任一项所述的方法，其特征在于，在所述获取与每个连通域对应的外接矩形框之后，所述方法还包括：
所述电子设备调整所述外接矩形框的宽度和/或高度。


9.根据权利要求1-8中任一项所述的方法，其特征在于，所述电子设备根据每个外接矩形框，获取所述第一图像中与每个外接矩形框对应的待检测图像块，包括：
所述电子设备根据每个外接矩形框，从所述第一图像中截取与每个外接矩形框一一对应的图像块；
所述电子设备将与每个外接矩形框一一对应的图像块的像素值调整为预设像素值，调整像素值后的图像块为所述待检测图像块。


10.一种电子设备，其特征在于，所述电子设备包括：处理器和存储器；所述处理器和所述存储器耦合，所述存储器用于存储计算机程序代码，所述计算机程序代码包括计算机指令，当所述计算机指令...

【专利技术属性】
技术研发人员：黄伟，董辰，郜文美，卢曰万，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：广东;44