人脸图像处理方法及装置制造方法及图纸

本公开提供了一种人脸图像处理方法及装置，该方法包括：获取多幅人脸图像，所述多幅人脸图像包括至少一个人的不同角度人脸图像；对所述多幅人脸图像进行聚类，得到多个人脸图像组；以及根据用户输入和/或预设规则去除至少一个人脸图像组中的部分人脸图像，使得所述至少一个人脸图像组中每个人脸图像组中的各幅人脸图像对应于同一人。利用本公开提供的方案可以获取多个人脸图像组，其中，一个人脸图像组中的多个不同角度人脸图像对应一个人，以便于利用人脸图像组训练可以对不同角度人脸图像进行识别的人脸识别模型。

Face image processing method and device

The present disclosure provides a face image processing method and device, the method includes: obtaining a plurality of face images, the plurality of face images including different angle face images of at least one person; clustering the plurality of face images to obtain a plurality of face image groups; and removing part of face images in at least one face image group according to user input and / or preset rules For example, each face image in each face image group of at least one face image group corresponds to the same person. A plurality of face image groups can be obtained by using the scheme provided by the present disclosure, wherein a plurality of face images of different angles in a face image group correspond to a person, so as to train a face recognition model which can recognize face images of different angles by using the face image group.

【技术实现步骤摘要】
人脸图像处理方法及装置
本公开涉及计算机
，更具体地，涉及一种用于人脸图像处理方法及装置。
技术介绍
在线下无人零售，智慧零售的场景中要实现顾客刷脸支付的刷脸认证，其技术基础是对于顾客人脸的高精度识别和检测。在上述场景中，人脸信息一般是通过布设于店内的监控摄像头进行采集，不同于实验环境中拍摄到的标准人脸数据，例如：证件照，具有如下特点：正脸、无俯角、背景单一、五官清晰、无遮挡等，然而，上述开放环境中监控摄像头中拍摄到的人脸图像往往是异常复杂的，远远达不到证件照的标准。现有的人脸识别算法，其训练数据集一般为标准的人脸识别数据集。这些数据集中，人脸拍摄场景相对于监控摄像头拍摄的场景过于简单，导致无法覆盖监控拍到的多角度的人脸图像的情形。这就造成直接利用标准的人脸识别数据集训练好的模型对监控摄像头拍摄的人脸图像进行识别的识别精度很低。在实现本公开构思的过程中，专利技术人发现现有技术中至少存在如下问题：智慧零售等场景中，被采集到的用户的人脸图像存在各种角度，利用现有的标准的人脸识别数据集训练好的模型对监控摄像头拍摄的人脸图像进行识别的识别精度很低。
技术实现思路
有鉴于此，本公开提供了一种人脸图像处理方法及装置，以解决现有技术利用标准的人脸识别数据集训练的模型，对存在多角度的人脸图像识别的场景中的识别精度低的问题。本公开的一个方面提供了一种用于人脸图像处理方法，包括：首先获取多幅人脸图像，为了得到每个人的多幅不同角度的人脸图像，要求所述多幅人脸图像包括至少一个人的不同角度人脸图像；然后对得到的所述多幅人脸图像进行聚类，即可得到多个人脸图像组，由于每个人具有自身特殊的面部特征，因此，聚类结果可以使得每个人的不同角度人脸图像经过聚类后，被聚在同一个人脸图像组中，这样实际上就实现了自动对所述多幅人脸图像进标注的功能，例如，人脸图像组1及人脸图像组1对应的多个不同角度的人脸图像。此外，在得到所述多个人脸图像组之后，根据用户输入和/或预设规则，去除至少一个人脸图像组中的部分人脸图像，使得所述至少一个人脸图像组中每个人脸图像组中的各幅人脸图像对应于同一人，以修正错误的聚类结果，提升数据标注的准确度。根据本公开的实施例，所述获取多幅人脸图像可以包括以下操作：获取视频，视频可以为人脸识别环境中的摄像头所采集的视频；以及以帧为单位获取所述视频中的人脸图像，由于人在视频中往往是活动的，因此，被拍摄的多帧图像中往往包含着该人的不同角度的人脸图像。具体地，所述以帧为单位获取所述视频中的人脸图像可以包括以下操作：根据经验、实验效果等，以逐帧或者间隔设定个数帧获取所述视频的视频帧，以使得视频帧中包含有高质量的同一人的不同角度的人脸图像；然后获取所述视频帧的人脸图像以获得高质量的同一人的不同角度的人脸图像。根据本公开的实施例，所述方法还可以包括如下操作：在得到所述多个人脸图像组之后，分别获取至少一个人脸图像组的组中心，然后将所述组中心作为对应人脸图像组的标识，这样可以实现利用人类图像组的组中心对人脸图像组进行标注，即每个人脸图像组的标注信息可以为该人脸图像组的组中心，例如，人脸图像组包括：组中心及该组中心对应的多个不同角度的人脸图像。根据本公开的实施例，所述至少一个人脸图像组的组中心可以通过以下方案获取，例如，包括以下操作：对于所述至少一个人脸图像组中的每个人脸图像组：首先分别计算该人脸图像组中每个人脸图像与其他人脸图像的距离，然后将距离该人脸图像组中其他人脸图像的距离之和最小的人脸图像作为组中心。根据本公开的实施例，所述方法还可以包括如下操作：在得到所述组中心之后，对于该人脸图像组，分别计算该人脸图像组中每个人脸图像相对于所述组中心的旋转角度；然后利用得到的旋转角度对相应人脸图像进行角度标注。也就是说，本实施例中的人脸图像组还可以包括旋转角度的标注信息，该标注信息可以应用在需要旋转角度标注信息的场景中。根据本公开的实施例，还提供了计算旋转角度的具体方案，具体地，可以包括如下操作，对于所述每个人脸图像：首先获取该人脸图像的指定个数的关键点，以及获取所述组中心的指定个数的关键点，然后获取该人脸图像的关键点之间的位置关系，以及获取所述组中心的关键点之间的位置关系，接着根据该人脸图像的关键点之间的位置关系和所述组中心的关键点之间的位置关系，确定该人脸图像相对于组中心的旋转角度。根据本公开的实施例，所述方法还可以包括如下操作：对于该人脸图像组，根据人脸图像与所述组中心的旋转角度和/或距离对人脸图像组中的人脸图像进行排序；以及展示排序后的人脸图像。根据本公开的实施例，所述方法还可以包括如下操作，在得到多个人脸图像组之后，利用所述多个人脸图像组训练人脸识别模型，具体地，在得到所述多个人脸图像组之后，将人脸图像组对应的不同角度的人脸图像的人脸特征、及所属人脸图像组输入所述第一人脸识别模型进行训练，得到模型参数数值。相应地，本公开的另一个方面提供了一种人脸图像处理装置，可以包括如下模块：获取模块，用于获取多幅人脸图像，所述多幅人脸图像包括至少一个人的不同角度人脸图像；聚类模块，用于对所述多幅人脸图像进行聚类，得到多个人脸图像组；以及修正模块，用于根据用户输入和/或预设规则去除至少一个人脸图像组中的部分人脸图像，使得所述至少一个人脸图像组中每个人脸图像组中的各幅人脸图像对应于同一人。根据本公开的实施例，所述获取模块可以包括如下单元：视频获取单元，用于获取视频；视频帧获取单元，用于逐帧或者间隔设定个数帧获取所述视频的视频帧；以及人脸图像获取单元，用于获取所述视频帧的人脸图像。根据本公开的实施例，所述装置还可以包括如下模块：与所述聚类模块相连的组中心获取模块、以及标识模块，其中，所述组中心获取模块用于分别获取至少一个人脸图像组的组中心；所述标识模块用于将所述类组中心作为对应人脸图像组的标识。根据本公开的实施例，所述组中心获取模块可以包括如下单元：距离计算单元以及中心获取单元，其中，所述距离计算单元用于对于所述至少一个人脸图像组中的每个人脸图像组，分别计算该人脸图像组中每个人脸图像与其他人脸图像的距离；所述中心获取单元用于将距离该人脸图像组中其他人脸图像的距离之和最小的人脸图像作为组中心。根据本公开的实施例，所述装置还可以包括如下模块：与所述组中心获取模块相连的旋转角度计算模块，以及角度标注模块。其中，所述旋转角度计算模块用于对于该人脸图像组，分别计算该人脸图像组中每个人脸图像相对于所述组中心的旋转角度；所述角度标注模块，用于利用得到的旋转角度对相应人脸图像进行角度标注。根据本公开的实施例，所述旋转角度计算模块可以包括如下单元：关键点获取单元、位置关系获取单元和旋转角度计算单元，其中，所述关键点获取单元用于对于所述每个人脸图像，获取该人脸图像的指定个数的关键点，以及获取所述组中心的指定个数的关键点；所述位置关系获取单元用于获取该人脸图像的关键点之间的位置关系，以及获取所述组中心的关键点之间的位置关系；所述旋转角度计本文档来自技高网...

【技术保护点】
1.一种人脸图像处理方法，包括：/n获取多幅人脸图像，所述多幅人脸图像包括至少一个人的不同角度人脸图像；/n对所述多幅人脸图像进行聚类，得到多个人脸图像组/n根据用户输入和/或预设规则去除至少一个人脸图像组中的部分人脸图像，使得所述至少一个人脸图像组中每个人脸图像组中的各幅人脸图像对应于同一人。/n

【技术特征摘要】
1.一种人脸图像处理方法，包括：
获取多幅人脸图像，所述多幅人脸图像包括至少一个人的不同角度人脸图像；
对所述多幅人脸图像进行聚类，得到多个人脸图像组
根据用户输入和/或预设规则去除至少一个人脸图像组中的部分人脸图像，使得所述至少一个人脸图像组中每个人脸图像组中的各幅人脸图像对应于同一人。


2.根据权利要求1所述的方法，其中，所述获取多幅人脸图像包括：
获取视频；
逐帧或者间隔设定个数帧获取所述视频的视频帧；
获取所述视频帧的人脸图像。


3.根据权利要求1所述的方法，还包括，在得到所述多个人脸图像组之后：
分别获取至少一个人脸图像组的组中心；
将所述组中心作为对应人脸图像组的标识。


4.根据权利要求3所述的方法，其中，所述分别获取至少一个人脸图像组的组中心包括，对于所述至少一个人脸图像组中的每个人脸图像组：
分别计算该人脸图像组中每个人脸图像与其他人脸图像的距离；
将距离该人脸图像组中其他人脸图像的距离之和最小的人脸图像作为组中心。


5.根据权利要求3所述的方法，还包括，在得到所述组中心之后：
对于该人脸图像组，分别计算该人脸图像组中每个人脸图像相对于所述组中心的旋转角度；
利用得到的旋转角度对相应人脸图像进行角度标注。


6.根据权利要求5所述的方法，其中，所述计算该人脸图像组中每个人脸图像相对于组中心的旋转角度包括，对于所述每个人脸图像：
获取该人脸图像的指定个数的关键点，以及获取所述组中心的指定个数的关键点；
获取该人脸图像的关键点之间的位置关系，以及获取所述组中心的关键点之间的位置关系；
根据该人脸图像的关键点之间的位置关系和所述组中心的关键点之间的位置关系，确定该人脸图像相对于组中心的旋转角度。


7.根据权利要求5所述的方法，还包括：
对于该人脸图像组，根据人脸图像与所述组中心的旋转角度和/或距离对人脸图像组中的人脸图像进行排序；以及
展示排序后的人脸图像。


8.根据权利要求1～7任一项所述的方法，还包括在得到多个人脸图像组之后，利用所述多个人脸图像组训练人脸识别模型。


9.一种人脸图像处理装置，包括：
获取模块，用于获取多幅人脸图像，所述多幅人脸图像包括至少一个人的不同角度人脸图像；
聚类模块，用于对所述多幅人脸图像进行聚类，得到多个人脸图像组；
修正模块，用于根据用户输入和/或预设规则去除至少一个人脸图像组中的部分人脸图像，使得所述至少一个人脸图像组...

【专利技术属性】
技术研发人员：张洪光，张伟华，吴江旭，彭刚林，武跃峰，雍兴辉，李凡，
申请(专利权)人：北京京东尚科信息技术有限公司，北京京东世纪贸易有限公司，
类型：发明
国别省市：北京;11