一种基于场景的人脸画像、目光计数方法及系统技术方案

本发明专利技术提供了一种基于场景的人脸画像、目光计数方法及系统，所述基于场景的人脸画像方法包括：获取摄像头拍摄的指定物体的图像；对图像进行预处理，得到与预先建立的深度学习模型的输入适配的数据；将数据输入预先训练好的深度学习模型，同时输出人脸位置、多个人脸关键点的位置及人的社会属性分类结果。所述基于场景的目光技术方法，能够基于深度学习模型获取目光计数，由此获取人对指定物体的感兴趣程度。本发明专利技术的方法对于距离实际场景中某物体一定范围内的人群，能够有效判断出每一个人对于该物体的感兴趣程度，以及这个人的年龄、性别等社会属性，并将实际场景中客户画像与感兴趣程度相结合，为后续的信息推荐提供客观有效的数据基础。

A scene based face portrait and eye counting method and system

The invention provides a scene-based face portrait and eye counting method and system, the scene-based face portrait method includes: obtaining the image of the designated object photographed by the camera; preprocessing the image to obtain the input data matching with the pre-established depth learning model; inputting the data into the pre-trained depth learning model and outputting the face at the same time Location, location of key points of multiple faces, and social attribute classification results. The scene-based vision technology method can obtain the eye count based on the deep learning model, thereby obtaining the degree of interest of the person to the designated object. The method of the invention can effectively judge the degree of interest of each person for an object within a certain range from the actual scene, as well as the social attributes such as the age and gender of the person, and combine the customer portrait and the degree of interest in the actual scene, so as to provide an objective and effective data base for subsequent information recommendation.

【技术实现步骤摘要】
一种基于场景的人脸画像、目光计数方法及系统
本专利技术涉及图像处理领域，具体涉及一种基于场景的人脸画像、目光计数方法及系统。
技术介绍
客户画像是指根据收集的客户信息，包括客户的基本社会属性，客户生活习惯和消费水平等信息，而刻画出来的具有多种标签的客户“外貌”，也即客户模型。它在现实生活中的各个领域有着广泛的应用，例如精准营销，即通过对这些行为数据的分析，企业可以对用户形成有效的洞察，能根据用户之前的行为，对其未来的行为和决策进行预判。因为现实场景的多样性，目光计数方法很容易受光照、视角、距离、人脸遮挡图像运动模糊等因素的影响，因此在实际场景中的目光计数问题是一个很有研究意义的问题；另外由于客户画像数据对于场景的特殊要求，目前客户画像数据更多是基于互联网和移动端的获取，而针对实际场景下的用户画像获取依然是一个待解决的问题。
技术实现思路
本专利技术的目的在于克服上述技术缺陷，提供一种实际场景下的人脸画像方法，利用深度学习、图像理解、三维建模技术，能够在实际场景中对人在某个现实物体的目光停留时间和对应人的画像进行分析，并且针对某个指定的物体，通过目光计数的方式计算每一个人在物体上的目光停留时间，最终估计出不同客户画像的人对于指定物体的感兴趣程度，从而分析出人对于该物体的感兴趣程度以及人的年龄、性别等社会属性。为了实现上述目的，本专利技术提出了一种基于场景的人脸画像方法，所述方法包括：获取摄像头拍摄的指定物体的图像；对图像进行预处理，得到与预先建立的深度学习模型的输入适配的数据；将数据输入预先训练好的深度学习模型，同时输出人脸位置、多个人脸关键点的位置及人的社会属性分类结果。作为上述方法的一种改进，所述深度学习模型的建立和训练步骤具体包括：建立深度学习模型，所述深度学习模型包括四个级联的卷积神经网络：第一级卷积神经网络、第二级卷积神经网络、第三级卷积神经网络和第四级卷积神经网络；所述第四级卷积神经网络为多任务神经网络；基于现实场景获取的大量数据，通过深度学习的训练方法对所述深度学习模型进行训练，得到训练好的深度学习模型。作为上述方法的一种改进，所述将数据输入预先训练好的深度学习模型，同时输出人脸位置、多个人脸关键点的位置及人的社会属性分类结果，具体包括：将数据输入第一级卷积神经网络，输出多个候选区域；将多个候选区域输入第二级卷积神经网络，从多个候选区域中筛除非人脸候选区域，输出剩余的候选区域；将剩余的候选区域输入第三级卷积神经网络，从剩余的候选区域再次筛除非人脸候选区域，得到最终的候选区域和多个人脸关键点；将最终的候选区域和多个人脸关键点输入第四级卷积神经网络，确定脸部区域，同时输出人脸位置、多个人脸关键点的位置及人的社会属性分类结果。作为上述方法的一种改进，所述人脸关键点包括：两个眼睛、鼻子、两个嘴角边缘点和颧骨；所述人脸关键点的个数不小于4。作为上述方法的一种改进，所述社会属性为年龄和性别。本专利技术提供了一种基于场景的人脸画像系统，所述系统包括：图像预处理模块，对摄像头采集的图像进行预处理，得到与预先建立的深度学习模型的输入适配的数据；候选框提取模块，用于将数据输入第一级卷积神经网络，产生多个候选区域；人脸初筛模块，用于将多个候选区域输入第二级卷积神经网络，从多个候选区域中筛除大多数的非人脸候选区域，输出剩余的候选区域；人脸精筛模块，将剩余的候选区域输入第三级卷积神经网络，从剩余的候选区域再次筛除非人脸候选区域，得到最终的候选区域和多个人脸关键点；和分类模块，用于将最终的候选区域和多个人脸关键点输入第四级卷积神经网络，确定脸部区域，同时输出人脸位置、多个人脸关键点的位置及脸部区域的分类结果。本专利技术提供了一种基于场景的目光计数方法，基于上述的基于场景的人脸画像方法实现，所述方法包括：获取摄像头拍摄的指定物体的图像；基于所述深度学习模型从图像中判断人的目光关注点是否在指定物体上；统计目光在指定物体上的停留时间，从而实现目光计数，获取人对指定物体感兴趣的程度。作为上述方法的一种改进，当所述摄像头为彩色摄像头时，所述基于所述深度学习模型从图像中判断人的目光关注点是否在指定物体上，具体包括：步骤101)通过深度学习模型获取图像中的人脸位置，以及人脸关键点在人脸位置中的多个坐标；步骤102)以人的两眼中心作为坐标原点，右眼方向为x轴正方向，鼻子所在方向为y轴负方向，建立人脸平面坐标系，然后通过现实场景数据统计获取现实中人脸关键点在人脸平面坐标系内的平均位置关系；步骤103)通过离线标定工具包对彩色相机进行标定，得到相机内参矩阵K；步骤104)使用现实中世界坐标系下人脸的平均位置关系以及相机坐标系下人脸关键点对应的多个坐标，计算世界坐标系下人脸所在平面到相机坐标系人脸所在平面的投影映射，得到单应矩阵H；步骤105)通过平面间的单应矩阵和相机内参矩阵K，获取现实中人脸平面相对于指定物体所在平面的旋转矩阵R和平移矩阵T，得到人脸朝向，设定经过双眼中心的法线方向为人眼注视方向；步骤106)计算人眼注视方向与指定物体的交点，通过判断该交点是否在指定物体内来确定人眼是否在看指定物体。作为上述方法的一种改进，当所述摄像头为深度摄像头时，所述从图像中判断人的目光关注点是否在指定物体上，具体包括：步骤201)通过深度学习模型获取图像中的人脸位置，以及人眼、嘴部中心点的位置信息；步骤202)通过信息转换获取现实场景中对应点的位置，即每一张人眼、嘴部中心点与深度摄像头的相对空间位置；判断如果该中心点位置为原本初始化值0，转入步骤203)；否则，转入步骤204)；步骤203)用周围邻域像素点进行补充；如果补充后依然为0，则判定为深度相机未探寻到人脸位置；步骤204)根据人眼、嘴部中心点的空间坐标计算人脸平面及法线朝向，然后设定经过双眼中心的法线方向为人脸朝向；步骤205)计算人脸朝向与指定物体的交点，通过判断该交点是否在指定物体内来确定人眼是否在看指定物体。作为上述方法的一种改进，所述统计目光在指定物体上停留的时间，具体过程为：统计目光停留在指定物体的视频帧数，将视频帧数除以帧率得到在指定物体上的停留时间。作为上述方法的一种改进，所述方法还包括：将人对指定物体感兴趣的程度与其社会属性的分类结果进行关联，在人的感兴趣区域推荐相关信息。本专利技术提供了一种基于场景的目光计数系统，所述系统包括：图像采集模块，用于获取摄像头拍摄的指定物体的图像；判断模块，用于从图像中判断人的目光关注点是否在指定物体上；目光计数模块，用于统计目光在指定物体上的停留时间，从而实现目光计数，获取人对指定物体感兴趣的程度。作为上述系统的一种改进，所述系统还包括：关联模块，用于将人对指定物体感兴趣的程度与其社会属性的分类结果进行关联，在人的感兴趣区域推荐相关信息本文档来自技高网...

【技术保护点】
1.一种基于场景的人脸画像方法，所述方法包括：/n获取摄像头拍摄的指定物体的图像；/n对图像进行预处理，得到与预先建立的深度学习模型的输入适配的数据；/n将数据输入预先训练好的深度学习模型，同时输出人脸位置、多个人脸关键点的位置及人的社会属性分类结果。/n

【技术特征摘要】
1.一种基于场景的人脸画像方法，所述方法包括：
获取摄像头拍摄的指定物体的图像；
对图像进行预处理，得到与预先建立的深度学习模型的输入适配的数据；
将数据输入预先训练好的深度学习模型，同时输出人脸位置、多个人脸关键点的位置及人的社会属性分类结果。


2.根据权利要求1所述的基于场景的人脸画像方法，其特征在于，所述深度学习模型的建立和训练步骤具体包括：
建立深度学习模型，所述深度学习模型包括四个级联的卷积神经网络：第一级卷积神经网络、第二级卷积神经网络、第三级卷积神经网络和第四级卷积神经网络；所述第四级卷积神经网络为多任务神经网络；
基于现实场景获取的大量数据，通过深度学习的训练方法对所述深度学习模型进行训练，得到训练好的深度学习模型。


3.根据权利要求2所述的基于场景的人脸画像方法，其特征在于，所述将数据输入预先训练好的深度学习模型，同时输出人脸位置、多个人脸关键点的位置及人的社会属性分类结果，具体包括：
将数据输入第一级卷积神经网络，输出多个候选区域；
将多个候选区域输入第二级卷积神经网络，从多个候选区域中筛除非人脸候选区域，输出剩余的候选区域；
将剩余的候选区域输入第三级卷积神经网络，从剩余的候选区域再次筛除非人脸候选区域，得到最终的候选区域和多个人脸关键点；
将最终的候选区域和多个人脸关键点输入第四级卷积神经网络，确定脸部区域，同时输出人脸位置、多个人脸关键点的位置及人的社会属性分类结果。


4.根据权利要求1-3之一所述的基于场景的人脸画像方法，其特征在于，所述人脸关键点包括：两个眼睛、鼻子、两个嘴角边缘点和颧骨；所述人脸关键点的个数不小于4。


5.根据权利要求1所述的基于场景的人脸画像方法，其特征在于，所述社会属性为年龄和性别。


6.一种基于场景的人脸画像系统，其特征在于，所述系统包括：
图像预处理模块，对摄像头采集的图像进行预处理，得到与预先建立的深度学习模型的输入适配的数据；
候选框提取模块，用于将数据输入第一级卷积神经网络，产生多个候选区域；
人脸初筛模块，用于将多个候选区域输入第二级卷积神经网络，从多个候选区域中筛除大多数的非人脸候选区域，输出剩余的候选区域；
人脸精筛模块，将剩余的候选区域输入第三级卷积神经网络，从剩余的候选区域再次筛除非人脸候选区域，得到最终的候选区域和多个人脸关键点；和
分类模块，用于将最终的候选区域和多个人脸关键点输入第四级卷积神经网络，确定脸部区域，同时输出人脸位置、多个人脸关键点的位置及脸部区域的分类结果。


7.一种基于场景的目光计数方法，基于权利要求1-5之一所述的基于场景的人脸画像方法实现，所述方法包括：
获取摄像头拍摄的指定物体的图像；
基于所述深度学习模型从图像中判断人的目光关注点是否在指定物体上；
统计目光在指定物体上的停留时间，从而实现目光计数，获取人对指定物体感兴趣的程度。


8.根据权利要求7所述的基于场景的目光计数方...

【专利技术属性】
技术研发人员：杨志明，其他发明人请求不公开姓名，
申请(专利权)人：深思考人工智能机器人科技北京有限公司，
类型：发明
国别省市：北京;11