System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 人脸姿态估计方法、人脸录入方法及装置、设备、介质制造方法及图纸_技高网

人脸姿态估计方法、人脸录入方法及装置、设备、介质制造方法及图纸

技术编号:43546528 阅读:2 留言:0更新日期:2024-12-03 12:27
本公开提供一种人脸姿态估计方法、人脸录入方法及装置、设备、介质。所述方法包括:获取人脸图像中的人脸关键点和所述人脸图像对应的显著性检测结果;基于所述显著性检测结果,选取所述人脸关键点中满足第一显著性筛选条件的目标人脸关键点;确定所述目标人脸关键点在预设三维人脸模型中对应的三维坐标点;基于所述目标人脸关键点对应的三维坐标点,以及拍摄所述人脸图像的相机的内参数,确定所述相机的目标旋转矩阵;基于所述相机的目标旋转矩阵估计所述人脸图像中的人脸姿态。通过该方法,能提升人脸姿态估计的准确性。

【技术实现步骤摘要】

本公开涉及机器学习,尤其涉及一种人脸姿态估计、人脸录入方法及装置、设备、介质。


技术介绍

1、头部姿态(即人脸姿态)在一些场景下可以提供重要的信息,有着广泛的应用前景。例如,在手机锁屏的人脸解锁系统中,录入人脸时可以判断头部偏转角度是否满足录入要求,以确保录入姿态正常的模板图像;解锁人脸时可以排除头部偏转角度过大带来的误解锁问题,以便安全准确解锁;在支付系统和人脸智能门锁的安全验证中,通过点头和摇头的头部姿态来判断用户是否为活体;在智能驾驶系统中,通过头部姿态的偏转可以判断驾驶员是否精力分散或疲劳驾驶;在虚拟现实系统中,通过头部姿态信息可以渲染场景的正确视图。

2、同时,头部姿态估计还可作为人脸识别、虹膜识别、视线估计、表情分析等计算机视觉研究领域的上游任务,对于人脸相关的图像任务发挥着重要作用。如何准确估计人脸姿态一直备受关注。


技术实现思路

1、本公开提供一种人脸姿态估计方法、人脸录入方法及装置、设备、介质

2、根据本公开实施例的第一方面,提供一种人脸姿态估计方法,包括:

3、获取人脸图像中的人脸关键点和所述人脸图像对应的显著性检测结果;基于所述显著性检测结果,选取所述人脸关键点中满足第一显著性筛选条件的目标人脸关键点;

4、确定所述目标人脸关键点在预设三维人脸模型中对应的三维坐标点;

5、基于所述目标人脸关键点对应的三维坐标点,以及拍摄所述人脸图像的相机的内参数,确定所述相机的目标旋转矩阵;

6、基于所述相机的目标旋转矩阵估计所述人脸图像中的人脸姿态。

7、在一些实施例中,所述基于所述显著性检测结果,选取所述人脸关键点中满足第一显著性筛选条件的目标人脸关键点,包括:

8、基于所述显著性检测结果,选取所述人脸关键点中预定关键点之外满足所述第一显著性筛选条件的点,得到第一显著性关键点;

9、将所述预定关键点以及所述第一显著性关键点作为所述目标人脸关键点。

10、在一些实施例中,所述基于所述目标人脸关键点对应的三维坐标点,以及拍摄所述人脸图像的相机的内参数,确定所述相机的目标旋转矩阵,包括:

11、基于所述目标人脸关键点对应的三维坐标点,以及所述相机的内参数,估计所述相机的旋转矩阵;

12、根据所述相机的内参数以及估计的所述相机的旋转矩阵,计算各三维坐标点在二维平面的投影点;

13、确定所述目标人脸关键点,与对应的三维坐标点在二维平面上的投影点之间的差异,并基于所述差异确定投影误差;

14、根据所述投影误差,确定所述相机的目标旋转矩阵。

15、在一些实施例中,所述根据所述投影误差,确定所述相机的目标旋转矩阵,包括:

16、若所述投影误差小于预设误差阈值,将估计的所述相机的旋转矩阵作为所述相机的目标旋转矩阵;

17、若所述投影误差大于或等于所述预设误差阈值,更新所述目标人脸关键点,并基于更新后的目标人脸关键点估计所述相机的旋转矩阵后确定投影误差,直至投影误差小于所述预设误差阈值时得到所述相机的目标旋转矩阵。

18、在一些实施例中,所述更新所述目标人脸关键点,包括:

19、基于所述目标人脸关键点与对应的三维坐标点在二维平面上的投影点之间的差异,选取所述目标人脸关键点中满足预设差异条件的点作为待替换关键点;

20、基于所述显著性分析结果,选取所述人脸关键点中所述目标人脸关键点之外满足第二显著性筛选条件的点作为第二显著性关键点;

21、将所述第二显著性关键点替换所述目标人脸关键中的所述待替换关键点,得到更新后的目标人脸关键点。

22、在一些实施例中,所述确定所述目标人脸关键点,与对应的三维坐标点在二维平面上的投影点之间的差异,并基于所述差异确定投影误差,包括:

23、确定各所述目标人脸关键点,与对应的三维坐标点在二维平面上的投影点之间的欧氏距离;

24、基于各所述目标人脸关键点对应的欧氏距离,确定欧氏距离的平均值,并将所述平均值确定为所述投影误差。

25、在一些实施例中,所述获取人脸图像中的人脸关键点,包括:

26、利用预设人脸关键点检测模型的特征提取层对所述人脸图像进行特征提取,得到人脸特征;

27、利用所述预设人脸关键点检测模型的热力图输出网络对所述人脸特征进行处理,获得下采样后的特征热力图;

28、利用所述预设人脸关键点检测模型的偏移坐标输出网络对所述特征热力图进行处理,得到所述特征热力图的各特征点对应的偏移坐标;

29、基于所述特征热力图以及各所述偏移坐标确定所述人脸图像中的人脸关键点。

30、根据本公开实施例的第二方面,提供一种人脸录入方法,包括:

31、获取目标对象的人脸图像;

32、利用预设人脸姿态估计方法获得所述目标对象的人脸姿态;其中,所述预设人脸姿态估计方法第一方面中任一项的方法;

33、响应于所述人脸姿态满足预设姿态条件,保存所述目标对象的人脸图像;

34、响应于所述人脸姿态不满足所述预设姿态条件,输出提示信息。

35、在一些实施例中,所述响应于所述人脸姿态不满足预设姿态条件,输出提示信息,包括:

36、响应于所述人脸姿态不满足所述预设姿态条件,输出人脸图像不合格的提示信息;

37、和/或,

38、响应于所述人脸姿态不满足所述预设姿态条件,输出为满足所述预设姿态条件对应的人脸姿态调整信息。

39、根据本公开实施例的第三方面,提供一种人脸姿态估计装置,包括:

40、第一获取模块,配置为获取人脸图像中的人脸关键点以及所述人脸图像对应的显著性检测结果;选取模块,配置为基于所述显著性检测结果,选取所述人脸关键点中满足第一显著性筛选条件的目标人脸关键点;

41、第一确定模块,配置为确定所述目标人脸关键点在预设三维人脸模型中对应的三维坐标点;

42、第二确定模块,配置为基于所述目标人脸关键点对应的三维坐标点,以及拍摄所述人脸图像的相机的内参数,确定所述相机的目标旋转矩阵;

43、估计模块,配置为基于所述相机的目标旋转矩阵估计所述人脸图像中的人脸姿态。

44、在一些实施例中,所述选取模块,还配置为基于所述显著性检测结果,选取所述人脸关键点中预定关键点之外满足所述第一显著性筛选条件的点,得到第一显著性关键点;将所述预定关键点以及所述第一显著性关键点作为所述目标人脸关键点。

45、在一些实施例中,所述第二确定模块,配置为基于所述目标人脸关键点对应的三维坐标点,以及所述相机的内参数,估计所述相机的旋转矩阵;根据所述相机的内参数以及估计的所述相机的旋转矩阵,计算各三维坐标点在二维平面的投影点;确定所述目标人脸关键点,与对应的三维坐标点在二维平面上的投影点之间的差异,并基于所述差异确定投本文档来自技高网...

【技术保护点】

1.一种人脸姿态估计方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述基于所述显著性检测结果,选取所述人脸关键点中满足第一显著性筛选条件的目标人脸关键点,包括:

3.根据权利要求1或2所述的方法,其特征在于,所述基于所述目标人脸关键点对应的三维坐标点,以及拍摄所述人脸图像的相机的内参数,确定所述相机的目标旋转矩阵,包括:

4.根据权利要求3所述的方法,其特征在于,所述根据所述投影误差,确定所述相机的目标旋转矩阵,包括:

5.根据权利要求4所述的方法,其特征在于,所述更新所述目标人脸关键点,包括:

6.根据权利要求3所述的方法,其特征在于,所述确定所述目标人脸关键点,与对应的三维坐标点在二维平面上的投影点之间的差异,并基于所述差异确定投影误差,包括:

7.根据权利要求1所述的方法,其特征在于,所述获取人脸图像中的人脸关键点,包括:

8.一种人脸录入方法,其特征在于,所述方法包括:

9.根据权利要求8所述的方法,其特征在于,所述响应于所述人脸姿态不满足预设姿态条件,输出提示信息,包括:

10.一种人脸姿态估计装置,其特征在于,所述装置包括:

11.一种人脸录入装置,其特征在于,所述装置包括:

12.一种电子设备,其特征在于,包括:

13.一种非临时性计算机可读存储介质,其特征在于,当所述存储介质中的指令由电子设备的处理器执行时,使得电子设备能够执行如权利要求1至7中任一项,或权利要求8至9中任一项所述的方法。

...

【技术特征摘要】

1.一种人脸姿态估计方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述基于所述显著性检测结果,选取所述人脸关键点中满足第一显著性筛选条件的目标人脸关键点,包括:

3.根据权利要求1或2所述的方法,其特征在于,所述基于所述目标人脸关键点对应的三维坐标点,以及拍摄所述人脸图像的相机的内参数,确定所述相机的目标旋转矩阵,包括:

4.根据权利要求3所述的方法,其特征在于,所述根据所述投影误差,确定所述相机的目标旋转矩阵,包括:

5.根据权利要求4所述的方法,其特征在于,所述更新所述目标人脸关键点,包括:

6.根据权利要求3所述的方法,其特征在于,所述确定所述目标人脸关键点,与对应的三维坐标点在二维平面上的投影点...

【专利技术属性】
技术研发人员:张丽娜
申请(专利权)人:北京小米移动软件有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1