人体关键点检测方法及相关装置制造方法及图纸

本申请提供一种人体关键点检测方法及相关装置。该方法可适用于配置有有一个或多个摄像头的电子设备。电子设备可以识别摄像头采集的图像中用户的3D关键点。电子设备可以根据上述3D关键点检测用户的姿态是否与预设姿态匹配。利用在用户的姿态与预设姿态匹配时确定出的一组3D关键点，电子设备可以计算这一组3D关键点确定出的人体模型与图像平面之间的夹角。电子设备可以利用该夹角对3D关键点的位置信息进行矫正。该方法可以节约成本，减少图像透视形变对3D关键点的位置信息带来的误差，提高3D关键点的位置信息检测的准确度。3D关键点的位置信息检测的准确度。3D关键点的位置信息检测的准确度。

【技术实现步骤摘要】
人体关键点检测方法及相关装置


[0001]本申请涉及终端
，尤其涉及人体关键点检测方法及相关装置。

技术介绍

[0002]人体关键点检测是诸多计算机视觉任务的基础。通过检测人体的三维(3dimensions，3D)关键点，可以实现姿态检测、动作分类、智能健身、以及体感游戏等等。
[0003]电子设备可以通过摄像头采集图像，并识别图像中人体的二维(2dimensions，2D)关键点。基于2D关键点，电子设备可以利用深度学习等技术估计人体的3D关键点。在上述通过2D关键点估计3D关键点的方法中，由于用户的身高差异、用户与摄像头的距离差异等因素，摄像头采集的图像会存在不同程度的透视形变。图像透视形变会导致检测得到的2D关键点出现误差。那么通过上述2D关键点估计得的3D关键点也会存在误差。
[0004]目前，电子设备可通过多个摄像头来检测用户距离摄像头所在的位置，来确定图像中人物透视形变的程度。进一步的，电子设备可以根据图像中人物透视形变的程度对3D关键点进行矫正。但上述方法需要多个摄像头且需要设计这多个摄像头的摆放位置才能提高检测精度，不仅成本高，而且确定3D关键点的计算复杂度高。

技术实现思路

[0005]本申请提供一种人体关键点检测方法及相关装置。该方法可适用于配置有一个或多个摄像头的电子设备。电子设备可以识别摄像头采集的图像中用户的3D关键点。电子设备可以根据上述3D关键点检测用户的姿态是否与预设姿态匹配。利用在用户的姿态与预设姿态匹配时确定出的一组3D关键点，电子设备可以计算这一组3D关键点确定出的人体模型与图像平面之间的夹角。电子设备可以利用该夹角对3D关键点的位置信息进行矫正。该方法可以节约成本，减少图像透视形变对3D关键点的位置信息带来的误差，提高3D关键点的位置信息检测的准确度。
[0006]第一方面，本申请提供一种人体关键点检测方法，该方法可应用于包含一个或多个摄像头的电子设备。在该方法中，电子设备可以通过摄像头获取第一用户的第一图像。电子设备可以根据第一图像确定第一用户的第一组3D关键点。电子设备可以判断第一组3D关键点中的多个3D关键点是否满足第一条件。若满足第一条件，电子设备可以根据多个3D关键点确定第一补偿角。利用第一补偿角对第一组3D关键点进行旋转矫正。
[0007]结合第一方面，在一些实施例中，若不满足第一条件，电子设备可以利用第二补偿角对第一组3D关键点进行旋转矫正。第二补偿角根据第二组3D关键点确定。第二组3D关键点为在获取第一图像之前最近一组满足第一条件的3D关键点。
[0008]结合第一方面，在一些实施例中，电子设备通过摄像头获取第一用户的第一图像的方法可以为，电子设备可以根据第一多媒体信息确定第一时刻，第一时刻为第一多媒体信息指示用户进行满足第一条件的动作的时刻。电子设备可以通过摄像头在第一时刻开始的第一时间段内，获取第一用户的第一图像。
[0009]上述第一时间段可以是第一多媒体信息指示用户进行满足第一条件的动作的时间段。例如，完成上述满足第一条件的动作需要的时间为1秒。则上述第一时间段为从第一时刻开始的1秒。可选的，上述第一时间段可以是固定时间长度的时间段。
[0010]结合第一方面，在一些实施例中，若在第二时刻多媒体信息指示用户进行的动作对应的3D关键点不满足第一条件，电子设备可以利用第三补偿角对根据从第二时刻开始的第二时间段内采集的图像确定的3D关键点进行旋转矫正。第三补偿角根据第三组3D关键点确定。第三组3D关键点为在第二时刻之前最近一组满足第一条件的3D关键点。
[0011]上述第二时间段可以是第一多媒体信息指示用户进行不满足第一条件的动作的时间段。例如，完成上述满足第一条件的动作需要的时间为1秒。则上述第二时间段为从第二时刻开始的1秒。可选的，上述第二时间段可以是固定时间长度的时间段。
[0012]结合第一方面，在一些实施例中，电子设备判断第一组3D关键点中的多个3D关键点是否满足第一条件的方法可以为，电子设备可以判断第一组3D关键点中的多个3D关键点是否与第一动作对应的3D关键点匹配，第一动作为上半身、腿部中至少一项直立的动作。
[0013]其中，若上述第一动作为上半身直立的动作，则第一补偿角可以为第一组3D关键点中颈部点与胸腹部点所在直线与图像平面的夹角。
[0014]若上述第一动作为腿部直立的动作，则第一补偿角为第一组3D关键点中髋点、膝点、脚踝点中任意两个3D关键点所在直线与图像平面的夹角。
[0015]结合第一方面，在一些实施例中，第一组3D关键点中的多个3D关键点包括髋点、膝点、脚踝点。电子设备判断第一组3D关键点中的多个3D关键点是否满足第一条件的方法可以为，电子设备可以计算第一组3D关键点中左髋点与左膝点所在的直线、左膝点与左脚点所在的直线之间的第一夹角，以及第一组3D关键点中右髋点与右膝点所在的直线、右膝点与右脚点所在的直线之间的第二夹角。电子设备可以通过检测第一夹角与180
°
之间的差值是否小于第一差值、第二夹角与180
°
之间的差值是否小于第一差值来判断第一组3D关键点中的多个3D关键点是否满足第一条件。
[0016]其中，第一组3D关键点中的多个3D关键点满足第一条件的情况包括：第一夹角与180
°
之间的差值小于第一差值且/或第二夹角与180
°
之间的差值小于第一差值。
[0017]由上述方法可以看出，在检测到用户的3D关键点满足第一条件时，电子设备可以利用基于图像确定出的3D关键点来确定图像中人物透视形变的程度。上述用户的3D关键点满足第一条件可以电子设备检测到用户进行上半身直立且/或腿部直立的动作。也即是说，在用户的上半身直立且/或腿部直立时，电子设备均可以利用基于图像确定出的3D关键点来确定图像中人物透视形变的程度。进而，电子设备可以对基于图像确定出的3D关键点的位置信息进行矫正，减少图像透视形变对3D关键点的位置信息带来的误差，提高3D关键点的位置信息检测的准确度。该方法可以只需要一个摄像头，不仅节约成本，而且进行关键点检测的计算复杂度也较低。
[0018]另外，每一次检测到用户的3D关键点满足第一条件时，若上半身的3D关键点和/或腿部的3D关键点所在的直线与图像平面之间的夹角可用于矫正3D关键点的位置信息，电子设备可以更新补偿角。更新之后的补偿角可以更准确地反映用户在当前位置下，摄像头采集的图像中人物透视形变的程度。这可以减少用户与摄像头之间的位置发生变化对3D关键点的位置信息进行矫正的影响，提高矫正后3D关键点的位置信息的准确度。也即是说，电子
设备可以利用更新之后的补偿角来矫正3D关键点的位置信息。经过矫正之后的3D关键点确定的人体模型可以更准确地反映用户的姿态，提高姿态检测的准确率。这样，在健身或体感游戏中，电子设备可以更准确地判断出用户的姿态是否正确以及用户动作的幅度是否满足要求等，使得用户在进行健身或体感游戏时具有更好的体验。
[本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种人体关键点检测方法，其特征在于，所述方法应用于包含一个或多个摄像头的电子设备，所述方法包括：通过所述摄像头获取第一用户的第一图像；根据所述第一图像确定所述第一用户的第一组3D关键点；判断所述第一组3D关键点中的多个3D关键点是否满足第一条件；若满足所述第一条件，根据所述多个3D关键点确定第一补偿角；利用所述第一补偿角对所述第一组3D关键点进行旋转矫正。2.根据权利要求1所述的方法，其特征在于，所述方法还包括：若不满足所述第一条件，利用第二补偿角对所述第一组3D关键点进行旋转矫正，所述第二补偿角根据第二组3D关键点确定，所述第二组3D关键点为在获取所述第一图像之前最近一组满足所述第一条件的3D关键点。3.根据权利要求1或2所述的方法，其特征在于，所述通过所述摄像头获取第一用户的第一图像，所述方法具体包括：根据第一多媒体信息确定第一时刻，所述第一时刻为所述第一多媒体信息指示用户进行满足所述第一条件的动作的时刻；通过所述摄像头在所述第一时刻开始的第一时间段内，获取所述第一用户的所述第一图像。4.根据权利要求3所述的方法，其特征在于，所述方法还包括：若在第二时刻所述多媒体信息指示用户进行的动作对应的3D关键点不满足所述第一条件，利用第三补偿角对根据从所述第二时刻开始的第二时间段内采集的图像确定的3D关键点进行旋转矫正，所述第三补偿角根据第三组3D关键点确定，所述第三组3D关键点为在所述第二时刻之前最近一组满足所述第一条件的3D关键点。5.根据权利要求1
‑
4中任一项所述的方法，其特征在于，所述判断所述第一组3D关键点中的多个3D关键点是否满足第一条件，所述方法具体包括：判断所述第一组3D关键点中的多个3D关键点是否与第一动作对应的3D关键点匹配，所述第一动作为上半身、腿部中至少一项直立的动作。6.根据权利要求5所述的方法，其特征在于，所述第一动作为上半身直立的动作，所述第一补偿角为所述第一组3D关键点中颈部点与胸腹部点所在直线与所述图像平面的夹角。7.根据权利要求5所述的方法，其特征在于，所述第一动作为腿部直立的动作，所述第一补偿角为所述第一组3D关键点中髋点、膝点、脚踝点中任意两个3D关键点所在直线与所述图像平面的夹角。8.根据权利要求1
‑
4中任一项所述的方法，其特征在于，所述第一组3D关键点中的多个3D关键点包括髋点、膝点、脚踝点，所述判断所述第一组3D关键点中的多个3D关键点是否满足第一条件，所述方法具体包括：计算所述第一组3D关键点中左髋点与左膝点所在的直线、左膝点与左脚点所在的直线之间的第一夹角，以及所述第一组3D关键点中右髋点与右膝点所在的直线、右膝点与右脚点所在的直线之间的第二夹角；通过检测所述第一夹角与180
°
之间的差值是否小于第一差值、所述第二夹角与180
°
之间的差值是否小于所述第一差值来判断所述第一组3D关键点中的多个3D关键点是否满足
第一条件。9.根据权利要求8所述的方法，其特征在于，所述第一组3D关键点中的多个3D关键点满足所述第一条件的情况包括：所述第一夹角与180
°
之间的差值小于所述第一差值且/或所述第二夹角与180
°
之间的差值小于所述第一差值。10.根据权利要求2
‑
9中任一项所述的方法，其特征在于，所述第二补偿角为所述第二组3D关键点中上半身3D关键点和/或腿部3D关键点所在直线与所述图像平面的夹角。11.根据权利要求4
‑
10中任一项所述的方法，其特征在于，所述第三补偿角为所述第三组3D关键点中上半身3D关键点和/或腿部3D关键点所在直线与所述图像平面的夹角。12.根据权利要求2
‑
9中任一项所述的方...

【专利技术属性】
技术研发人员：赵杰，马春晖，黄磊，刘小蒙，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：