【技术实现步骤摘要】
本申请涉及人机交互，特别是涉及一种人机交互方法、装置、显示设备、存储介质和计算机程序产品。
技术介绍
1、人机交互是人与计算机间的信息交换，信息在人与计算机之间建立。
2、传统技术中，通过存储的使用者的人脸信息，来识别出使用者，从而对显示设备进行点选操作，以进行交互。
3、然而，只能预先设定使用者，并且只有预先存储的使用者才能进行人机交互的方式，不满足在一些多人场合（车站或展厅等）下想要进行人机交互的使用者的需求。
技术实现思路
1、基于此，有必要针对上述技术问题，提供一种能够满足在多人场合下的使用者对显示屏上的内容选定的需求的人机交互方法、装置、显示设备、计算机可读存储介质和计算机程序产品。
2、第一方面，本申请提供了一种人机交互方法。所述方法包括：
3、获取深度相机采集的人物图像；
4、基于所述人物图像，获取每个使用者的身体关节点信息；
5、基于每个使用者的身体关节点信息，确定是否存在目标使用者；
6、在存在目标使用者的情况下，确定所述目标使用者的操作区域图像；
7、基于所述操作区域图像，获取目标使用者的手部特征点信息；
8、获取相对旋转矩阵和相对平移矩阵；
9、基于所述手部特征点信息、相对旋转矩阵和相对平移矩阵，确定相对手部特征点信息；
10、基于所述相对手部特征点信息，确定是否满足区域选定操作；
11、在满足区域选定操作的情况下，获
12、在存在针对手臂关节点的当前角度信息大于第一预设阈值的情况下，确定执行点选操作。
13、在其中一个实施例中，所述身体关节点信息包括右肩膀节点信息、左肩膀节点信息、右髋骨节点信息、左髋骨节点信息、右手腕节点信息和左手腕节点信息；所述基于每个使用者的身体关节点信息，确定是否存在目标使用者，包括：
14、获取举手参考值，所述举手参考值基于右肩膀节点信息与右髋骨节点信息的距离、或者基于左肩膀节点信息与左髋骨节点信息的距离得到；
15、基于所述右肩膀节点信息和所述右手腕节点信息，计算第一差值；
16、基于所述左肩膀节点信息和所述左手腕节点信息，计算第二差值；
17、基于所述第一差值、所述第二差值和举手参考值，确定存在所述目标使用者；所述目标使用者为第一个出现所述第一差值和/或所述第二差值大于所述举手参考值的使用者。
18、在其中一个实施例中，所述身体关节点信息包括脊椎肩节点信息，所述确定所述目标使用者的操作区域图像，包括：
19、基于所述右肩膀节点信息和所述左肩膀节点信息，确定目标使用者的操作区域的长和宽；
20、基于所述脊椎肩节点信息、目标使用者的操作区域的长和宽，确定目标使用者的操作区域图像。
21、在其中一个实施例中，所述脊椎肩节点信息包括脊椎肩节点在世界坐标系下的三维坐标，所述世界坐标系为以相机为原点的坐标系，与相机坐标系共用一个原点，所述获取相对旋转矩阵和相对平移矩阵，包括：
22、获取所述相机坐标系与所述世界坐标系之间的旋转矩阵；
23、基于针对相机坐标系与所述世界坐标系之间的旋转矩阵和脊椎肩节点在世界坐标系下的三维坐标，确定变换后的脊椎肩节点的第一坐标信息；所述第一坐标信息为脊椎肩节点在所述相机坐标系下的坐标信息；
24、基于脊椎肩节点的第一坐标信息，构建虚拟坐标系；所述虚拟坐标系与所述相机坐标系平行；
25、获取针对虚拟坐标系与所述相机坐标系的旋转矩阵、以及获取所述世界坐标系与虚拟坐标系的相对平移矩阵；
26、基于所述相机坐标系与所述世界坐标系之间的旋转矩阵、以及所述虚拟坐标系与所述相机坐标系的旋转矩阵，获取所述世界坐标系与虚拟坐标系的相对旋转矩阵。
27、在其中一个实施例中，所述基于所述手部特征点信息、相对旋转矩阵和相对平移矩阵，确定相对手部特征点信息，包括：
28、基于所述手部特征点信息、所述相机坐标系与所述世界坐标系之间的旋转矩阵、所述相对旋转矩阵和所述相对平移矩阵，获取坐标转换后的手部特征点信息；所述坐标转换后的手部特征点信息为在虚拟坐标系下的坐标信息；
29、基于转换后的手部特征点信息，确定相对手部特征点信息。
30、在其中一个实施例中，所述基于所述相对手部特征点信息，确定是否满足区域选定操作，包括：
31、在相对手部特征点信息中存在手部特征点的位置信息在预设特定区域的情况下，确定满足区域选定操作。
32、在其中一个实施例中，所述身体关节点信息包括右手肘节点信息和左手肘节点信息，所述获取针对手臂关节点的当前角度信息，包括：
33、基于所述右手腕节点信息、所述右肩膀节点信息和所述右手肘节点信息，计算第一当前角度信息；
34、基于所述左手腕节点信息、所述左肩膀节点信息和所述左手肘节点信息，计算第二当前角度信息。
35、在其中一个实施例中，所述操作区域图像包括针对目标使用者的操作区域，所述方法还包括：
36、在确定所述目标使用者的操作区域图像之后，基于目标使用者的身体关节点信息，获取目标对象区域；
37、基于目标对象区域和操作区域，确定目标使用者是否离开；
38、在确定目标使用者离开的情况下，触发控制所述深度相机重新采集人物图像。
39、在其中一个实施例中，所述基于目标对象区域和操作区域，确定目标使用者是否离开，包括：
40、获取目标对象区域和操作区域的位置信息；
41、基于所述目标对象区域和操作区域的位置信息，确定所述目标对象区域和所述操作区域的交并比；
42、在所述交并比大于第二预设阈值的情况下，确定目标使用者没有离开；
43、在所述交并比不大于第二预设阈值的情况下，确定目标使用者已经离开。
44、第二方面，本申请还提供了一种人机交互装置。所述装置包括：
45、人物图像获取模块，用于获取深度相机采集的人物图像；
46、身体关节点信息获取模块，用于基于所述人物图像，获取每个使用者的身体关节点信息；
47、目标使用者确定模块，用于基于每个使用者的身体关节点信息，确定是否存在目标使用者；
48、操作区域图像确定模块，用于在存在目标使用者的情况下，确定所述目标使用者的操作区域图像；
49、手部特征点信息获取模块，用于基于所述操作区域图像，获取目标使用者的手部特征点信息；
50、相对旋转和平移矩阵获取模块，用于获取相对旋转矩阵和相对平移矩阵；
51、相对手部特征点信息确定模块，用于基于所述手部特征点信息、相对旋转矩阵和相对平移矩阵，确定相对手部特征点信息；
52、区域选定操作确定模块，用于基于所述相对手部特征本文档来自技高网...
【技术保护点】
1.一种人机交互方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述身体关节点信息包括右肩膀节点信息、左肩膀节点信息、右髋骨节点信息、左髋骨节点信息、右手腕节点信息和左手腕节点信息；所述基于每个使用者的身体关节点信息，确定是否存在目标使用者，包括：
3.根据权利要求2所述的方法，其特征在于，所述身体关节点信息包括脊椎肩节点信息，所述确定所述目标使用者的操作区域图像，包括：
4.根据权利要求3所述的方法，其特征在于，所述脊椎肩节点信息包括脊椎肩节点在世界坐标系下的三维坐标，所述世界坐标系为以相机为原点的坐标系，与相机坐标系共用一个原点；所述获取相对旋转矩阵和相对平移矩阵，包括：
5.根据权利要求4所述的方法，其特征在于，所述基于所述手部特征点信息、相对旋转矩阵和相对平移矩阵，确定相对手部特征点信息，包括：
6.根据权利要求5所述的方法，其特征在于，所述基于所述相对手部特征点信息，确定是否满足区域选定操作，包括：
7.根据权利要求6所述的方法，其特征在于，所述身体关节点信息包括右手肘节
8.根据权利要求1所述的方法，其特征在于，所述操作区域图像包括针对目标使用者的操作区域，所述方法还包括：
9.根据权利要求8所述的方法，其特征在于，所述基于目标对象区域和操作区域，确定目标使用者是否离开，包括：
10.一种人机交互装置，其特征在于，所述装置包括：
11.一种显示设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至9中任一项所述的方法的步骤。
12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至9中任一项所述的方法的步骤。
13.一种计算机程序产品，包括计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至9中任一项所述的方法的步骤。
...【技术特征摘要】
1.一种人机交互方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述身体关节点信息包括右肩膀节点信息、左肩膀节点信息、右髋骨节点信息、左髋骨节点信息、右手腕节点信息和左手腕节点信息；所述基于每个使用者的身体关节点信息，确定是否存在目标使用者，包括：
3.根据权利要求2所述的方法，其特征在于，所述身体关节点信息包括脊椎肩节点信息，所述确定所述目标使用者的操作区域图像，包括：
4.根据权利要求3所述的方法，其特征在于，所述脊椎肩节点信息包括脊椎肩节点在世界坐标系下的三维坐标，所述世界坐标系为以相机为原点的坐标系，与相机坐标系共用一个原点；所述获取相对旋转矩阵和相对平移矩阵，包括：
5.根据权利要求4所述的方法，其特征在于，所述基于所述手部特征点信息、相对旋转矩阵和相对平移矩阵，确定相对手部特征点信息，包括：
6.根据权利要求5所述的方法，其特征在于，所述基于所述相对手部特征点信息，确定是否满足区域选定操作，包括：<...
【专利技术属性】
技术研发人员：黄柏瑞，
申请(专利权)人：业成光电深圳有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。