【技术实现步骤摘要】
本申请涉及手势交互，提供一种3d手势检测方法及电子设备。
技术介绍
1、随着国内外对元宇宙概念的持续关注和投入，ar/vr产业发展热度逐步高涨，目前，提升用户体验作为ar/vr设备的关键目的之一。3d手势交互技术是不依赖于外部设备实现的人机交互的技术，对用户更加友好，因此，3d手势交互成为ar/vr设备的研究热点。
2、在交互过程中，3d手势的稳定性是影响ar/vr设备手势交互体验的主要因素，而交互过程中，可能会出现在某一视角下部分手部关键点因手部自身的遮挡是不可见的情况，这回严重影响3d手势的识别，因此，解决复杂的手部自遮挡问题是3d手势交互技术中需要攻克的难题。
3、目前，相关技术通常使用多相机设备采集手势图像和人工标注的方式来生成3d手势数据集，但对于自遮挡严重的复杂手势，标注难度较大，有效数据的产出比例不高。这样，在基于该方式生成的3d手势数据集进行手势检测时，将会影响手势检测的准确性，进而产生错误的交互或交互失败，降低用户体验。
技术实现思路
1、本申请实施例提供了一种3d手势检测方法及电子设备，用于提高3d手势检测的准确性。
2、一方面，本申请实施例提供了一种3d手势检测方法，包括：
3、获取3d手势样本集；所述3d手势样本集包含背景样本子集、真实手势样本子集和合成手势样本子集，真实手势样本和合成手势样本作为正样本，背景样本作为负样本，每个负样本的标签服从离散均匀分布，每个正样本的标签服从高斯正态分布；
4、根
5、对所述3d手势样本集中的多个样本进行特征提取，获得相应样本的热图集；
6、根据所述多个样本中的真实手势样本和合成手势样本各自的热图集，确定所述真实手势样本和所述合成手势样本间的域差损失值；
7、根据所述多个样本中正样本和负样本各自的热图集以及相应样本的标签，分别确定正样本分布损失值、负样本分布损失值、以及正负样本分布差异损失值；
8、根据所述域差损失值、所述正样本分布损失值、所述负样本分布损失值和所述正负样本分布差异损失值，确定3d手势检测的目标损失值，并根据所述目标损失值进行模型参数调整。
9、另一方面，本申请实施例提供一种电子设备，包括处理器、存储器和通信接口，所述通信接口、所述存储器和所述处理器通过总线连接；
10、所述通信接口用于与终端设备和服务器进行通信；
11、所述存储器存储有计算机程序，所述处理器根据所述计算机程序，执行以下操作：
12、获取3d手势样本集；所述3d手势样本集包含背景样本子集、真实手势样本子集和合成手势样本子集，真实手势样本和合成手势样本作为正样本，背景样本作为负样本，每个负样本的标签服从离散均匀分布，每个正样本的标签服从高斯正态分布；
13、根据所述3d手势样本集，对待训练的3d手势检测模型进行至少一次迭代训练，获得目标手势检测模型，其中，每次迭代过程执行以下操作：
14、对所述3d手势样本集中的多个样本进行特征提取，获得相应样本的热图集；
15、根据所述多个样本中的真实手势样本和合成手势样本各自的热图集，确定所述真实手势样本和所述合成手势样本间的域差损失值；
16、根据所述多个样本中正样本和负样本各自的热图集以及相应样本的标签，分别确定正样本分布损失值、负样本分布损失值、以及正负样本分布差异损失值；
17、根据所述域差损失值、所述正样本分布损失值、所述负样本分布损失值和所述正负样本分布差异损失值，确定3d手势检测的目标损失值，并根据所述目标损失值进行模型参数调整。
18、可选的，所述处理器根据所述多个样本中的真实手势样本和合成手势样本各自的热图集，确定所述真实手势样本和所述合成手势样本间的域差损失值，具体操作为：
19、针对各真实手势样本和各合成手势样本中的每个正样本，将所述正样本的热图集中的每张热图，分别向图像坐标系的u轴和v轴投影，得到一个u坐标分类向量和一个v坐标分类向量；
20、根据各正样本各自对应的u坐标分类向量和v坐标分类向量，确定所述各正样本的类间相似度和类内相似度；
21、根据所述类内相似度和所述类间相似度，确定所述真实手势样本和所述合成手势样本间的域差损失值。
22、可选的，所述类内相似度包括u坐标类内相似度和v坐标类内相似度，所述类间相似度包含u坐标类间相似度和v坐标类间相似度；
23、所述处理器根据各正样本各自对应的u坐标分类向量和v坐标分类向量，确定所述各正样本的类间相似度和类内相似度，具体操作为：
24、根据所述各真实手势样本各自对应的u坐标分类向量，计算第一u坐标类内相似度，以及，根据所述真实手势样本各自的v坐标分类向量，计算第一v坐标类内相似度；
25、根据所述各合成手势样本各自的u坐标分类向量，计算第二u坐标类内相似度，以及，根据所述合成手势样本各自的v坐标分类向量，计算第二v坐标类内相似度；
26、根据所述各真实手势样本和所述各合成手势样本的u坐标分类向量，计算所述u坐标类间相似度，以及，根据所述各真实手势样本和所述各合成手势样本的v坐标分类向量，计算所述v坐标类内相似度。
27、可选的，所述类内相似度包括u坐标类内相似度和v坐标类内相似度，所述类间相似度包含u坐标类间相似度和v坐标类间相似度，所述域差损失值的计算公式为：
28、
29、其中，distda(·)表示所述真实手势样本和所述合成手势样本间的关键点域差函数，ns表示所述真实手势样本的数量，nt表示所述合成手势样本的数量，xs表示第i个所述真实手势样本，xt表示第j个所述合成手势样本，表示u坐标类内相似度，表示v坐标类内相似度，表示所述真实手势样本和所述合成手势样本间的u坐标类间相似度，表示所述真实手势样本和所述合成手势样本间的v坐标类间相似度。
30、可选的，所述处理器根据所述多个样本中正样本和负样本各自的热图集以及相应样本的标签，分别确定正样本分布损失值、负样本分布损失值、以及正负样本分布差异损失值，具体操作为：
31、针对所述多个样本中的每个样本，将所述样本的各热图中的元素值，分别与所述样本的标签中相应位置的元素值相减，获得相应位置的元素差值；
32、根据所述多个样本中负样本的各热图各自对应的元素差值，确定所述负样本分布损失值；
33、根据所述多个样本中正样本的各热图各自对应的元素差值，确定所述正样本分布损失值；
34、采用kl散度，根据所述多个样本的各热图的元素值，与相应样本的标签中相应位置的元素值，确定所述正负样本分布差异损失值。
35、可选的，所述负样本分布损失值的公式表示为：
36、...
【技术保护点】
1.一种3D手势检测方法，其特征在于，包括：
2.如权利要求1所述的方法，其特征在于，所述根据所述多个样本中的真实手势样本和合成手势样本各自的热图集，确定所述真实手势样本和所述合成手势样本间的域差损失值，包括：
3.如权利要求2所述的方法，其特征在于，所述类内相似度包括U坐标类内相似度和V坐标类内相似度，所述类间相似度包含U坐标类间相似度和V坐标类间相似度；
4.如权利要求2所述的方法，其特征在于，所述类内相似度包括U坐标类内相似度和V坐标类内相似度，所述类间相似度包含U坐标类间相似度和V坐标类间相似度，所述域差损失值的计算公式为：
5.如权利要求1所述的方法，其特征在于，所述根据所述多个样本中正样本和负样本各自的热图集以及相应样本的标签，分别确定正样本分布损失值、负样本分布损失值、以及正负样本分布差异损失值，包括：
6.如权利要求5所述的方法，其特征在于，所述负样本分布损失值的公式表示为：
7.如权利要求5所述的方法，其特征在于，所述正负样本分布差异损失值的公式表示为：
8.如权利要求1-7中任
9.一种电子设备，其特征在于，包括处理器、存储器和通信接口，所述通信接口、所述存储器和所述处理器通过总线连接；
10.一种头戴式显示器，其特征在于，头戴式显示器中部署有如权利要求1-7中任一项所述的目标手势检测模型，所述头戴式显示器包括处理器、存储器、显示器和相机，所述相机、所述显示器、所述存储器和所述处理器通过总线连接；
...【技术特征摘要】
1.一种3d手势检测方法，其特征在于，包括：
2.如权利要求1所述的方法，其特征在于，所述根据所述多个样本中的真实手势样本和合成手势样本各自的热图集，确定所述真实手势样本和所述合成手势样本间的域差损失值，包括：
3.如权利要求2所述的方法，其特征在于，所述类内相似度包括u坐标类内相似度和v坐标类内相似度，所述类间相似度包含u坐标类间相似度和v坐标类间相似度；
4.如权利要求2所述的方法，其特征在于，所述类内相似度包括u坐标类内相似度和v坐标类内相似度，所述类间相似度包含u坐标类间相似度和v坐标类间相似度，所述域差损失值的计算公式为：
5.如权利要求1所述的方法，其特征在于，所述根据所述多个样本中正样本和负样本各自的热图集以及相应样本的标签，分别确定正...
【专利技术属性】
技术研发人员：袁毅，卢锦亮，郑贵桢，
申请(专利权)人：海信电子科技深圳有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。