手势跟踪方法技术

本公开提供了一种手势跟踪方法

【技术实现步骤摘要】
手势跟踪方法、装置、设备、存储介质及程序产品


[0001]本公开涉及计算机
，尤其涉及一种手势跟踪方法
、
装置
、
设备
、
存储介质及程序产品
。

技术介绍

[0002]手势跟踪在人机交互领域中有较大的应用价值
。
例如：在用户体验
VR
场景时，可以通过头戴式显示器
(Head Mounted Display
，
HMD)
上的多目相机拍摄用户手势，然后通过手势追踪算法确定出用户手势的骨骼点坐标
、
关节自由度，从而实现对用户的手势跟踪
。
[0003]然而，当用户的手部被遮挡或者手势追踪算法存在较大误差时，就会影响手势跟踪的精度
。

技术实现思路

[0004]本公开提供一种手势跟踪方法
、
装置
、
设备
、
存储介质及程序产品，以提高手势跟踪的精度
。
[0005]第一方面，提供一种手势跟踪方法，该方法包括：确定目标手势的特征数据；获取至少一个模板手势的特征数据；根据目标手势的特征数据和至少一个模板手势的特征数据，确定至少一个模板手势中与目标手势最相似的第一模板手势；根据第一模板手势的特征数据跟踪目标手势；其中，特征数据包括：骨骼点坐标和
/
或关节自由度
。
[0006]第二方面，提供一种手势跟踪方法，该方法包括：获取目标手势的图像
、
至少一个模板手势的图像；将目标手势的图像和至少一个模板手势的图像输入机器学习模型中，得到目标手势和至少一个模板手势之间的相似性；根据目标手势和至少一个模板手势之间的相似性，确定至少一个模板手势中与目标手势最相似的第一模板手势；根据第一模板手势的特征数据跟踪目标手势
。
[0007]第三方面，提供一种手势跟踪装置，包括：第一确定模块
、
获取模块
、
第二确定模块
、
跟踪模块，其中，第一确定模块用于确定目标手势的特征数据；获取模块用于获取至少一个模板手势的特征数据；第二确定模块用于根据目标手势的特征数据和至少一个模板手势的特征数据，确定至少一个模板手势中与目标手势最相似的第一模板手势；跟踪模块用于根据第一模板手势的特征数据跟踪目标手势；其中，特征数据包括：骨骼点坐标和
/
或关节自由度
。
[0008]第四方面，提供一种手势跟踪装置，包括：获取模块
、
输入模块
、
确定模块
、
跟踪模块，其中，获取模块用于获取目标手势的图像
、
至少一个模板手势的图像；输入模块用于将目标手势的图像和至少一个模板手势的图像输入机器学习模型中，得到目标手势和至少一个模板手势之间的相似性；确定模块用于根据目标手势和至少一个模板手势之间的相似性，确定至少一个模板手势中与目标手势最相似的第一模板手势；跟踪模块用于根据第一模板手势的特征数据跟踪目标手势
。
[0009]第五方面，提供一种电子设备，包括：处理器和存储器，该存储器用于存储计算机
程序，该处理器用于调用并运行该存储器中存储的计算机程序，执行如第一方面
、
第二方面或其各实现方式中的方法
。
[0010]第六方面，提供一种计算机可读存储介质，用于存储计算机程序，计算机程序使得计算机执行如第一方面
、
第二方面或其各实现方式中的方法
。
[0011]第七方面，提供一种计算机程序产品，包括计算机程序指令，该计算机程序指令使得计算机执行如第一方面
、
第二方面或其各实现方式中的方法
。
[0012]第八方面，提供一种计算机程序，计算机程序使得计算机执行如第一方面
、
第二方面或其各实现方式中的方法
。
[0013]通过本公开技术方案，电子设备可以确定目标手势的特征数据，并获取至少一个模板手势的特征数据，然后，电子设备可以根据目标手势的特征数据和至少一个模板手势的特征数据，确定至少一个模板手势中与目标手势最相似的第一模板手势，最后，电子化设备可以根据该第一模板手势的特征数据跟踪目标手势
。
其中，特征数据包括：骨骼点坐标和
/
或关节自由度
。
上述方法可以通过目标手势的特征数据和至少一个模板手势的特征数据，确定出至少一个模板手势中与目标手势最相似的第一模板手势，而通常至少一个模板手势的特征数据是比较准确的，也就是说，第一模板手势的特征数据是比较准确的，那么当电子设备根据第一模板手势的特征数据跟踪目标手势时，手势跟踪的精度会比较高，即本公开可以提高手势跟踪的精度
。
附图说明
[0014]为了更清楚地说明本公开实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图
。
[0015]图1为本公开实施例提供的一种应用场景图；
[0016]图2为本公开实施例提供的一种手势跟踪方法的流程图；
[0017]图3为本公开实施例提供的一种手势跟踪的示意图；
[0018]图4为本公开实施例提供的另一种手势跟踪方法的流程图；
[0019]图5为本公开实施例提供的一种手势跟踪装置的示意图；
[0020]图6为本公开实施例提供的另一种手势跟踪装置的示意图；
[0021]图7是本公开实施例提供的电子设备
700
的示意性框图
。
具体实施方式
[0022]下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚
、
完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例
。
基于本公开中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围
。
[0023]需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序
。
应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或
描述的那些以外的顺序实施
。
此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程
、
方法
、
系统
、
产品或服务器不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程
、
方法...

【技术保护点】

【技术特征摘要】
1.
一种手势跟踪方法，其特征在于，包括：确定目标手势的特征数据；获取至少一个模板手势的特征数据；根据所述目标手势的特征数据和所述至少一个模板手势的特征数据，确定所述至少一个模板手势中与所述目标手势最相似的第一模板手势；根据所述第一模板手势的特征数据跟踪所述目标手势；其中，所述特征数据包括：骨骼点坐标和
/
或关节自由度
。2.
根据权利要求1所述的方法，其特征在于，所述根据所述目标手势的特征数据和所述至少一个模板手势的特征数据，确定所述至少一个模板手势中与所述目标手势最相似的第一模板手势，包括：根据所述目标手势的骨骼点坐标和每个所述模板手势的骨骼点坐标，确定所述目标手势与每个所述模板手势的骨骼点相似性；根据所述目标手势的关节自由度和每个所述模板手势的关节自由度，确定所述目标手势与每个所述模板手势的关节自由度相似性；根据所述目标手势与每个所述模板手势的骨骼点相似性，和
/
或，所述目标手势与每个所述模板手势的关节自由度相似性，确定所述第一模板手势
。3.
根据权利要求2所述的方法，其特征在于，所述根据所述目标手势的骨骼点坐标和每个所述模板手势的骨骼点坐标，确定所述目标手势与每个所述模板手势的骨骼点相似性，包括：根据所述目标手势的骨骼点坐标和每个所述模板手势的骨骼点坐标，计算所述目标手势的各个骨骼点与每个所述模板手势对应的骨骼点之间的距离；根据所述目标手势的各个骨骼点与每个所述模板手势对应的骨骼点之间的距离，确定所述目标手势与每个所述模板手势的骨骼点相似性
。4.
根据权利要求3所述的方法，其特征在于，所述根据所述目标手势的各个骨骼点与每个所述模板手势对应的骨骼点之间的距离，确定所述目标手势与每个所述模板手势的骨骼点相似性，包括：针对每个所述模板手势，计算所述目标手势的各个骨骼点与该模板手势对应的骨骼点之间的距离之和，得到第一相加结果；针对每个所述模板手势，根据所述目标手势的各个骨骼点与该模板手势对应的第一相加结果确定所述目标手势与该模板手势的骨骼点相似性；其中，若所述第一相加结果越大，则所述骨骼点相似性越小；若所述第一相加结果越小，则所述骨骼点相似性越大
。5.
根据权利要求2所述的方法，其特征在于，所述根据所述目标手势的骨骼点坐标和每个所述模板手势的骨骼点坐标，确定所述目标手势与每个所述模板手势的骨骼点相似性，包括：根据所述目标手势的骨骼点坐标计算所述目标手势中每个骨骼点分别和与该骨骼点不相邻的其他骨骼点之间的距离；计算所述目标手势中每个骨骼点分别和与该骨骼点不相邻的其他骨骼点之间的距离之和，得到第二相加结果；
根据每个所述模板手势的骨骼点坐标，计算每个所述模板手势中每个骨骼点分别和与该骨骼点不相邻的其他骨骼点之间的距离；计算每个所述模板手势中每个骨骼点分别和与该骨骼点不相邻的其他骨骼点之间的距离之和，得到第三相加结果；计算所述第二相加结果和每个所述第三相加结果的差值的绝对值；根据所述第二相加结果和每个所述第三相加结果的差值的绝对值确定所述目标手势与每个所述模板手势的骨骼点相似性；其中，若所述绝对值越大，则所述骨骼点相似性越小；若所述绝对值越小，则所述骨骼点相似性越大
。6.
根据权利要求2所述的方法，其特征在于，所述根据所述目标手势的关节自由度和每个所述模板手势的关节自由度，确定所述目标手势与每个所述模板手势的关节自由度相似性，包括：计算所述目标手势的各个关节自由度与每个所述模板手势对应的关节自由度之间的距离；根据所述目标手势的各个关节自由度与每个所述模板手势对应的关节自由度之间的距离，确定所述目标手势与每个所述模板手势的关节自由度相似性
。7.
根据权利要求6所述的方法，其特征在于，所述根据所述目标手势的各个关节自由度与每个所述模板手势对应的关节自由度之间的距离，确定所述目标手势与每个所述模板手势的关节自由度相似性，包括：针对每个所述模板手势，计算所述目标手势的各个关节自由度与该模板手势...

【专利技术属性】
技术研发人员：王远江，樊凯旋，陈扬羽，吴涛，
申请(专利权)人：北京字跳网络技术有限公司，
类型：发明
国别省市：