手势交互方法技术

本申请提供一种手势交互方法

【技术实现步骤摘要】
手势交互方法、系统、电子设备及存储介质


[0001]本申请涉及虚拟现实领域，尤其涉及一种手势交互方法
、
系统
、
电子设备及存储介质
。

技术介绍

[0002]随着人工智能及虚拟现实
(Virtual Reality
，
VR)、
增强现实
(Augmented Reality
，
AR)、
混合现实
(Mixed Reality
，
MR)
等技术的不断发展，手势交互得到了广泛的应用
。
其中，手势交互包括手势跟踪与手势识别，手势跟踪指的是跟踪手的位置和姿态，手势识别指的是识别手的动作类型，例如通过手势给出的石头
、
剪刀等动作类型
。
可以理解的是，结合了手的位置姿态跟踪的手势识别可以实现更加丰富的手势交互，用户在
VR
系统中可以直接通过手操作虚拟物体，如移动
、
旋转和抓取等
。
[0003]目前的手势交互通常应用于单目
RGB
摄像头，通过深度学习或机器学习的方式进行处理可以实现手部的交互
。
然而，在进行手势交互的处理时，由于计算量较大，对设备的性能要求极高，因此，对于单目
RGB
摄像头来说，这种大运算量严重影响了手势交互在单目
RGB
摄像头中的应用
。

技术实现思路

[0004]本申请提供了一种手势交互方法
、
系统
、
电子设备及存储介质，有助于解决因手势交互的计算量过大无法应用于终端设备的问题
。
[0005]第一方面，本申请提供了一种手势交互方法，应用于终端设备，所述终端设备包括摄像头及显示屏，包括：
[0006]通过所述摄像头获取用户的手部图像视频；
[0007]将所述用户的手部图像视频发送给服务器；
[0008]接收所述服务器发送的计算结果，所述计算结果为所述服务器根据所述用户的手部图像视频进行计算后得到的结果；
[0009]基于所述计算结果将手势交互效果显示在所述显示屏中
。
[0010]本申请中，终端设备通过将采集到的用户手部图像视频发送给服务器，并由服务器计算手部计算结果，从而可以降低终端设备的计算量，有助于解决因手势交互的计算量过大无法应用于终端设备的问题
。
[0011]其中一种可能的实现方式中，所述计算结果包括手部姿势识别结果及手部姿态识别结果，手部姿势识别结果用于识别手部的手势，所述手部姿态识别结果用于对用户手部的轨迹进行预测
。
[0012]其中一种可能的实现方式中，所述方法还包括：
[0013]接收所述服务器发送的暂停通知，所述暂停通知用于通知所述电子设备，所述服务器已暂停对所述用户手部图像视频的处理
。
[0014]其中一种可能的实现方式中，所述方法还包括：
[0015]接收所述服务器发送的视频连接请求，所述视频连接请求用于请求所述电子设备发送所述用户手部图像视频
。
[0016]其中一种可能的实现方式中，所述计算结果为对所述手部姿势识别结果及所述手部姿态识别结果反序列化后得到的对象
。
[0017]其中一种可能的实现方式中，所述反序列化后得到的对象包括手势识别对象和手势跟踪对象，所述手势交互效果通过对所述手势识别对象进行动作转换及对所述手势跟踪对象进行坐标转换获得
。
[0018]第二方面，本申请提供了一种手势交互装置，包括一个或多个模块，所述一个多个模块用于执行如第一方面所述的手势交互方法
。
[0019]第三方面，本申请提供了一种终端设备，包括：处理器和存储器，所述存储器用于存储计算机程序；所述处理器用于运行所述计算机程序，实现如第一方面所述的手势交互方法
。
[0020]第四方面，本申请提供了一种手势交互系统，包括服务器及如第三方面所述的终端设备
。
[0021]第五方面，本申请提供了一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序，当其在计算机上运行时，使得计算机实现如第一方面所述的手势交互方法
。
[0022]第六方面，本申请提供一种计算机程序，当上述计算机程序在终端设备的处理器上运行时，使得所述终端设备执行第一方面所述的手势交互方法
。
[0023]在一种可能的设计中，第六方面中的程序可以全部或者部分存储在与处理器封装在一起的存储介质上，也可以部分或者全部存储在不与处理器封装在一起的存储器上
。
附图说明
[0024]图1为本申请实施例提供的应用场景架构图；
[0025]图2为本申请提供的手势交互方法一个实施例的流程示意图；
[0026]图3为本申请提供的视频传输一个实施例的流程示意图；
[0027]图4为本申请提供的手势识别一个实施例的流程示意图；
[0028]图5为本申请提供的动作转换
&
坐标转换的流程示意图；
[0029]图6为本申请提供的坐标转换的效果示意图；
[0030]图7为本申请实施例提供的手势交互装置的结构示意图；
[0031]图8为本申请实施例提供的电子设备的结构示意图
。
具体实施方式
[0032]本申请实施例中，除非另有说明，字符“/”表示前后关联对象是一种或的关系
。
例如，
A/B
可以表示
A
或
B。“和
/
或”描述关联对象的关联关系，表示可以存在三种关系
。
例如，
A
和
/
或
B
，可以表示：单独存在
A
，同时存在
A
和
B
，单独存在
B
这三种情况
。
[0033]需要指出的是，本申请实施例中涉及的“第一”、“第二”等词汇，仅用于区分描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量，也不能理解为指示或暗示顺序
。
[0034]本申请实施例中，“至少一个”是指一个或者多个，“多个”是指两个或两个以上
。
此外，“以下至少一项
(
个
)”或者其类似表达，是指的这些项中的任意组合，可以包括单项
(
个
)
或复数项
(
个
)
的任意组合
。
例如，
A、B
或
C
中的至少一项
(
个
)
，可以表示：
A
，
B
，
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种手势交互方法，其特征在于，应用于终端设备，所述终端设备包括摄像头及显示屏，所述方法包括：通过所述摄像头获取用户的手部图像视频；将所述用户的手部图像视频发送给服务器；接收所述服务器发送的计算结果，所述计算结果为所述服务器根据所述用户的手部图像视频进行计算后得到的结果；基于所述计算结果将手势交互效果显示在所述显示屏中
。2.
根据权利要求1所述的方法，其特征在于，所述计算结果包括手部姿势识别结果及手部姿态识别结果，手部姿势识别结果用于识别手部的手势，所述手部姿态识别结果用于对用户手部的轨迹进行预测
。3.
根据权利要求1所述的方法，其特征在于，所述方法还包括：接收所述服务器发送的暂停通知，所述暂停通知用于通知所述电子设备，所述服务器已暂停对所述用户手部图像视频的处理
。4.
根据权利要求1所述的方法，其特征在于，所述方法还包括：接收所述服务器发送的视频连接请求，所述视频连接请求用于请求所述电子设...

【专利技术属性】
技术研发人员：章晓冰，骆晓亮，王绿春，刘桂业，陈松平，张奔，彭坚，曾皓洋，
申请(专利权)人：中移江西虚拟现实科技有限公司，
类型：发明
国别省市：