【技术实现步骤摘要】
本申请涉及计算机，具体而言，涉及一种嘘声手势检测方法、装置、电子设备和存储介质。
技术介绍
1、目前车辆中的一些功能的交互方式是通过控制按键（包括物理按键或者触控按键）来进行的，例如：暂停音乐、关闭天窗等，用户在对上述功能进行控制时，需要通过对应的按键来实现，这种控制方式需要找到对应的按键之后才能完成控制，虽然已有语音控制系统作为补充，但是当车舱内存在噪音时，语音识别的准确率和反映速度会明显降低，因此目前亟需一种抗干扰能力强，且交互方便的交互方法。
技术实现思路
1、有鉴于此，本申请实施例提供了一种嘘声手势检测方法、装置、电子设备和存储介质，以提高在车舱环境下进行交互时的抗干扰能力，且能够进行高效交互。
2、第一方面，本申请实施例提供了一种嘘声手势检测方法，所述方法包括：
3、根据车载摄像头拍摄到的车辆内部的包括人脸的人脸图像，获取所述人脸图像中人脸特征点；
4、根据以所述人脸特征点中的目标特征点为中心，以所述人脸特征点构成的图形的外接矩形面积的第一预设倍数为宽度，以所述宽度的预设比例为高度，以所述人脸图像中人脸的延伸方向为所述高度的倾斜方向构建的矩形区域，从所述人脸图像中截取第一目标图像，其中，所述第一预设倍数为正数，所述预设比例小于1，所述目标特征点属于嘴唇区域的特征点；
5、将所述第一目标图像输入到嘘声检测模型中，判断所述人脸图像中是否包含嘘声手势；
6、当确定所述人脸图像中包含所述嘘声手势时，控制车辆中的目标可控部
7、可选地，在得到所述人脸特征点后，所述方法还包括：
8、将所述人脸图像输入到人脸检测模型中，得到所述人脸图像中初始人脸特征点；
9、将所述初始人脸特征点映射到标准三维人脸模型中的同一特征点上，得到人脸重建三维模型；
10、将所述人脸重建三维模型映射回所述人脸图像中同一特征点上，确定所述目标特征点。
11、可选地，所述当确定所述人脸图像中包含所述嘘声手势时，控制车辆中的目标可控部件执行预设动作，包括：
12、当确定所述人脸图像中包含所述嘘声手势时，根据以距离所述目标特征点延所述延伸方向的反方向的指定距离为中心，以人脸的第二预设倍数为边长，以所述延伸方向为倾斜方向构建的菱形，从所述人脸图像中截取第二目标图像；
13、根据所述第二目标图像，确定所述第二目标图像中在进行嘘声时，食指所在区域的嘘声虚拟槽；
14、将所述第二目标图像输入到定位手部特征点模型中，得到手部特征点；
15、根据所述手部特征点中用于表示食指的食指特征点，以及与所述嘘声虚拟槽的位置关系，判断所述嘘声手势是否为正确的嘘声手势；
16、如果是正确的嘘声手势，控制车辆中的目标可控部件执行预设动作。
17、可选地，所述目标特征点为用于表示上嘴唇中心的嘴唇特征点，所述三维坐标系是以所述人脸重建三维模型中表示鼻尖的鼻尖特征点为原点，以双眼连线方向为x轴，以面部朝向为z轴，与x轴和z轴所在平面垂直的方向为y轴构建的，所述延伸方向为所述三维坐标系的y轴方向。
18、可选地，所述嘘声虚拟槽的长度是从人脸特征点中用于表示鼻尖的鼻尖特征点到所述嘴唇特征点的距离，所述嘘声虚拟槽的上端点位于所述鼻尖特征沿所述z轴正方向0.1倍所述长度上，所述嘘声虚拟槽的下端点位于所述嘴唇特征点沿所述z轴正方向0.1倍所述长度上。
19、可选地，所述指定距离为0.25倍人脸高度，第二预设倍数为数值1。
20、可选地，所述第一预设倍数为所述外接矩形面积的平方根，所述预设比例为三分之二。
21、可选地，所述控制车辆中的目标可控部件执行预设动作，包括：
22、当所述目标可控部件为车载电话时，则拒接所述车载电话当前的通话来电；
23、当所述目标可控部件为车载多媒体时，则暂停所述车载多媒体当前的播放的内容；
24、当所述目标可控部件为车窗时，则关闭所述车窗。
25、第二方面，本申请实施例提供了一种嘘声手势检测装置，所述装置包括：
26、获取单元，用于根据车载摄像头拍摄到的车辆内部的包括人脸的人脸图像，获取所述人脸图像中人脸特征点；
27、截取单元，用于根据以所述人脸特征点中的目标特征点为中心，以所述人脸特征点构成的图形的外接矩形面积的第一预设倍数为宽度，以所述宽度的预设比例为高度，以所述人脸图像中人脸的延伸方向为所述高度的倾斜方向构建的矩形区域，从所述人脸图像中截取第一目标图像，其中，所述第一预设倍数为正数，所述预设比例小于1，所述目标特征点属于嘴唇区域的特征点；
28、判断单元，用于将所述第一目标图像输入到嘘声检测模型中，判断所述人脸图像中是否包含嘘声手势；
29、控制单元，用于当确定所述人脸图像中包含所述嘘声手势时，控制车辆中的目标可控部件执行预设动作。
30、可选地，所述装置还包括：
31、处理单元，用于在得到所述人脸特征点后，将所述人脸图像输入到人脸检测模型中，得到所述人脸图像中初始人脸特征点；以及，用于将所述初始人脸特征点映射到标准三维人脸模型中的同一特征点上，得到人脸重建三维模型；以及，用于将所述人脸重建三维模型映射回所述人脸图像中同一特征点上，确定所述目标特征点。
32、可选地，所述控制单元用于当确定所述人脸图像中包含所述嘘声手势时，控制车辆中的目标可控部件执行预设动作时，包括：
33、当确定所述人脸图像中包含所述嘘声手势时，根据以距离所述目标特征点延所述延伸方向的反方向的指定距离为中心，以人脸的第二预设倍数为边长，以所述延伸方向为倾斜方向构建的菱形，从所述人脸图像中截取第二目标图像；
34、根据所述第二目标图像，确定所述第二目标图像中在进行嘘声时，食指所在区域的嘘声虚拟槽；
35、将所述第二目标图像输入到定位手部特征点模型中，得到手部特征点；
36、根据所述手部特征点中用于表示食指的食指特征点，以及与所述嘘声虚拟槽的位置关系，判断所述嘘声手势是否为正确的嘘声手势；
37、如果是正确的嘘声手势，控制车辆中的目标可控部件执行预设动作。
38、可选地，所述目标特征点为用于表示上嘴唇中心的嘴唇特征点，所述三维坐标系是以所述人脸重建三维模型中表示鼻尖的鼻尖特征点为原点，以双眼连线方向为x轴，以面部朝向为z轴，与x轴和z轴所在平面垂直的方向为y轴构建的，所述延伸方向为所述三维坐标系的y轴方向。
39、可选地，所述嘘声虚拟槽的长度是从人脸特征点中用于表示鼻尖的鼻尖特征点到所述嘴唇特征点的距离，所述嘘声虚拟槽的上端点位于所述鼻尖特征沿所述z轴正方向0.1倍所述长度上，所述嘘声虚拟槽的下端点位于所述嘴唇特征点沿所述z轴正方向0.1倍所述长度上。
40、可选地，所述指定距离为0.25倍人脸高度，第二预设倍数为本文档来自技高网...
【技术保护点】
1.一种嘘声手势检测方法，其特征在于，所述方法包括：
2.如权利要求1所述的方法，其特征在于，在得到所述人脸特征点后，所述方法还包括：
3.如权利要求1所述的方法，其特征在于，所述当确定所述人脸图像中包含所述嘘声手势时，控制车辆中的目标可控部件执行预设动作，包括：
4.如权利要求3所述的方法，其特征在于，所述目标特征点为用于表示上嘴唇中心的嘴唇特征点，三维坐标系是以所述人脸重建三维模型中表示鼻尖的鼻尖特征点为原点，以双眼连线方向为X轴，以面部朝向为Z轴，与X轴和Z轴所在平面垂直的方向为Y轴构建的，所述延伸方向为所述三维坐标系的Y轴方向。
5.如权利要求4所述的方法，其特征在于，所述嘘声虚拟槽的长度是从人脸特征点中用于表示鼻尖的鼻尖特征点到所述嘴唇特征点的距离，所述嘘声虚拟槽的上端点位于所述鼻尖特征沿所述Z轴正方向0.1倍所述长度上，所述嘘声虚拟槽的下端点位于所述嘴唇特征点沿所述Z轴正方向0.1倍所述长度上。
6.如权利要求3所述的方法，其特征在于，所述指定距离为0.25倍人脸高度，第二预设倍数为数值1。
7.
8.如权利要求1所述的方法，其特征在于，所述控制车辆中的目标可控部件执行预设动作，包括：
9.一种嘘声手势检测装置，其特征在于，所述装置包括：
10.一种电子设备，其特征在于，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的机器可执行指令，所述处理器执行所述机器可执行指令以实现权利要求1-8中任一项所述的嘘声手势检测方法。
11.一种机器可读存储介质，其特征在于，所述机器可读存储介质存储有机器可执行指令，所述机器可执行指令在被处理器调用和执行时，所述机器可执行指令促使所述处理器实现权利要求1-8中任一项所述的嘘声手势检测方法。
...【技术特征摘要】
1.一种嘘声手势检测方法，其特征在于，所述方法包括：
2.如权利要求1所述的方法，其特征在于，在得到所述人脸特征点后，所述方法还包括：
3.如权利要求1所述的方法，其特征在于，所述当确定所述人脸图像中包含所述嘘声手势时，控制车辆中的目标可控部件执行预设动作，包括：
4.如权利要求3所述的方法，其特征在于，所述目标特征点为用于表示上嘴唇中心的嘴唇特征点，三维坐标系是以所述人脸重建三维模型中表示鼻尖的鼻尖特征点为原点，以双眼连线方向为x轴，以面部朝向为z轴，与x轴和z轴所在平面垂直的方向为y轴构建的，所述延伸方向为所述三维坐标系的y轴方向。
5.如权利要求4所述的方法，其特征在于，所述嘘声虚拟槽的长度是从人脸特征点中用于表示鼻尖的鼻尖特征点到所述嘴唇特征点的距离，所述嘘声虚拟槽的上端点位于所述鼻尖特征沿所述z轴正方向0.1倍所述长度上，所述嘘声虚拟槽的下端点位于所述嘴唇特征点沿所述z轴正方向...
【专利技术属性】
技术研发人员：郭锡，杨一泓，刘国清，
申请(专利权)人：杭州锐见智行科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。