一种交互方法、系统、装置以及计算机可读存储介质制造方法及图纸

本申请公开了一种交互方法、系统、装置以及计算机可读存储介质，交互方法应用于电子设备，交互方法包括：获取到目标对象的人脸图像；对人脸图像中的目标部位进行检测，得到目标部位的动作特征数据；利用动作特征数据对目标部位的动作进行识别，得到至少一个动作指令；基于动作指令对电子设备的操作界面进行控制。本申请能够通过人脸的运动实现对电子设备操作界面的操作或控制，拓展了交互方式。进一步地，由于人脸运动不需要较大的操作场地，因而能够在较小范围内实现良好的交互体验，满足了更强的人机交互需求，具有更广阔的应用场景。具有更广阔的应用场景。具有更广阔的应用场景。

【技术实现步骤摘要】
一种交互方法、系统、装置以及计算机可读存储介质


[0001]本申请涉及人机互动
，特别是涉及一种交互方法、系统、装置以及计算机可读存储介质。

技术介绍

[0002]随着计算机技术的革新，以体感交互为代表的新型产业快速发展。目前，常见的体感交互通常需要用户做出较大的肢体动作，以实现与操作界面之间的交互操作。
[0003]然而，以肢体动作实现交互操作的体感交互方法往往需要较大的活动场地，交互方式较为单一，且无法在较小范围内实现良好的交互体验，不能满足更强的人机交互需求。

技术实现思路

[0004]本申请主要提供一种交互方法、系统、装置以及计算机可读存储介质。
[0005]本申请采用的第一技术方案是提供一种交互方法，交互方法应用于电子设备，交互方法包括：获取到目标对象的人脸图像；对人脸图像中的目标部位进行检测，得到目标部位的动作特征数据；利用动作特征数据对目标部位的动作进行识别，得到至少一个动作指令；基于动作指令对电子设备的操作界面进行控制。
[0006]因此，通过采集目标对象的人脸图像，并基于识别到的人脸图像中的目标部位的动作特征数据获取动作指令，以基于动作指令对电子设备的操作界面进行控制，能够通过人脸的运动实现对电子设备的操作界面的操作或控制，拓展了交互方式。进一步地，由于人脸运动不需要较大的操作场地，因而能够在较小范围内实现良好的交互体验，满足了更强的人机交互需求，具有更广阔的应用场景。
[0007]其中，对人脸图像中的目标部位进行检测，得到目标部位的动作特征数据的步骤，包括：对人脸图像中的目标部位的关键点进行检测；采集目标部位的关键点的位置信息，得到目标部位的动作特征数据。
[0008]因此，通过对人脸图像中目标部位的关键点进行检测，能够提取到人脸上多个关键点的位置信息，从而基于位置信息获取到个目标部位的动作特征数据。
[0009]其中，获取到目标对象的人脸图像的步骤，包括：通过摄像头实时采集目标对象的人脸图像；采集目标部位的关键点的位置信息，得到目标部位的动作特征数据的步骤，包括：采集目标部位的相同的关键点在设定时长内的连续至少两帧图像中的位置信息，得到目标部位的第一动作特征数据；和/或，采集目标部位中至少两个指定关键点的位置信息，得到目标部位的第二动作特征数据；利用动作特征数据对目标部位的动作进行识别，得到至少一个动作指令的步骤，包括：利用第一动作特征数据对目标部位的动作进行识别，得到第一动作特征数据对应的第一动作指令；和/或，利用第二动作特征数据对目标部位的动作进行识别，得到第二动作特征数据对应的第二动作指令；基于动作指令对电子设备的操作界面进行控制的步骤，包括：基于第一动作指令和/或第二动作指令对电子设备的操作界面进行控制。
[0010]因此，通过摄像头实时采集目标对象的人脸图像，能够对人脸关键点进行实时跟踪，满足了人机交互对实时性的要求，提高了交互方法的实时性与鲁棒性。通过采集目标部位的相同的关键点在设定时长内的连续至少两帧图像中的位置信息，能够得到目标部位关于位移信息的第一动作特征数据，利用第一动作特征数据对目标部位的动作进行识别，得到第一动作特征数据对应的第一动作指令，能够基于得到的目标部位的移动状态对操作界面进行控制，即通过获取到的人脸的位置变化信息实现对操作界面的控制。进一步地，通过采集目标部位中至少两个指定关键点的位置信息，能够得到目标部位关于姿态变化信息的第二动作特征数据，利用第二动作特征数据对目标部位的动作进行识别，得到第二动作特征数据对应的第二动作指令，能够基于识别出的目标部位的姿态变化实现对操作界面的控制，而目标部位的姿态变化往往可以体现出人脸表情的变化，故上述方案能够基于人脸表情信息实现对操作界面的控制。
[0011]其中，采集目标部位中至少两个指定关键点的位置信息，得到目标部位的第二动作特征数据的步骤，包括：采集目标部位中至少两个指定关键点的位置坐标数据，并基于位置坐标数据得到两个指定关键点的相对距离；基于相对距离得到目标部位的第二动作特征数据。
[0012]因此，通过采集目标部位中至少两个指定关键点的位置坐标数据，并基于位置坐标数据得到两个指定关键点的相对距离，能够通过相对距离获得人脸目标部位(如五官)的姿态变化的信息，从而基于姿态变化信息得到第二动作特征数据。
[0013]其中，对人脸图像中的目标部位的关键点进行检测的步骤，包括：对人脸图像进行人脸检测，得到目标部位的人脸框坐标；基于人脸框坐标对目标部位的关键点进行检测。
[0014]因此，通过对人脸图像进行人脸检测，得到目标部位的人脸框坐标，能够获取到人脸轮廓的准确位置，以及人脸中五官所在部位的轮廓位置，基于人脸框坐标对目标部位的关键点进行检测，能够对人脸五官对应的关键点进行准确识别。
[0015]其中，获取到目标对象的人脸图像的步骤前，包括：预先建立目标对象的表情特征库，表情特征库中包括至少一种表情特征；其中，表情特征分别对应至少一种表情动作特征数据，且表情特征分别对应至少一种第二动作指令；利用第二动作特征数据对目标部位的动作进行识别，得到第二动作特征数据对应的第二动作指令的步骤包括：对第二动作特征数据与表情特征库中的表情特征进行匹配，并基于匹配结果获取到第二动作特征数据对应的表情特征；基于表情特征得到至少一个第二动作指令。
[0016]因此，通过预先建立表情特征库，并录入到交互程序中，能够在实时获取到目标对象的目标部位的姿态变化信息，并基于姿态变化信息获取到对应的表情信息后，将表情信息与表情特征库中的多个表情特征进行匹配，以基于匹配上的表情特征对应的第二动作指令对移动端的操作界面进行控制。
[0017]其中，预先建立目标对象的表情特征库，表情特征库中包括至少一种表情特征的步骤，包括：获取目标对象的至少一张人脸表情静态图像；对人脸表情静态图像中目标部位的关键点进行检测，得到人脸表情静态图像中目标部位的表情动作特征数据；基于人脸表情静态图像中目标部位的表情动作特征数据确定人脸表情静态图像对应的表情特征；针对表情特征设定对应的第二动作指令。
[0018]因此，通过拍摄目标对象的面部表情，并基于面部表情提取人脸关键点，能够对不
同表情对应的面部表情的表情特征进行记录，并针对不同表情特征设定不同的第二动作指令。
[0019]其中，对第二动作特征数据与表情特征库中的表情特征进行匹配，并基于匹配结果获取到第二动作特征数据对应的表情特征的步骤，包括：确定实时获取的人脸图像的第二动作特征数据与表情特征对应的表情动作特征数据的相似度；响应于实时获取的人脸图像的第二动作特征数据与某一表情特征对应的表情动作特征数据的相似度高于设定阈值，确定实时获取的人脸图像的第二动作特征数据与表情特征匹配。
[0020]因此，通过实时提取人脸表情信息对应的第二动作特征数据，与预先记录的表情特征对应的第二动作特征数据进行相似度计算，能够基于计算结果与设定阈值的比较结果，准确地将实时获取的人脸图像的第二动作特征数据与表情特征进行匹配。<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种交互方法，其特征在于，所述交互方法应用于电子设备，所述交互方法包括：获取到目标对象的人脸图像；对所述人脸图像中的目标部位进行检测，得到所述目标部位的动作特征数据；利用所述动作特征数据对所述目标部位的动作进行识别，得到至少一个动作指令；基于所述动作指令对所述电子设备的操作界面进行控制。2.根据权利要求1所述的交互方法，其特征在于，所述对所述人脸图像中的目标部位进行检测，得到所述目标部位的动作特征数据的步骤，包括：对所述人脸图像中的所述目标部位的关键点进行检测；采集所述目标部位的关键点的位置信息，得到所述目标部位的动作特征数据。3.根据权利要求2所述的交互方法，其特征在于，所述获取到目标对象的人脸图像的步骤，包括：通过摄像头实时采集所述目标对象的所述人脸图像；所述采集所述目标部位的关键点的位置信息，得到所述目标部位的动作特征数据的步骤，包括：采集所述目标部位的相同的关键点在设定时长内的连续至少两帧图像中的位置信息，得到所述目标部位的第一动作特征数据；和/或，采集所述目标部位中至少两个指定关键点的位置信息，得到所述目标部位的第二动作特征数据；所述利用所述动作特征数据对所述目标部位的动作进行识别，得到至少一个动作指令的步骤，包括：利用所述第一动作特征数据对所述目标部位的所述动作进行识别，得到所述第一动作特征数据对应的第一动作指令；和/或，利用所述第二动作特征数据对所述目标部位的所述动作进行识别，得到所述第二动作特征数据对应的第二动作指令；所述基于所述动作指令对所述电子设备的操作界面进行控制的步骤，包括：基于所述第一动作指令和/或所述第二动作指令对所述电子设备的所述操作界面进行控制。4.根据权利要求3所述的所述的交互方法，其特征在于，所述采集所述目标部位中至少两个指定关键点的位置信息，得到所述目标部位的第二动作特征数据的步骤，包括：采集所述目标部位中至少两个指定关键点的位置坐标数据，并基于所述位置坐标数据得到所述两个指定关键点的相对距离；基于所述相对距离得到所述目标部位的所述第二动作特征数据。5.根据权利要求2
‑
4任一项所述的交互方法，其特征在于，所述对所述人脸图像中的所述目标部位的关键点进行检测的步骤，包括：对所述人脸图像进行人脸检测，得到所述目标部位的人脸框坐标；基于所述人脸框坐标对所述目标部位的所述关键点进行检测。6.根据权利要求3
‑
5任一项所述的交互方法，其特征在于，所述获取到目标对象的人脸图像的步骤前，包括：预先建立所述目标对象的表情特征库，所述表情特征库中包括至少一种表情特征；其中，所述表情特征分别...

【专利技术属性】
技术研发人员：姚达琛，李诚，
申请(专利权)人：上海商汤临港智能科技有限公司，
类型：发明
国别省市：