操作行为的检测方法和装置、存储介质及电子装置制造方法及图纸

技术编号:35003776 阅读:11 留言:0更新日期:2022-09-21 14:53
本申请公开了一种操作行为的检测方法和装置、存储介质及电子装置,涉及智慧家庭技术领域,该操作行为的检测方法包括:根据目标对象的图像数据确定目标对象对应的情绪状态,以及根据目标对象所在目标车辆的车辆位置数据确定目标对象操作目标车辆的轨迹标签;在情绪状态属于预设情绪状态,且轨迹标签为异常轨迹的情况下,确定操作目标车辆的目标对象存在危险操作行为。解决了相关技术中,无法通过目标对象的情绪以及目标车辆的行驶轨迹确定危险驾驶行为等问题。驾驶行为等问题。驾驶行为等问题。

【技术实现步骤摘要】
操作行为的检测方法和装置、存储介质及电子装置


[0001]本申请涉及智慧家庭
,具体而言,涉及一种操作行为的检测方法和装置、存储介质及电子装置。

技术介绍

[0002]相关技术中,在危险驾驶中人们普遍关注的是是否存在饮酒行为,但是现实中有很多危险驾驶行为是不被关注的或者说没有相应的解决方案,比如说疲劳驾驶以及开斗气车、频繁变道和突然加速等难以预判的行为,人们往往会忽略情绪原因引起的交通事故,有研究表明带有情绪开车是导致很多交通事故的一大诱因,开斗气车、赛车都非常危险。在人们产生的情绪时通常会在面部表情中有所表现,在车辆的行为轨迹上也有迹可循。因此,仅仅通过确定驾驶人员是否饮酒驾驶或者疲劳驾驶,并不能有效的对于造成道路碰撞和事故的非正常的驾驶行为进行有效的预警。
[0003]针对相关技术中,无法通过目标对象(驾驶人员)的情绪以及目标车辆的行驶轨迹确定危险驾驶行为等问题,尚未提出有效的解决方案。

技术实现思路

[0004]本申请实施例提供了一种操作行为的检测方法和装置、存储介质及电子装置,以至少解决相关技术中,无法通过目标对象(驾驶人员)的情绪以及目标车辆的行驶轨迹确定危险驾驶行为等问题。
[0005]根据本申请实施例的一个实施例,提供了一种操作行为的检测方法,包括:根据目标对象的图像数据确定所述目标对象对应的情绪状态,以及根据所述目标对象所在目标车辆的车辆位置数据确定所述目标对象操作目标车辆的轨迹标签;在所述情绪状态属于预设情绪状态,且所述轨迹标签为异常轨迹的情况下,确定操作所述目标车辆的目标对象存在危险操作行为。
[0006]在一个示例性实施例中,根据目标对象的图像数据确定所述目标对象对应的情绪状态,包括:获取操作目标车辆的目标对象的图像数据;对所述图像数据中包含的面部图像特征进行图像筛选,得到所述目标对象的面部特征集合;将所述面部特征集合与预设情绪分类特征集合进行匹配,根据匹配结果确定所述目标对象对应图像的情绪分类,并基于所述情绪分类确定所述目标对象的情绪状态。
[0007]在一个示例性实施例中,根据目标对象的图像数据确定所述目标对象对应的情绪状态之后,所述方法还包括:在确定所述目标对象对应的面部特征集合的情况下,对所述面部特征集合执行目标识别,其中,所述目标识别用于统计所述面部特征集合中眼部的变化信息;根据所述目标识别的识别结果确定所述目标对象对应的疲劳值;在所述疲劳值大于预设阈值的情况下,确定所述目标对象处于疲劳操作所述目标车辆的状态。
[0008]在一个示例性实施例中,根据所述目标对象所在目标车辆的车辆位置数据确定所述目标对象操作目标车辆的轨迹标签,包括:获取所述目标车辆的车辆位置数据;将所述车
辆位置数据输入到目标神经网络模型中,以得到所述车辆位置数据的轨迹标签,其中,所述目标神经网络模型为使用多组数据通过机器学习训练出的,多组数据中的每组数据均包括:车辆位置数据,以及车辆位置数据对应的轨迹标签。
[0009]在一个示例性实施例中,获取所述目标车辆的车辆位置数据,包括:在确定所述目标车辆安装有目标定位设备的情况下,根据所述目标定位设备上传的实时数据确定所述实时数据对应的数据采集时间;在所述数据采集时间大于等于第一预设时长的情况下,解析所述实时数据,得到所述目标车辆对应的多个第一特征,以及每一个所述第一特征对应的数据集合,其中,所述第一特征为用于指示目标车辆行驶状态的参数;基于所述多个第一特征和所述数据集合确定所述目标车辆的车辆位置数据。
[0010]在一个示例性实施例中,所述第一特征包括以下至少之一:目标车辆的速度、目标车辆当前位置的纬度、目标车辆当前位置的经度、目标车辆当前位置的高度、目标车辆当前位置的垂直精度、目标车辆当前位置的水平精度、目标车辆在第一预设时长内每两秒内的速度差值、目标车辆的加速度。
[0011]在一个示例性实施例中,在所述情绪状态属于预设情绪状态,且所述轨迹标签为异常轨迹的情况下,确定操作所述目标车辆的目标对象存在危险操作行为之后,所述方法还包括:根据预设的语音数据生成用于警示所述目标对象停止危险操作行为的交互语音;将所述交互语音发送至所述目标对象,并记录异常轨迹对应的地理位置信息上报至车辆安全服务器,其中,所述车辆安全服务器用于记录目标车辆的异常轨迹信息。
[0012]根据本申请实施例的另一个实施例,还提供了一种操作行为的检测装置,包括:第一确定模块,用于根据目标对象的图像数据确定所述目标对象对应的情绪状态,以及根据所述目标对象所在目标车辆的车辆位置数据确定所述目标对象操作目标车辆的轨迹标签;第二确定模块,用于在所述情绪状态属于预设情绪状态,且所述轨迹标签为异常轨迹的情况下,确定操作所述目标车辆的目标对象存在危险操作行为。
[0013]在一个示例性实施例中,上述第一确定模块,还用于获取操作目标车辆的目标对象的图像数据;对所述图像数据中包含的面部图像特征进行图像筛选,得到所述目标对象的面部特征集合;将所述面部特征集合与预设情绪分类特征集合进行匹配,根据匹配结果确定所述目标对象对应图像的情绪分类,并基于所述情绪分类确定所述目标对象的情绪状态。
[0014]在一个示例性实施例中,上述装置还包括:疲劳模块,用于在确定所述目标对象对应的面部特征集合的情况下,对所述面部特征集合执行目标识别,,其中,所述目标识别用于统计所述面部特征集合中眼部的变化信息;根据所述目标识别的识别结果确定所述目标对象对应的疲劳值;在所述疲劳值大于预设阈值的情况下,确定所述目标对象处于疲劳操作所述目标车辆的状态。
[0015]在一个示例性实施例中,上述第一确定模块,还用于获取所述目标车辆的车辆位置数据;将所述车辆位置数据输入到目标神经网络模型中,以得到所述车辆位置数据的轨迹标签,其中,所述目标神经网络模型为使用多组数据通过机器学习训练出的,多组数据中的每组数据均包括:车辆位置数据,以及车辆位置数据对应的轨迹标签。
[0016]在一个示例性实施例中,上述第一确定模块,还用于在确定所述目标车辆安装有目标定位设备的情况下,根据所述目标定位设备上传的实时数据确定所述实时数据对应的
数据采集时间;在所述数据采集时间大于等于第一预设时长的情况下,解析所述实时数据,得到所述目标车辆对应的多个第一特征,以及每一个所述第一特征对应的数据集合,其中,所述第一特征为用于指示目标车辆行驶状态的参数;基于所述多个第一特征和所述数据集合确定所述目标车辆的车辆位置数据。
[0017]在一个示例性实施例中,所述第一特征包括以下至少之一:目标车辆的速度、目标车辆当前位置的纬度、目标车辆当前位置的经度、目标车辆当前位置的高度、目标车辆当前位置的垂直精度、目标车辆当前位置的水平精度、目标车辆在第一预设时长内每两秒内的速度差值、目标车辆的加速度。
[0018]在一个示例性实施例中,上述装置还包括:交互模块,用于根据预设的语音数据生成用于警示所述目标对象停止危险操作行为的交互语音;将所述交互语音发送至所述目标对象,并记录异常轨迹对应的地理本文档来自技高网
...

【技术保护点】

【技术特征摘要】
1.一种操作行为的检测方法,其特征在于,包括:根据目标对象的图像数据确定所述目标对象对应的情绪状态,以及根据所述目标对象所在目标车辆的车辆位置数据确定所述目标对象操作目标车辆的轨迹标签;在所述情绪状态属于预设情绪状态,且所述轨迹标签为异常轨迹的情况下,确定操作所述目标车辆的目标对象存在危险操作行为。2.根据权利要求1所述的操作行为的检测方法,其特征在于,根据目标对象的图像数据确定所述目标对象对应的情绪状态,包括:获取操作目标车辆的目标对象的图像数据;对所述图像数据中包含的面部图像特征进行图像筛选,得到所述目标对象的面部特征集合;将所述面部特征集合与预设情绪分类特征集合进行匹配,根据匹配结果确定所述目标对象对应图像的情绪分类,并基于所述情绪分类确定所述目标对象的情绪状态。3.根据权利要求1或2所述的操作行为的检测方法,其特征在于,根据目标对象的图像数据确定所述目标对象对应的情绪状态之后,所述方法还包括:在确定所述目标对象对应的面部特征集合的情况下,对所述面部特征集合执行目标识别,其中,所述目标识别用于统计所述面部特征集合中眼部的变化信息;根据所述目标识别的识别结果确定所述目标对象对应的疲劳值;在所述疲劳值大于预设阈值的情况下,确定所述目标对象处于疲劳操作所述目标车辆的状态。4.根据权利要求1所述的操作行为的检测方法,其特征在于,根据所述目标对象所在目标车辆的车辆位置数据确定所述目标对象操作目标车辆的轨迹标签,包括:获取所述目标车辆的车辆位置数据;将所述车辆位置数据输入到目标神经网络模型中,以得到所述车辆位置数据的轨迹标签,其中,所述目标神经网络模型为使用多组数据通过机器学习训练出的,多组数据中的每组数据均包括:车辆位置数据,以及车辆位置数据对应的轨迹标签。5.根据权利要求4所述的操作行为的检测方法,其特征在于,获取所述目标车辆的车辆位置数据,包括:在确定所述目标车辆安装有目标定位设备的情况下,根据所述目标定位设备上传的实时数据确定...

【专利技术属性】
技术研发人员:刘建国王迪张洪峰
申请(专利权)人:海尔智家股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1