【技术实现步骤摘要】
本专利技术涉及智能辅助驾驶，尤其涉及一种基于多任务网络的危险行为与疲劳驾驶检测方法、装置、计算机设备及存储介质。
技术介绍
1、根据行业调查数据统计显示，所有类型的交通事故中，酒驾导致的事故约占2.5％，而疲劳驾驶导致的交通事故约占20％，占重特大交通事故的40％。如何提前避免疲劳驾驶带来的事故灾害，成为道路安全的一大难题。而随着现代技术发展与道路安全法规的完善，驾驶员监控系统(driver monitoring system，简称dms)技术的普及，能给与道路安全更多的保障，在部分商用汽车上，dms技术更是已成为安全上路的必要配置。
2、常见的dms功能有：打哈欠、闭眼、抽烟、通话等功能监测，另外还有如打瞌睡、注意力、手握方向盘，人脸识别等监测。迫于车载智能芯片的算力低，功能越多模型越多，算力越不足。而其中人脸检测、关键点检测对打哈欠、闭眼等检测精度更高，但迫于算力问题很多时候改用传统图像分析代替，精度度低。目前市面上的dms，很少能进行全面监测如驾驶员危险行为和疲劳驾驶的监测，存在造成交通事故的隐患，例如有的只针对疲劳驾驶部分进行了分析，没有对危险驾驶行为进行分析，且采用的多任务模型使用多个head进行预测，参数计算量大，计算成本高；有的采用yolov5模型、dlib开源模型定位模型、dlib开源模型、人脸识别模型等多个模型构成检测系统，但是仅针对物品进行检测，判断的方法为只要检出物品便识别危险行为，这样容易造成误判。
技术实现思路
1、本专利技术实施例的目的在于提
2、为了解决上述技术问题，一方面，本专利技术提供一种基于多任务网络的危险行为与疲劳驾驶检测方法，采用了如下所述的技术方案，包括下述步骤：
3、将ir图像输入到场景分类模型与多任务模型；
4、从所述场景分类模型获取场景分类，从所述多任务模型获取动作或属性信息，所述动作或属性信息包括人脸框坐标和人脸关键点坐标；
5、判断所述车辆是否为启动状态，若是，则根据所述人脸框坐标，从所述ir图像中将人脸图像裁剪出来，通过人脸关键点坐标计算，获取人脸朝向的欧拉角度；
6、根据所述场景分类，判断是否有危险行为，根据所述人脸关键点坐标，获取眼皮与嘴巴的张合度，根据所述张合度、所述欧拉角度及所述动作或属性信息，判断是否处于疲劳驾驶状态。
7、进一步的，在所述将ir图像输入到场景分类模型与多任务模型的步骤之前还包括：
8、采用nir摄像头，对所述车辆驾驶员驾驶行为进行录像，生成视频；
9、将所述视频按照时间顺序进行分割，得到ir图像。
10、进一步的，所述从所述场景分类模型获取场景分类的步骤具体包括；
11、选择end-to-end作为多分类模型；
12、将所述ir图像缩放为384x384大小，作为所述多分类模型的输入；
13、通过softmax输出各个分类的阈值，取最大阈值的分类索引作为所述场景分类输出结果。
14、进一步的，所述从所述多任务模型获取动作或属性信息，所述动作或属性信息包括人脸框坐标和人脸关键点坐标的步骤具体包括：
15、采用yolo架构作为所述多任务模型，将1280x720的原始图像缩放到640x484，输入到所述多任务模型；
16、采用所述多任务模型对输入图像的人脸区域进行检测，得到[x1，y1]，[x2，y2]左上、右下的人脸框相对坐标信息、所述多任务模型输出的148个关键点的相对坐标，针对人脸框的人脸属性回归得出的阈值；
17、获得多动作分类结果，通过sigmoid函数取得多动作阈值，每个分类动作有一个阈值ji，其中i为动作序号，判断大于阈值ji的动作为真，小于阈值ji的动作为假。
18、进一步的，所述判断所述车辆是否为启动状态，若是，则根据所述人脸框坐标，从所述ir图像中将人脸图像裁剪出来，通过人脸关键点坐标计算，获取人脸朝向的欧拉角度的步骤具体包括：
19、从所述多任务模型获取人脸坐标，根据所述人脸坐标裁剪人脸图像，并通过变换矩阵对所述人脸图像进行旋转、平移及缩放，获得112x112的ir图像，作为人脸识别模型的输入；
20、通过所述人脸识别模型，提取目标人脸特征向量；
21、通过所述人脸特征向量，与注册的一个或多个人脸特征向量，两两进行向量比较，计算向量相似度，并依据真实世界测试集，取得相似度阈值i，以计算得到相似度是否大于相似度阈值i，判断当前驾驶员是否已进行人脸注册。
22、进一步的，所述变换矩阵hs为：
23、
24、其中r是单位旋转矩阵，t是平移向量，s是缩放因子，tx为平移向量的x方向值，ty为平移向量的y方向值，θ为旋转角。
25、进一步的，所述根据所述场景分类，判断是否有危险行为，根据所述人脸关键点坐标，获取眼皮与嘴巴的张合度，根据所述张合度、所述欧拉角度及所述动作或属性信息，判断是否处于疲劳驾驶状态的步骤具体包括：
26、所述场景分类包括遮挡摄像头转身场景、抽烟场景、通话场景、喝水场景、吃东西场景及正常驾驶场景，判断非正常驾驶场景的其他场景为危险行为；
27、根据所述人脸关键点坐标，获取眼皮与嘴巴的张合度；
28、设置所述张合度的计算占比为a％，所述欧拉角度的计算占比为b％，所述动作或属性信息的计算占比为c％，其中a+b+c＝100，计算每一张图像的疲劳驾驶值为所述张合度×a％+所述欧拉角度×b％+所述动作或属性信息×c％；
29、判断所述疲劳驾驶值是否大于疲劳驾驶状态阈值，如是则判断为当前为疲劳驾驶状态。
30、为了解决上述技术问题，另一方面，本专利技术还提供一种基于多任务网络的危险行为与疲劳驾驶检测装置，采用了如下所述的技术方案，包括：
31、输入模块，用于将ir图像输入到场景分类模型与多任务模型；
32、获取模块，用于从所述场景分类模型获取场景分类，从所述多任务模型获取动作或属性信息，所述动作或属性信息包括人脸框坐标和人脸关键点坐标；
33、裁剪模块，用于判断所述车辆是否为启动状态，若是，则根据所述人脸框坐标，从所述ir图像中将人脸图像裁剪出来，通过人脸关键点坐标计算，获取人脸朝向的欧拉角度；
34、判断模块，用于根据所述场景分类，判断是否有危险行为，根据所述人脸关键点坐标，获取眼皮与嘴巴的张合度，根据所述张合度、所述欧拉角度及所述动作或属性信息，判断是否处于疲劳驾驶状态。
35、为了解决上述技术问题，本专利技术还提供一种计算机设备，采用了如下所述的技术方案，包括存储器和处理器，所述存储器中存储有计算机可读指令，所述处理器执行所述计算机可读指令本文档来自技高网...
【技术保护点】
1.一种基于多任务网络的危险行为与疲劳驾驶检测方法，用于车辆，其特征在于，包括下述步骤：
2.根据权利要求1所述的基于多任务网络的危险行为与疲劳驾驶检测方法，其特征在于，在所述将IR图像输入到场景分类模型与多任务模型的步骤之前还包括：
3.根据权利要求1所述的基于多任务网络的危险行为与疲劳驾驶检测方法，其特征在于，所述从所述场景分类模型获取场景分类的步骤具体包括：
4.根据权利要求3所述的基于多任务网络的危险行为与疲劳驾驶检测方法，其特征在于，所述从所述多任务模型获取动作或属性信息，所述动作或属性信息包括人脸框坐标和人脸关键点坐标的步骤具体包括：
5.根据权利要求1所述的基于多任务网络的危险行为与疲劳驾驶检测方法，其特征在于，所述判断所述车辆是否为启动状态，若是，则根据所述人脸框坐标，从所述IR图像中将人脸图像裁剪出来，通过人脸关键点坐标计算，获取人脸朝向的欧拉角度的步骤具体包括：
6.根据权利要求5所述的基于多任务网络的危险行为与疲劳驾驶检测方法，其特征在于，所述变换矩阵Hs为：
7.根据权利要求1至5任意
8.一种基于多任务网络的危险行为与疲劳驾驶检测装置，其特征在于，包括：
9.一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机可读指令，所述处理器执行所述计算机可读指令时实现如权利要求1至7中任一项所述的基于多任务网络的危险行为与疲劳驾驶检测方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机可读指令，所述计算机可读指令被处理器执行时实现如权利要求1至7中任一项所述的基于多任务网络的危险行为与疲劳驾驶检测方法的步骤。
...【技术特征摘要】
1.一种基于多任务网络的危险行为与疲劳驾驶检测方法，用于车辆，其特征在于，包括下述步骤：
2.根据权利要求1所述的基于多任务网络的危险行为与疲劳驾驶检测方法，其特征在于，在所述将ir图像输入到场景分类模型与多任务模型的步骤之前还包括：
3.根据权利要求1所述的基于多任务网络的危险行为与疲劳驾驶检测方法，其特征在于，所述从所述场景分类模型获取场景分类的步骤具体包括：
4.根据权利要求3所述的基于多任务网络的危险行为与疲劳驾驶检测方法，其特征在于，所述从所述多任务模型获取动作或属性信息，所述动作或属性信息包括人脸框坐标和人脸关键点坐标的步骤具体包括：
5.根据权利要求1所述的基于多任务网络的危险行为与疲劳驾驶检测方法，其特征在于，所述判断所述车辆是否为启动状态，若是，则根据所述人脸框坐标，从所述ir图像中将人脸图像裁剪出来，通过人脸关键点坐标计算，获取人脸朝向的欧拉角度的步骤具体包括：
6.根据权利要求5所...
【专利技术属性】
技术研发人员：唐哲峰，
申请(专利权)人：深圳联友科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。