一种驾驶行为监测方法、装置及计算机可读存储介质制造方法及图纸

本申请提供了一种驾驶行为监测方法、装置及计算机可读存储介质，该方法包括：将正对驾驶员设置的多目摄像头实时采集的红外图像以及可见光图像进行融合处理，得到融合图像；对融合图像进行人脸特征提取，并在所提取的人脸位置检测人脸关键点位置；基于人脸关键点位置计算相应人脸标志性部位的部位横纵比，并将部位横纵比与标准取值范围进行比较；若监测周期内的所有比较结果中，部位横纵比超出标准取值范围的次数大于预设次数阈值，则判定驾驶员处于疲劳驾驶状态。通过本申请方案的实施，基于红外可见光辅助图像融合的应用决策，增加了输入图像的抗干扰能力，利用人脸关键点坐标进行运算判断司机的精神状态，可实现精准可靠的疲劳驾驶监测。劳驾驶监测。劳驾驶监测。

【技术实现步骤摘要】
一种驾驶行为监测方法、装置及计算机可读存储介质


[0001]本申请涉及人工智能
，尤其涉及一种驾驶行为监测方法、装置及计算机可读存储介质。

技术介绍

[0002]相关数据显示，很大一部分交通事故是由驾驶员疲劳驾驶导致的。根据《中华人民共和国道路交通安全法实施条例》第六十二条第七款规定，连续驾驶机动车超过4小时应停车休息，休息时间不少于20分钟。当驾驶员处于疲劳状态时，轻则换挡不及时，动作呆滞忘记操作，重则出现短时睡眠的现象，失去对车辆的控制能力，极有可能对生命财产安全造成无可弥补的后果，因此对驾驶人是否疲劳驾驶的识别与预警对避免交通事故的发生显的尤为重要，这不但避免了悲剧的发生而且减少了财产的损失。
[0003]目前，相关技术中所采用的疲劳驾驶检测系统主要是通过可见光摄像头采集驾驶员面部信息，追踪检测驾驶员的眼部，分析并提取眼部相关特征，然后利用相关算法判断驾驶员的疲劳程度。但这种方式在夜间、天气不好等光照不足的情况下，会产生较大检测误差，对检测结果有一定的影响。

技术实现思路

[0004]本申请实施例提供了一种驾驶行为监测方法、装置及计算机可读存储介质，至少能够解决相关技术中所提供的疲劳检测系统在光照不足的情况下检测结果准确性较差的问题。
[0005]本申请实施例第一方面提供了一种驾驶行为监测方法，包括：
[0006]将正对驾驶员设置的多目摄像头实时采集的红外图像以及可见光图像进行融合处理，得到融合图像；其中，所述多目摄像头包括红外摄像头以及可见光摄像头；
[0007]对所述融合图像进行人脸特征提取，并在所提取的人脸位置检测人脸关键点位置；
[0008]基于所述人脸关键点位置计算相应人脸标志性部位的部位横纵比，并将所述部位横纵比与标准取值范围进行比较；
[0009]若预设监测周期内的所有比较结果中，所述部位横纵比超出所述标准取值范围的异常次数大于预设次数阈值，则判定所述驾驶员处于疲劳驾驶状态。
[0010]本申请实施例第二方面提供了一种驾驶行为监测装置，包括：
[0011]融合模块，用于将正对驾驶员设置的多目摄像头实时采集的红外图像以及可见光图像进行融合处理，得到融合图像；其中，所述多目摄像头包括红外摄像头以及可见光摄像头；
[0012]检测模块，用于对所述融合图像进行人脸特征提取，并在所提取的人脸位置检测人脸关键点位置；
[0013]计算模块，用于基于人脸标志性部位相应的所述人脸关键点位置计算部位横纵
比，并将所述部位横纵比与标准取值范围进行比较；
[0014]判定模块，用于若预设监测周期内的所有比较结果中，所述部位横纵比超出所述标准取值范围的异常次数大于预设次数阈值，则判定所述驾驶员处于疲劳驾驶状态。
[0015]本申请实施例第三方面提供了一种电子装置，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时，实现上述本申请实施例第一方面提供的驾驶行为监测方法中的各步骤。
[0016]本申请实施例第四方面提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时，实现上述本申请实施例第一方面提供的驾驶行为监测方法中的各步骤。
[0017]由上可见，根据本申请方案所提供的驾驶行为监测方法、装置及计算机可读存储介质，将正对驾驶员设置的多目摄像头实时采集的红外图像以及可见光图像进行融合处理，得到融合图像；对融合图像进行人脸特征提取，并在所提取的人脸位置检测人脸关键点位置；基于人脸关键点位置计算相应人脸标志性部位的部位横纵比，并将部位横纵比与标准取值范围进行比较；若预设监测周期内的所有比较结果中，部位横纵比超出标准取值范围的次数大于预设次数阈值，则判定驾驶员处于疲劳驾驶状态。通过本申请方案的实施，基于红外可见光辅助图像融合的应用决策，增加了输入图像的抗干扰能力，利用人脸关键点坐标进行运算判断司机的精神状态，可实现精准可靠的疲劳驾驶监测，保障驾驶安全，提升道路交通安全水平。
附图说明
[0018]图1为本申请第一实施例提供的一种驾驶行为监测方法的基础流程示意图；
[0019]图2为本申请第二实施例提供的一种驾驶行为监测方法的细化流程示意图；
[0020]图3为本申请第三实施例提供的驾驶行为监测装置的程序模块示意图；
[0021]图4为本申请第四实施例提供的电子装置的结构示意图。
具体实施方式
[0022]为使得本申请的专利技术目的、特征、优点能够更加的明显和易懂，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而非全部实施例。基于本申请中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
[0023]为了解决相关技术中所提供的疲劳检测系统在光照不足的情况下检测结果准确性较差的问题，本申请第一实施例提供了一种驾驶行为监测方法，如图1为本实施例提供的驾驶行为监测方法的基础流程示意图，该驾驶行为监测方法包括以下的步骤：
[0024]步骤101、将正对驾驶员设置的多目摄像头实时采集的红外图像以及可见光图像进行融合处理，得到融合图像。
[0025]具体的，本实施例的多目摄像头包括红外摄像头以及可见光摄像头，该多目摄像头优选为双目摄像头，即包括一个红外摄像头以及一个可见光摄像头，摄像头正对驾驶员设置，以对驾驶员整个面部进行图像采集。在实际应用中，当司机在夜间或可见度较低的环境驾驶车辆时，传统的疲劳检测系统无法准确对司机的面部特征进行提取。一张彩色图片
由3张灰度图像构成，利用第4幅则构成红外图像，红外图像能减少雾霾、烟尘等因素的干扰，在夜间有着卓越的图像效果，但在对比度、分辨率等方面，又不如可见光图像，故将二者结合互补，使得融合图像拥有更好的视觉效果和丰富的图像信息，可以大幅度的提高图像信息的利用率、可信度和检测判别精度。
[0026]应当说明的是，对于本实施例方法的触发时机，通常是在接收到汽车启动指令时，调用多目摄像头实时采集红外图像以及可见光图像。
[0027]在本实施例一种实施方式中，上述将正对驾驶员设置的多目摄像头实时采集的红外图像以及可见光图像进行融合处理，得到融合图像的步骤，包括：针对正对驾驶员设置的多目摄像头实时采集的红外图像以及可见光图像分别赋予相应的计算权重；基于红外图像、可见光图像的像素值以及计算权重，进行加权平均计算，得到融合图像。
[0028]具体的，本实施例采用基于空间域的加权平均融合方法对两种图像进行融合，对可见光图像和红外图像的像素点进行直接运算，也即将源图像像素的灰度值进行线性加权平均，从而综合两幅原始图像的像素信息，得到融合图像。
[0029]在本实施例一种实施方式中，上述将正对驾驶员设置的多目摄像头实时采集的红外图像以及可见光图像进行融合处理，得到融合图像的步骤之前，还包括：将红外图像以及可见光图像中本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种驾驶行为监测方法，其特征在于，所述驾驶行为监测方法包括：将正对驾驶员设置的多目摄像头实时采集的红外图像以及可见光图像进行融合处理，得到融合图像；其中，所述多目摄像头包括红外摄像头以及可见光摄像头；对所述融合图像进行人脸特征提取，并在所提取的人脸位置检测人脸关键点位置；基于所述人脸关键点位置计算相应人脸标志性部位的部位横纵比，并将所述部位横纵比与标准取值范围进行比较；若预设监测周期内的所有比较结果中，所述部位横纵比超出所述标准取值范围的异常次数大于预设次数阈值，则判定所述驾驶员处于疲劳驾驶状态。2.根据权利要求1所述的驾驶行为监测方法，其特征在于，所述将正对驾驶员设置的多目摄像头实时采集的红外图像以及可见光图像进行融合处理，得到融合图像的步骤，包括：针对正对驾驶员设置的多目摄像头实时采集的红外图像以及可见光图像分别赋予相应的计算权重；基于所述红外图像、所述可见光图像的像素值以及所述计算权重，进行加权平均计算，得到融合图像。3.根据权利要求1所述的驾驶行为监测方法，其特征在于，所述将正对驾驶员设置的多目摄像头实时采集的红外图像以及可见光图像进行融合处理，得到融合图像的步骤之前，还包括：将所述红外图像以及所述可见光图像中其中一幅图像作为待配准图像，并将另一幅图像作为参考图像；对所述待配准图像以及所述参考图像分别进行特征提取得到特征点，并通过相似性度量匹配特征点对；通过所述特征点对之间的相对关系确定图像空间坐标变换参数；基于所述图像空间坐标变换参数对所述待配准图像进行图像配准。4.根据权利要求1所述的驾驶行为监测方法，其特征在于，所述对所述融合图像进行人脸特征提取的步骤之前，还包括：对预设训练图像进行特征提取，得到人脸特征集以及非人脸特征集；对所述人脸特征集以及所述非人脸特征集进行训练，建立分类器；所述对所述融合图像进行人脸特征提取的步骤，包括：将所述融合图像输入至所述分类器，提取所述融合图像中的人脸特征。5.根据权利要求1所述的驾驶行为监测方法，其特征在于，...

【专利技术属性】
技术研发人员：卢淦标，高智洪，邓祖奕，杨帆，黄鹏鹏，李佳，
申请(专利权)人：深圳技术大学，
类型：发明
国别省市：