【技术实现步骤摘要】
本专利技术涉及计算机视觉，图像分析等领域，具体地说，涉及一种基于双分支型细粒度映射结构的驾驶员注意力检测方法。
技术介绍
1、随着我国交通水平的发展以及人们的生活质量的日益提升，尽管如今的交通方式多彩多样，地铁，电驴，共享单车等等在很多城市都已经普遍分布，但是私家车仍然是主要的交通工具，私家车对于一个家庭来说已经不再是件难以实现的事情。然而随之带来的是日益增加的交通事故率，带来的人员伤亡与损失的总数正在巨大的上升，研究表明，在所有交通事故中，因驾驶注意力分散酿成的事故占总数的三成之多，因此一个有效的，可以及时检测并加以提醒来预防事故的驾驶注意力分散检测系统对保证交通安全有着非凡的意义。
2、一些车辆的前端都会有实时的摄像录屏系统，系统会将采集的视频分为多帧视频图送往驾驶注意力分散检测系统中进行检测。头部的姿态角度变化是判别人是否驾驶注意力分散的一个重要表现形式，一些驾驶员在驾驶途中，由于一些因素的干扰导致注意力下降或者分散，出现低头，仰头，四周张望这些行为都是及其危险的，系统检测后会及时预警加以提醒。面部的一些表情的变化也同样会反映疲劳的状态，打哈欠，眨眼睛等行为都是可能驾驶注意力分散的行为，系统也会进行预警提醒。然而，从单张的视频图像进行头部姿态估计当前面临着一系列挑战：
3、⑴如今车辆驾驶过程中，人的身体和头部会发生大幅度的变化，并且在黑夜或者隧道时也会产生光线问题，为了采集人头部的照片，需要一个可以全面采集人的姿态变化并且可以很好的处理采集图像的摄像头。
4、⑵传统的头部姿态估计需要学习
5、⑶还有一种采集图像的方法为深度图法，极容易损失2d信息，并且深度图对摄像头的要求极高，无法被广泛应用。因此我们急需寻找一种直接通过图像输入网络进行头部姿态估计估计的方法。
技术实现思路
1、本专利技术要解决的技术问题在于针对以往方法中存在的弊端和缺陷，采用了新型的鱼眼摄像头，并提出一种基于双分支型细粒度映射结构的驾驶员注意力检测方法，可以实时检测驾驶员驾驶过程中是否存在头部偏移，打哈欠等注意力分散的现象并进行预警的提醒，有效的保障的驾驶安全，大幅度降低了因驾驶注意力分散导致的交通事故发生率。
2、本专利技术解决其技术问题所采用的技术方案是：一种基于双分支型细粒度映射结构的驾驶员注意力检测方法，包括如下步骤：
3、获取车辆驾驶检测系统中鱼眼摄像头下的驾驶员开车过程视频，并将视频按时间分为多帧的图像；
4、对车辆驾驶检测系统中视频多帧图像输入预处理模块，主要通过伽马校正对图像的光感进行调整；
5、将预处理后的考生视频多帧图像输入训练好的头部姿态估计模型中获取驾驶员在驾车过程中的实时头部姿态角、输入到头部面部检测模型中获取驾驶员在驾驶过程中一些面部特征点的变化；
6、根据每一时刻驾驶员的头部姿态角度变化过程和面部的一些特征点变化过程判断是否大于阈值f，从而对驾驶员驾驶过程是否存在驾驶注意力分散行为进行判断；
7、根据是否存在驾驶注意力分散行为判断结果，检测系统及时开启预警提示提醒驾驶员进而预防交通事故。
8、图像预处理模型主要包括以下步骤：
9、步骤1.1.1，对输入进来的视频多帧图像进行归一化处理，即若图像的像素范围为[0,a]，将其中每一个像素值b进行归一化处理即b/a。
10、步骤1.1.2，对归一化后的图像进行了伽马补偿处理，即：
11、步骤1.1.3，最后再对伽马补偿处理后的图像像素进行反归一化操作，即：c×(a+1)得到伽马校正后的像素值。
12、头部姿态估计模型包括五大模块：软阶段回归的特征提取融合模块，scoringfunction模块，fine-grained structure映射模块，特征聚合模块，最后用ssr输出模块进行计算，得到头部姿态的三个角度用来对驾驶注意力分散行为进行判断。
13、所述的软阶段回归的特征提取融合模块是对图像进行双分支的特征提取和两两融合，scoring function模块是类似于注意力机制，对上一层的特征进行分组，fine-grained structure映射模块可以理解为比较全面的pooling操作，特征聚合模块采用的是比较先进的netvlad，ssr模型是一种曾经用来估算年龄的一种分阶段和概率的一类模型方法。
14、按上述方案，所述模块i软阶段回归的特征提取融合模块过程如下：
15、步骤2.1.1，将预处理后的图像输入到双流行的3折stage结构进行特征提取与融合。两个流的结构的区别是他们的激活函数与池化方式不同。
16、步骤2.1.2，图像进入到第一分支，该结构采用的是relu激活函数和covpool化方式，基于br模块：gr(c)＝{sepconv2d(3×3,c)-bh-relu}，其上的sepconv2d就是2维卷积，bh表示批量正则化，c则表示通道的个数。
17、因此第一个streams的结构由下列三个阶段组成：
18、{gr(32)-augpool(2×2)-gr(64)-gr(64)-covpool(2×2)}，
19、{gr(32)--gr(128)-covpool(2×2)}，{gr(256)--gr(256)}。
20、步骤2.1.3，图像同时进入第二分支，该结构采用的是tanh激活函数和maxpool池化方式，基于rt模块：gt(c)＝{sepconv2d(3×3,c)-bh-tanh}，其上的sepconv2d就是2维卷积，bh表示批量正则化。因此第二个分支的结构由下列三个阶段组成：
21、{gt(32)-augpool(2×2)-gt(64)-gt(64)-augpool(2×2)}，
22、{gt(128)--gt(128)-augpool(2×2)}，{gt(256)--gt(256)}。
23、步骤2.1.4，两分支结构用不同的方法提取特征后进行两两融合形成特征图，该双流型结构是在ssr模型上进行改善后建立的，所用的也是和年龄估计的方法相同，把一个回归问题当初一个分类问题来看，最后用递归计算的方法去得到预测值，过程中的计算公式可以概括为其中可以理解为角度的预测值，l为折数，即为第几阶段，可理解为某个角度范围的的概率，可理解为该角度范围的中心偏移量，v是一个角度的整体范围，可理解为把该角度细分后整体分为多少块，为了保证精准性还对区域添加了一些动态变量，如：sl是上面所提到的阶段l时所均分的不重叠的整体区域个数，加了个δl作为一个波动的区域，因此每个角度区域的跨度应该为然后再把每个区域做一个偏移：由此得到上面的整体预测公式，最后得到集合两两融合构成l个w×b×c特征图，记为hl。<本文档来自技高网...
【技术保护点】
1.一种基于双分支型细粒度映射结构的驾驶员注意力检测方法，其特征在于，包括步骤：
2.如权利要求1所述的一种基于双分支型细粒度映射结构的驾驶员注意力检测方法，其特征在于，所述的头部姿态估计模型包括五大模块：软阶段回归的特征提取融合模块，Scoring function模块，Fine-grained structure映射模块，以及特征聚合模块，最后用SSR输出模块进行计算，得到头部姿态的三个角度用来对驾驶注意力分散行为进行判断。
3.如权利要求2所述的一种基于双分支型细粒度映射结构的驾驶员注意力检测方法，其特征在于，所述的图像预处理模块过程如下：
4.如权利要求2所述的一种基于双分支型细粒度映射结构的驾驶员注意力检测方法，其特征在于，所述模块I软阶段回归的特征提取模块训练过程如下：
5.如权利要求2所述的一种基于双分支型细粒度映射结构的驾驶员注意力检测方法，其特征在于，所述模块II的Scoring function注意力机制模块过程如下：
6.如权利要求2所述的一种基于双分支型细粒度映射结构的驾驶员注意力检测方法，其特征
7.如权利要求2所述的一种基于双分支型细粒度映射结构的驾驶员注意力检测方法，其特征在于，所述模块IV的特征聚合模块过程如下：
8.如权利要求1所述的一种基于双分支型细粒度映射结构的驾驶员注意力检测方法，其特征在于，所述的面部检测模型包括三阶段面部检测网络模块，SDM算法特征点检测。
9.如权利要求8所述的一种通过头部面部检测来进行驾驶注意力分散检测的方法，其特征在于，所述的三阶段面部检测网络模块过程如下：
10.如权利要求8所述的一种通过头部面部检测来进行驾驶注意力分散检测的方法，其特征在于，所述的SDM算法特征点检测过程如下：
...【技术特征摘要】
1.一种基于双分支型细粒度映射结构的驾驶员注意力检测方法，其特征在于，包括步骤：
2.如权利要求1所述的一种基于双分支型细粒度映射结构的驾驶员注意力检测方法，其特征在于，所述的头部姿态估计模型包括五大模块：软阶段回归的特征提取融合模块，scoring function模块，fine-grained structure映射模块，以及特征聚合模块，最后用ssr输出模块进行计算，得到头部姿态的三个角度用来对驾驶注意力分散行为进行判断。
3.如权利要求2所述的一种基于双分支型细粒度映射结构的驾驶员注意力检测方法，其特征在于，所述的图像预处理模块过程如下：
4.如权利要求2所述的一种基于双分支型细粒度映射结构的驾驶员注意力检测方法，其特征在于，所述模块i软阶段回归的特征提取模块训练过程如下：
5.如权利要求2所述的一种基于双分支型细粒度映射结构的驾驶员注意力检测方法，其特征在...
【专利技术属性】
技术研发人员：李少义，田斌，熊江俊，肖守柏，黎曦，李超，杜军，刘婷婷，鞠剑平，
申请(专利权)人：南昌工学院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。