基于计算机视觉的疲劳驾驶检测方法及装置制造方法及图纸

本发明专利技术提出了基于计算机视觉的疲劳驾驶检测方法及装置，该方法包括：经由车载摄像装置实时地获取驾驶员的原始视频图像；提取所述原始视频图像中包含驾驶员的面部图像的每个图像帧并将其作为目标图像帧；针对所述目标图像帧执行面部特征点定位操作以确定面部特征点，随之基于所得到的面部特征点从所述目标图像帧中截取并分析目标子图像以确定驾驶员当前是否正在疲劳驾驶，其中，所述面部特征点定位操作基于级联回归运算。本发明专利技术所公开的方法及装置具有高的准确性和便捷性两者。

Method and device for detecting fatigue driving based on computer vision

The invention provides a computer vision fatigue driving detection method and device based on this method, including: the original video images via the vehicle camera device in real time to obtain the driver's facial image extraction; each image frame contains the driver the original video image and the image frame as the target; for the target image frame execution face the feature point positioning operation to determine the facial feature points, then facial feature points based on the obtained from the target image frame intercepting and analyzing the target image to determine whether the driver is fatigue driving, among them, the facial features location based on cascaded regression arithmetic. The method and the device disclosed by the invention have high accuracy and convenience.

【技术实现步骤摘要】
基于计算机视觉的疲劳驾驶检测方法及装置
本专利技术涉及疲劳驾驶检测方法及装置，更具体地，涉及基于计算机视觉的疲劳驾驶检测方法及装置。
技术介绍
目前，随着车辆的日益发展和普及，对驾驶员在行车中出现的疲劳现象(例如眨眼，打哈欠等等)进行实时地检测以避免事故的发生变得越来越重要。在现有的技术方案中，典型地基于驾驶员的生理参数(例如脑电波、眼电波、心律等等)来监测驾驶员是否出现疲劳现象，即通过将实时检测出的驾驶员的生理参数与其清醒时所测量的生理参数相比较而确定疲劳现象的发生。然而，上述现有的技术方案存在如下问题：由于在检测驾驶员的生理参数时必须使用接触人体的电极，故会对驾驶员造成干扰和负担，从而进一步影响行车驾驶的安全性。因此，存在如下需求：提供具有高的准确性和便捷性两者的基于计算机视觉的疲劳驾驶检测方法及装置。
技术实现思路
为了解决上述现有技术方案所存在的问题，本专利技术提出了具有高的准确性和便捷性两者的基于计算机视觉的疲劳驾驶检测方法及装置。本专利技术的目的是通过以下技术方案实现的：一种基于计算机视觉的疲劳驾驶检测方法，其包括下列步骤：(A1)经由车载摄像装置实时地获取驾驶员的原始视频图像；(A2)提取所述原始视频图像中包含驾驶员的面部图像的每个图像帧并将其作为目标图像帧；(A3)针对所述目标图像帧执行面部特征点定位操作以确定面部特征点，随之基于所得到的面部特征点从所述目标图像帧中截取并分析目标子图像以确定驾驶员当前是否正在疲劳驾驶，其中，所述面部特征点定位操作基于级联回归运算。在上面所公开的方案中，示例性地，所述步骤(A3)进一步包括：基于常规的Adaboost算法从所述目标图像帧中检测面部区域，并随之针对检测到的面部区域执行基于级联回归运算的面部特征点定位操作以确定面部特征点。在上面所公开的方案中，示例性地，所述面部特征点定位操作包括：(B1)基于N个训练样本Samplei＝(Ii，Si)，确定下列项：T×K×2F个弱回归器{ΔStkb}、T×K组选定的像素差特征，其中，每组具有F个特征，分别对应F×2个像素点T×K组像素差阈值其中，每组的维数为以及平均形状其中，N、T、K和F均是大于1的正整数，i＝1，2，3，…，N，Ii是用于训练的面部区域图像，Si是与Ii对应的面部特征点，t＝1，2，3，…，T，k＝1，2，3，…，K，b＝1，2，3，…，2F；(B2)针对每个所述目标图像帧I，基于所确定的T×K×2F个弱回归器{ΔStkb}、T×K组选定的像素差特征、T×K组像素差阈值以及平均形状计算指示面部特征点的形状S。在上面所公开的方案中，示例性地，所述步骤(B2)进一步包括：(1)初始化S值，使得针对在范围1至T中的每个t的值执行如下操作，其中t是正整数：针对在范围1至K中的每个k的值执行如下操作，其中k是正整数：(a)计算当前形状S与所述平均形状之间的仿射变换Affine；(b)根据所述仿射变换Affine而获取在原图上的像素值{Itk}；(c)根据{Itk}计算F维的像素差特征；(d)将对应维数与比较，以确定弱分类器ΔStkb；(e)更新形状S使得S＝S+ΔStkb。在上面所公开的方案中，示例性地，所述步骤(B1)进一步包括：(1)针对在范围1至N中的每个i的值执行如下操作，其中i是正整数：将真实形状Si进行归一化到当前形状(2)根据归一化的形状计算平均形状(3)针对在范围1至T中的每个t的值执行如下操作，其中t是正整数：在所述平均形状上随机地选择P个坐标点；(4)针对在范围1至N中的每个i的值执行如下操作，其中i是正整数：计算Si与之间的仿射变换Affine，以得到原图上的P个像素点，并计算P个像素点的差，以致得到P(P－1)/2个特征；(5)执行特征选择操作以确定F个特征的阈值：(6)根据F个特征的阈值，将N个样本分别划分为2F组{Ωb}，并以如下公式计算ΔStkb：(7)以如下方式更新N个训练样本的估计形状：针对在范围1至N中的每个i的值执行如下操作，其中i是正整数：(a)计算当前形状与平均形状之间的仿射变换Affine；(b)根据仿射变换Affine，获取在原图上的像素值{Itk}；(c)根据{Itk}计算F维的像素差特征；(d)将对应维数与比较，以确定弱分类器ΔStkb；(e)更新形状使得在上面所公开的方案中，示例性地，所述特征选择操作包括：针对在范围1至K中的每个k的值执行如下操作，其中k是正整数：针对在范围1至F中的每个f的值执行如下操作，其中f是正整数：(1)随机生成一组向量其维数与形状点维数相同；(2)针对在范围1至N中的每个i的值执行如下操作，其中i是正整数：根据真实形状Si与估计形状之间的误差ΔSi计算标量(3)针对在范围1至P(P－1)/2中的每个i的值执行如下操作，其中i是正整数：计算N个样本中第i个像素差特征与标量proji的相关性corri；(4)选择相关性最大的第i个像素差特征作为第f个特征，将坐标加入到中；(5)对选择好的F个特征，随机设置一组阈值。在上面所公开的方案中，示例性地，所述步骤(A3)进一步包括：在获取所述目标子图像后对其进行归一化操作以获得具有预定尺寸的归一化后的目标子图像，其中，所述归一化操作包括基于仿射变换算法消除所述目标子图像中存在的旋转、移动和/或缩放的影响。在上面所公开的方案中，示例性地，所述步骤(A3)进一步包括：以预定规则提取所述归一化后的目标子图像的特征并将其与基准数据库中的基准特征进行比较以确定两者是否一致或相似，由此确定驾驶员当前是否正在疲劳驾驶，其中，所述基准特征被预先分类，并且基于与所述归一化后的目标子图像一致或相似的基准特征的类别来确定驾驶员当前是否正在疲劳驾驶。在上面所公开的方案中，示例性地，所述步骤(A3)进一步包括：在确定驾驶员当前正在疲劳驾驶后向驾驶员发出警告或提醒。在上面所公开的方案中，优选地，所述面部特征点包括眼角坐标点，并且所述目标子图像包括眼睛图像，以及基于眨眼检测来确定驾驶员当前是否正在疲劳驾驶。在上面所公开的方案中，示例性地，所述面部特征点包括嘴巴轮廓坐标点，并且所述目标子图像包括嘴巴图像，以及基于哈欠检测来确定驾驶员当前是否正在疲劳驾驶。在上面所公开的方案中，示例性地，当所述目标子图像是眼睛图像时，根据驾驶员是否佩戴眼镜而选择不同的基准特征进行所述比较。在上面所公开的方案中，示例性地，当所述目标子图像是眼睛图像时，附加地根据驾驶员的眼睛大小而选择不同的基准特征进行所述比较。在上面所公开的方案中，示例性地，当所述目标子图像包括眼睛图像时，以如下方式归一化所述眼睛图像：(1)通过图像旋转得到正脸眼部区域图像，且使眼睛的外接正方形转为水平方向；(2)从所述正脸眼部区域图像中截取包含眼睛的正方形区域并将所述包含眼睛的正方形区域的尺寸缩放到预定的尺寸；(3)以左眼角和右眼角特征点为中心，将所述包含眼睛的正方形区域的高度分别剪除边长的1/4；(4)将经剪除后的眼睛区域图像在高度上放大1倍。在上面所公开的方案中，示例性地，以与归一化所述眼睛图像相同的方式对预先收集的图像样本进行特征提取和分类来获得针对眼睛图像的基准特征。在上面所公开的方案中，示例性地，在对预先收集的图像样本进行特征提取和分类以获得针对眼睛图像的基准本文档来自技高网...

【技术保护点】
一种基于计算机视觉的疲劳驾驶检测方法，其包括下列步骤：(A1)经由车载摄像装置实时地获取驾驶员的原始视频图像；(A2)提取所述原始视频图像中包含驾驶员的面部图像的每个图像帧并将其作为目标图像帧；(A3)针对所述目标图像帧执行面部特征点定位操作以确定面部特征点，随之基于所得到的面部特征点从所述目标图像帧中截取并分析目标子图像以确定驾驶员当前是否正在疲劳驾驶，其中，所述面部特征点定位操作基于级联回归运算。

【技术特征摘要】
1.一种基于计算机视觉的疲劳驾驶检测方法，其包括下列步骤：(A1)经由车载摄像装置实时地获取驾驶员的原始视频图像；(A2)提取所述原始视频图像中包含驾驶员的面部图像的每个图像帧并将其作为目标图像帧；(A3)针对所述目标图像帧执行面部特征点定位操作以确定面部特征点，随之基于所得到的面部特征点从所述目标图像帧中截取并分析目标子图像以确定驾驶员当前是否正在疲劳驾驶，其中，所述面部特征点定位操作基于级联回归运算。2.根据权利要求1所述的基于计算机视觉的疲劳驾驶检测方法，其特征在于，所述步骤(A3)进一步包括：基于常规的Adaboost算法从所述目标图像帧中检测面部区域，并随之针对检测到的面部区域执行基于级联回归运算的面部特征点定位操作以确定面部特征点。3.根据权利要求2所述的基于计算机视觉的疲劳驾驶检测方法，其特征在于，所述面部特征点定位操作包括：(B1)基于N个训练样本Samplei＝(Ii，Si)，确定下列项：T×K×2F个弱回归器{ΔStkb}、T×K组选定的像素差特征，其中，每组具有F个特征，分别对应F×2个像素点T×K组像素差阈值其中，每组的维数为以及平均形状其中，N、T、K和F均是大于1的正整数，i＝1，2，3，…，N，Ii是用于训练的面部区域图像，Si是与Ii对应的面部特征点，t＝1，2，3，…，T，k＝1，2，3，…，K，b＝1，2，3，…，2F；(B2)针对每个所述目标图像帧I，基于所确定的T×K×2F个弱回归器{ΔStkb}、T×K组选定的像素差特征、T×K组像素差阈值以及平均形状计算指示面部特征点的形状S。4.根据权利要求3所述的基于计算机视觉的疲劳驾驶检测方法，其特征在于，所述步骤(B2)进一步包括：(1)初始化S值，使得(2)针对在范围1至T中的每个t的值执行如下操作，其中t是正整数：针对在范围1至K中的每个k的值执行如下操作，其中k是正整数：(a)计算当前形状S与所述平均形状之间的仿射变换Affine；(b)根据所述仿射变换Affine而获取在原图上的像素值{Itk}；(c)根据{Itk}计算F维的像素差特征；(d)将对应维数与比较，以确定弱分类器ΔStkb；(e)更新形状S使得S＝S+ΔStkb。5.根据权利要求4所述的基于计算机视觉的疲劳驾驶检测方法，其特征在于，所述步骤(B1)进一步包括：(1)针对在范围1至N中的每个i的值执行如下操作，其中i是正整数：将真实形状Si进行归一化到当前形状(2)根据归一化的形状计算平均形状(3)针对在范围1至T中的每个t的值执行如下操作，其中t是正整数：在所述平均形状上随机地选择P个坐标点；(4)针对在范围1至N中的每个i的值执行如下操作，其中i是正整数：计算Si与之间的仿射变换Affine，以得到原图上的P个像素点，并计算P个像素点的差，以致得到P(P－1)/2个特征；(5)执行特征选择操作以确定F个特征的阈值：(6)根据F个特征的阈值，将N个样本分别划分为2F组{Ωb}，并以如下公式计算ΔStkb：(7)以如下方式更新N个训练样本的估计形状：针对在范围1至N中的每个i的值执行如下操作，其中i是正整数：(a)计算当前形状与平均形状之间的仿射变换Affine；(b)根据仿射变换Affine，获取在原图上的像素值{Itk}；(c)根据{Itk}计算F维的像素差特征；(d)将对应维数与比较，以确定弱分类器ΔStkb；(e)更新形状使得6.根据权利要求5所述的基于计算机视觉的疲劳驾驶检测方法，其特征在于，所述特征选择操作包括：针对在范围1至K中的每个k的值执行如下操作，其中k是正整数：针对在范围1至F中的每个f的值执行如下操作，其中f是正整数：(1)随机生成一组向量其维数与形状点维数相同；(2)针对在...

【专利技术属性】
技术研发人员：蒋海军，
申请(专利权)人：上海蔚来汽车有限公司，
类型：发明
国别省市：上海,31