基于深度学习的驾驶行为及状态检测方法及装置制造方法及图纸

本发明专利技术公开了一种基于深度学习的驾驶行为及状态检测方法及装置，该检测方法包括配置车载采集装置，用来实时采集驾驶员在实际驾驶状态下的驾驶图像；构建卷积神经网络模型，卷积神经网络模型被配置为接收驾驶图像，并对驾驶图像进行卷积处理后，输出基于驾驶图像上的驾驶行为类别、驾驶行为位置信息、驾驶状态类别、以及与驾驶行为位置具有相对位置关联关系的驾驶状态位置信息；配置决策模块，决策模块被配置为接收卷积神经网络模型的输出结果、并对输出结果进行分析，以判定驾驶员是否为疲劳驾驶。本发明专利技术不仅检测精度高、检测效率高，还很好的减少了系统的空间、算力和时间开销，大大提高了系统的实时性。提高了系统的实时性。提高了系统的实时性。

【技术实现步骤摘要】
基于深度学习的驾驶行为及状态检测方法及装置


[0001]本专利技术涉及汽车驾驶
，尤其涉及一种基于深度学习的驾驶行为及状态检测方法及装置。

技术介绍

[0002]针对驾驶员的驾驶行为及状态检测，目前主流的做法是使用深度学习方法进行检测，具体为：使用两种神经网络算法分别对驾驶员进行驾驶行为检测和驾驶状态检测。
[0003]上述做法虽然能够实现对驾驶员的行为和状态进行检测，但其会增大硬件内存空间和算力开销，间接提高了成本。
[0004]特别是在针对驾驶员状态的检测中，目前通用的方法是先使用人脸关键点神经网络算法对驾驶员脸部的关键点进行检测，再使用计算出的关键点信息进行逻辑计算，最终判断出此时驾驶员的状态，如：眼睛的睁闭，嘴巴的开合状态等。这样的逻辑计算也会占用一定的算力和时间，对整个系统的实时性产生了一定的影响。
[0005]有鉴于此，特提出本专利技术。

技术实现思路

[0006]为了克服上述缺陷，本专利技术提供了一种基于深度学习的驾驶行为及状态检测方法及装置，其不仅检测精度高、检测效率高，还很好的减少了系统的空间、算力和时间开销，大大提高了系统的实时性。
[0007]本专利技术为了解决其技术问题所采用的技术方案是：一种基于深度学习的驾驶行为及状态检测方法，包括：
[0008]配置车载采集装置，用来实时采集驾驶员在实际驾驶状态下的驾驶图像；
[0009]构建卷积神经网络模型，所述卷积神经网络模型被配置为接收所述驾驶图像，并对所述驾驶图像进行卷积处理后，输出基于所述驾驶图像上的驾驶行为类别、驾驶行为位置信息、驾驶状态类别、以及与驾驶行为位置具有相对位置关联关系的驾驶状态位置信息；
[0010]配置决策模块，用来接收所述卷积神经网络模型的输出结果、并对所述输出结果进行分析，以判定驾驶员是否为疲劳驾驶。
[0011]作为本专利技术的进一步改进，建立训练数据集和验证数据集，用于所述卷积神经网络模型进行训练学习。
[0012]作为本专利技术的进一步改进，采集驾驶员在实际驾驶状态下的待训练图像，对所得待训练图像进行预处理，并对预处理后的待训练图像进行分类和标注后，得到用于所述卷积神经网络模型进行训练学习的所述训练数据集和验证数据集。
[0013]作为本专利技术的进一步改进，对预处理后的待训练图像进行标注的内容包括驾驶行为信息和驾驶状态信息，其中，
[0014]所述驾驶行为信息包括驾驶行为位置框和驾驶行为的具体类别，且所述驾驶行为的类别包括驾驶员正常驾驶、驾驶员正在抽烟、驾驶员正在喝水及驾驶员正在接打电话；
[0015]所述驾驶状态信息包括驾驶状态位置框和驾驶状态的具体类别，且所述驾驶状态的类别包括左眼睁眼状态、左眼闭眼状态、右眼睁眼状态、右眼闭眼状态、嘴巴张开状态及嘴巴闭合状态。
[0016]作为本专利技术的进一步改进，所述车载采集装置采用车载摄像头；所述卷积神经网络模型采用VGGNet卷积网络模型作为特征提取子网络。
[0017]作为本专利技术的进一步改进，基于所述卷积神经网络模型的训练学习，所述卷积神经网络模型通过对所述驾驶图像进行特征提取，得到所述驾驶行为的具体类别；
[0018]以及，所述卷积神经网络模型通过对所述驾驶图像进行检测、计算，得到所述驾驶行为位置信息、与驾驶行为位置具有相对位置关联关系的驾驶状态位置信息、以及驾驶状态类别。
[0019]作为本专利技术的进一步改进，所述卷积神经网络模型对所述驾驶图像进行检测、计算的具体操作方法包括：
[0020]采用先验框检测方式对所述驾驶图像上的驾驶行为位置框进行预测，得到所述驾驶行为位置框的中心点位置相对于预先设定好的先验框的中心点位置的位置偏移量A、所述驾驶行为位置框的框宽相对于先验框的框宽的伸缩量A、以及所述驾驶行为位置框的框高相对于先验框的框高的伸缩量B；所得位置偏移量A、伸缩量A及伸缩量B协同反映出所述驾驶行为位置框的神经网络位置回归值；
[0021]根据所述驾驶图像上的驾驶行为位置框在图像坐标系下的中心点位置坐标、框宽和框高，以及所述驾驶图像上的驾驶行为位置框与驾驶状态位置框之间的相对位置关系，计算得到所述驾驶状态位置框的中心点位置相对于所述驾驶行为位置框的标定点位置的位置偏移量B、所述位置偏移量B分别相对于所述驾驶行为位置框的框宽和框高的归一化值、所述驾驶状态位置框的框宽相对于所述驾驶行为位置框的框宽的伸缩量a、以及所述驾驶状态位置框的框高相对于所述驾驶行为位置框的框高的伸缩量b，所得归一化值、伸缩量a及伸缩量b协同反映出所述驾驶状态位置框的神经网络位置回归值。
[0022]作为本专利技术的进一步改进，在所述驾驶图像的图像坐标系下，所述驾驶行为位置框的中心点位置坐标为(X0,Y0)、标定点位置坐标为(X1,Y1)、框宽为W、框高为H；
[0023]所述驾驶状态位置框包括左眼位置框、右眼位置框和嘴巴位置框，其中，所述左眼位置框的中心点位置坐标为(X
l
‑
eye
,Y
l
‑
eye
)、框宽为W
l
‑
eye
、框高为H
l
‑
eye
；所述右眼位置框的中心点位置坐标为(X
r
‑
eye
,Y
r
‑
eye
)、框宽为W
r
‑
eye
、框高为H
r
‑
eye
；所述嘴巴位置框的中心点位置坐标为(X
mouth
,Y
mouth
)、框宽为W
mouth
、框高为H
mouth
；
[0024]将所述左眼位置框的中心点位置相对于所述驾驶行为位置框的标定点位置的位置偏移量B记作为左眼位置偏移量B，所述左眼位置偏移量B满足下述关系：
[0025]△
X
l
‑
eye
＝X
l
‑
eye
‑
X1，
△
Y
l
‑
eye
＝Y
l
‑
eye
‑
Y1；
[0026]且所述左眼位置偏移量B相对于所述驾驶行为位置框的框宽和框高的归一化值分别满足下述关系：
[0027][0028]将所述左眼位置框的框宽相对于所述驾驶行为位置框的框宽的伸缩量a记作为左
眼框宽伸缩量a，所述左眼框宽伸缩量a满足下述关系：
[0029]将所述左眼位置框的框高相对于所述驾驶行为位置框的框高的伸缩量b记作为左眼框高伸缩量b，所述左眼框高伸缩量b满足下述关系：
[0030]即：(X
l
‑
true
,Y
l
‑
true
,w
l
‑
eye
,h<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的驾驶行为及状态检测方法，其特征在于：包括：配置车载采集装置(1)，用来实时采集驾驶员在实际驾驶状态下的驾驶图像；构建卷积神经网络模型(2)，所述卷积神经网络模型(2)被配置为接收所述驾驶图像，并对所述驾驶图像进行卷积处理后，输出基于所述驾驶图像上的驾驶行为类别、驾驶行为位置信息、驾驶状态类别、以及与驾驶行为位置具有相对位置关联关系的驾驶状态位置信息；配置决策模块(3)，用来接收所述卷积神经网络模型(2)的输出结果、并对所述输出结果进行分析，以判定驾驶员是否为疲劳驾驶。2.根据权利要求1所述的基于深度学习的驾驶行为及状态检测方法，其特征在于：建立训练数据集和验证数据集，用于所述卷积神经网络模型(2)进行训练学习。3.根据权利要求2所述的基于深度学习的驾驶行为及状态检测方法，其特征在于：采集驾驶员在实际驾驶状态下的待训练图像，对所得待训练图像进行预处理，并对预处理后的待训练图像进行分类和标注后，得到用于所述卷积神经网络模型(2)进行训练学习的所述训练数据集和验证数据集。4.根据权利要求3所述的基于深度学习的驾驶行为及状态检测方法，其特征在于：对预处理后的待训练图像进行标注的内容包括驾驶行为信息和驾驶状态信息，其中，所述驾驶行为信息包括驾驶行为位置框和驾驶行为的具体类别，且所述驾驶行为的类别包括驾驶员正常驾驶、驾驶员正在抽烟、驾驶员正在喝水及驾驶员正在接打电话；所述驾驶状态信息包括驾驶状态位置框和驾驶状态的具体类别，且所述驾驶状态的类别包括左眼睁眼状态、左眼闭眼状态、右眼睁眼状态、右眼闭眼状态、嘴巴张开状态及嘴巴闭合状态。5.根据权利要求1所述的基于深度学习的驾驶行为及状态检测方法，其特征在于：所述车载采集装置(1)采用车载摄像头；所述卷积神经网络模型(2)采用VGGNet卷积网络模型作为特征提取子网络。6.根据权利要求4所述的基于深度学习的驾驶行为及状态检测方法，其特征在于：基于所述卷积神经网络模型(2)的训练学习，所述卷积神经网络模型(2)通过对所述驾驶图像进行特征提取，得到所述驾驶行为的具体类别；以及，所述卷积神经网络模型(2)通过对所述驾驶图像进行检测、计算，得到所述驾驶行为位置信息、与驾驶行为位置具有相对位置关联关系的驾驶状态位置信息、以及驾驶状态类别。7.根据权利要求6所述的基于深度学习的驾驶行为及状态检测方法，其特征在于：所述卷积神经网络模型(2)对所述驾驶图像进行检测、计算的具体操作方法包括：采用先验框检测方式对所述驾驶图像上的驾驶行为位置框进行预测，得到所述驾驶行为位置框的中心点位置相对于预先设定好的先验框的中心点位置的位置偏移量A、所述驾驶行为位置框的框宽相对于先验框的框宽的伸缩量A、以及所述驾驶行为位置框的框高相对于先验框的框高的伸缩量B；所得位置偏移量A、伸缩量A及伸缩量B协同反映出所述驾驶行为位置框的神经网络位置回归值；根据所述驾驶图像上的驾驶行为位置框在图像坐标系下的中心点位置坐标、框宽和框高，以及所述驾驶图像上的驾驶行为位置框与驾驶状态位置框之间的相对位置关系，计算
得到所述驾驶状态位置框的中心点位置相对于所述驾驶行为位置框的标定点位置的位置偏移量B、所述位置偏移量B分别相对于所述驾驶行为位置框的框宽和框高的归一化值、所述驾驶状态位置框的框宽相对于所述驾驶行为位置框的框宽的伸缩量a、以及所述驾驶状态位置框的框高相对于所述驾驶行为位置框的框高的伸缩量b，所得归一化值、伸缩量a及伸缩量b协同反映出所述驾驶状态位置框的神经网络位置回归值。8.根据权利要求7所述的基于深度学习的驾驶行为及状态检测方法，其特征在于：在所述驾驶图像的图像坐标系下，所述驾驶行为位置框的中心点位置坐标为(X0,Y0)、标定点位置坐标为(X1,Y1)、框宽为W、框高为H；所述驾驶状态位置框包括左眼位置框、右眼位置框和嘴巴位置框，其中，所述左眼位置框的中心点位置坐标为(X
l
‑
eye
,Y
l
‑
eye
)、框宽为W
l
‑
eye
、框高为H
l
‑
eye
；所述右眼位置框的中心点位置坐标为(X
r
‑
eye
,Y
r
‑
eye
)、框宽为W
r
‑
eye
、框高为H
r
‑
eye
；所述嘴巴位置框的中心点位置坐标为(X
mouth
,Y
mouth
)、框宽为W
mouth
、框高为H
mouth
；将所述左眼位置框的中心点位置相对于所述驾驶行为位置框的标定点位置的位置偏移量...

【专利技术属性】
技术研发人员：吴晓闯，孙长亮，
申请(专利权)人：昆山星际舟智能科技有限公司，
类型：发明
国别省市：