【技术实现步骤摘要】
本专利技术涉及人工智能，尤其涉及驾驶员驾驶行为监测系统、方法及存储介质。
技术介绍
1、驾驶员监测系统是一种针对车辆驾驶员的监测系统，主要应用于实现车辆行驶过程中，对驾驶员的分心监测、疲劳监测以及抽烟打电话等危险行为的监测。可以依据视觉信息、生理指标和车辆信息判断车辆是否需要从无人驾驶状态介入辅助驾驶状态，确保车辆行驶中驾驶员的专注度，提高驾驶的安全性，减少交通事故的发生。目前的驾驶员监测系统大多需要输入多种信息，例如摄像头图像、驾驶员的心率、方向盘的压力数据等。然而过多的介入设备本身就会干扰驾驶员的操作，影响驾驶安全性。另外也有只采用手环等设备监测驾驶员状态的方案，但是这种方案也会在一定程度上影响驾驶员的操作。
技术实现思路
1、为解决现有技术中的上述问题中的至少一部分问题，本专利技术提供一种驾驶员驾驶行为监测系统，包括：
2、驾驶舱摄像头，其被配置为获取驾驶舱内的视觉信息；
3、目标检测模块，其被配置为根据所述视觉信息，确定监测系统所需物体的类别，并输出物体的包围边框，其中所述监测系统所需物体包括人体和人脸；
4、全身关键点检测模块，其被配置为根据目标检测模块输出的人体的包围边框，将视觉信息根据边框位置仿射变化为只包含人体信息的图片，并检测全身的关键点；
5、人脸关键点检测模块，其被配置为根据目标检测模块输出的人脸的包围边框，将视觉信息根据边框位置仿射变化为只包含人脸的图片，并检测人脸的关键点；以及
6、行为监测模块，
7、进一步地，监测系统所需物体还包括下列各项中的一个或多个：方向盘、水杯、香烟、手机、食物、玩具、书本和饮料瓶；
8、所述全身的关键点包括躯干、双脚、面部和双手；以及
9、所述人脸的关键点包括轮廓、眉毛、眼睛、嘴巴和鼻子。
10、进一步地，所述全身关键点检测模块使用基于蒸馏方式训练的rtmpose模型检测全身的关键点，包括：
11、通过主干网络对待检测图片提取图片特征；
12、对图片特征使用自注意力机制提升关键点在特征中的表达能力；以及
13、使用纵坐标分类器和横坐标分类器进行分类，输出每个关键点的横坐标和纵坐标，得到全身关键点的坐标。
14、进一步地，所述人脸关键点检测模块由四个沙漏网络堆叠而成，每个网络预测n个特征输入四组横纵坐标分类器，得到人脸关键点；
15、所述人脸关键点检测模块训练时损失函数为：
16、
17、其中dist()为距离计算函数，yt为关键点真实坐标，pred为模型预测关键点坐标，λ和v为定制主成分分析提取的主要成分，其中第一主成分表达脸部轮廓。
18、进一步地，所述行为监测模块包括：
19、异常行为识别模型，其被配置为根据目标检测模型主干网络输出的特征图确定驾驶员的驾驶行为是否为异常驾驶行为；
20、闭眼监测，其被配置为根据人脸关键点中的眼睛关键点信息计算眼睛纵横比，以确定驾驶员是否闭眼；
21、哈欠监测，其被配置为根据人脸关键点中嘴巴关键点信息，计算嘴部纵横比，以确定驾驶员是否打哈欠；
22、疲劳监测，其被配置为根据闭眼监测判断单位时间内闭眼占比以及根据哈欠监测判断单位时间打哈欠占比，来确定驾驶员处是否处于疲惫状态；
23、方向盘监测，其被配置为根据全身关键点中的手部关键点和躯干关键点以及方向盘边框信息进行计算，来判断双手是否处于方向盘上，以进一步确定驾驶员是否处于正常驾驶状态；以及
24、危险行为监测，其被配置为根据全身关键点中的手部关键点和躯干关键点以及人脸关键点信息计算驾驶员手部是否靠近脸部，计算手臂弯曲程度，结合目标检测模块检测危险驾驶相关物体在手部与脸部临近区域，以判断驾驶员处于危险驾驶状态。
25、本专利技术还提供一种驾驶员驾驶行为监测方法，包括：
26、获取驾驶舱内的视觉信息；
27、由目标检测模块根据视觉信息确定监测系统所需物体的类别，其中所述监测系统所需物体包括人脸、人体、方向盘、水杯、香烟、手机、食物、玩具、书本和饮料瓶中的多个，并输出包围边框；
28、由全身关键点检测模块根据目标检测模块输出的人体包围边框，将视觉信息根据边框位置仿射变化为只包含人体信息的图片，并检测全身的关键点，包括躯干、双脚、面部和双手四个部位；
29、由人脸关键点检测模块根据目标检测模块输出的人脸包围边框，将视觉信息根据边框位置仿射变化为只包含人脸的图片，并检测人脸的关键点，包括轮廓、眉毛、眼睛、嘴巴和鼻子五个部位；
30、由异常行为识别模型根据目标检测模型主干网络输出的特征图进行计算以确定驾驶员的驾驶行为是否为异常驾驶行为，若确定是异常驾驶行为则进一步由监测算法根据全身关键点、人脸关键点、方向盘边框及危险驾驶相关物体信息进行计算分析，进一步确定驾驶员是否处于异常驾驶状态；以及
31、由行为监测模块通过计算分析人脸关键点的信息，确定驾驶员是否处于疲惫状态。进一步地，其中若确定是异常驾驶行为则根据全身关键点、人脸关键点、方向盘边框及危险驾驶相关物体信息进行计算分析，再次确定驾驶员是否处于异常驾驶状态包括：
32、根据全身关键点中的手部关键点和躯干关键点以及方向盘边框信息进一步监测，首先计算手部位置与方向盘位置是否重叠，判断双手是否处于方向盘上，并通过躯干关键点计算手臂弯曲程度以辅助监测驾驶员是否处于正常驾驶状态；以及
33、根据全身关键点中的手部关键点和躯干关键点以及人脸关键点信息进一步监测，首先根据位置计算驾驶员手部是否靠近脸部，并且目标检测模块检测到危险驾驶相关物体也在手部与脸部临近区域，而且通过躯干关键点计算得到的手臂弯曲程度超过阈值，则判定驾驶员的行为属于驾驶危险行为。
34、进一步地，其中由行为监测模块通过计算分析人脸关键点的信息，确定驾驶员是否处于疲惫状态包括：
35、根据人脸关键点中眼睛关键点信息计算眼睛纵横比，以确定驾驶员是否闭眼；
36、根据人脸关键点中嘴巴关键点信息计算嘴部纵横比，以确定驾驶员是否打哈欠；以及
37、根据闭眼监测判断单位时间内闭眼占比或者根据哈欠监测判断单位时间打哈欠占比，来确定驾驶员处是否处于疲惫状态。
38、进一步地，所述人脸关键点检测模块由四个沙漏网络堆叠而成，每个网络预测n个特征输入四组横纵坐标分类器，得到人脸关键点；
39、所述人脸关键点检测模块训练时损失函数为：
40、
41、其中dist()为距离计算函数，yt为关键点真实坐标，pred为模型预测关键点坐标，λ和v为定制主成分分析提取的主要成分，其中第一主成分表达脸部轮廓。
42、进一步地，所述全身关键点检测模块使用基本文档来自技高网...
【技术保护点】
1.一种驾驶员驾驶行为监测系统，其特征在于，包括：
2.根据权利要求1所述的系统，其特征在于，监测系统所需物体还包括下列各项中的一个或多个：方向盘、水杯、香烟、手机、食物、玩具、书本和饮料瓶；
3.根据权利要求1所述的系统，其特征在于，所述全身关键点检测模块使用基于蒸馏方式训练的RTMpose模型检测全身的关键点，包括：
4.根据权利要求1所述的系统，其特征在于，所述人脸关键点检测模块由四个沙漏网络堆叠而成，每个网络预测n个特征输入四组横纵坐标分类器，得到人脸关键点；
5.根据权利要求1至4任一所述的系统，其特征在于，所述行为监测模块包括：
6.一种驾驶员驾驶行为监测方法，其特征在于，包括：
7.根据权利要求6所述的方法，其特征在于，其中若确定是异常驾驶行为则根据全身关键点、人脸关键点、方向盘边框及危险驾驶相关物体信息进行计算分析，再次确定驾驶员是否处于异常驾驶状态包括：
8.根据权利要求6所述的方法，其特征在于，其中由行为监测模块通过计算分析人脸关键点的信息，确定驾驶员是否处于疲惫状态包括：p>
9.根据权利要求6至8任一所述的方法，其特征在于，所述人脸关键点检测模块由四个沙漏网络堆叠而成，每个网络预测n个特征输入四组横纵坐标分类器，得到人脸关键点；
10.根据权利要求6至8任一所述的方法，其特征在于，所述全身关键点检测模块使用基于蒸馏方式训练的RTMpose模型检测全身的关键点，包括：
11.一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序在被处理器执行时执行根据权利要求6至10之一所述的方法的步骤。
...【技术特征摘要】
1.一种驾驶员驾驶行为监测系统，其特征在于，包括：
2.根据权利要求1所述的系统，其特征在于，监测系统所需物体还包括下列各项中的一个或多个：方向盘、水杯、香烟、手机、食物、玩具、书本和饮料瓶；
3.根据权利要求1所述的系统，其特征在于，所述全身关键点检测模块使用基于蒸馏方式训练的rtmpose模型检测全身的关键点，包括：
4.根据权利要求1所述的系统，其特征在于，所述人脸关键点检测模块由四个沙漏网络堆叠而成，每个网络预测n个特征输入四组横纵坐标分类器，得到人脸关键点；
5.根据权利要求1至4任一所述的系统，其特征在于，所述行为监测模块包括：
6.一种驾驶员驾驶行为监测方法，其特征在于，包括：
7.根据权利要求6所述的方法，其特征在于，其中若确定是异...
【专利技术属性】
技术研发人员：豆恒，林峰，陶林，
申请(专利权)人：奕行智能科技广州有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。