【技术实现步骤摘要】
本专利技术涉及信息，尤其涉及一种基于局部-全局面部关键点关系的疲劳驾驶姿态识别方法。
技术介绍
1、随着机动车数量增长，道路交通事故成为严重社会问题。20％的道路事故由疲劳驾驶导致，严重事故中占比达40％。因此，研究驾驶员疲劳检测方法具有重大社会价值。这不仅能提高道路安全，降低事故发生率，还能推动科技创新和社会进步。实时监测和预警驾驶员疲劳状态，能有效预防疲劳驾驶，保障人民生命财产安全。
2、中国专利申请公布号cn114937260a《基于传统方法与深度神经网络相结合的疲劳驾驶检测方法》提出了一种基于传统方法与深度神经网络相结合的疲劳驾驶检测方法，首先利用hog人脸定位算法对驾驶者图像进行人脸定位，将人脸定位框图像输入到深度神经网络yolov5模型中，判断hog人脸定位框中眼部睁闭状态，以及嘴部张闭状态，再基于眼部睁闭状态和嘴部张闭状态判断驾驶者是否处于疲劳状态。中国专利申请公布号cn117533341a《一种基于人脸识别的疲劳驾驶监控方法》提出了一种基于人脸识别的疲劳驾驶监控方法，根据识别后的面部状态判断驾驶员是否为疲劳驾驶，若驾驶员为疲劳驾驶，则控制报警器报警和或控制方向盘震动。
3、在驾驶员疲劳行为的检测领域，人们已经提出了许多方法来应对这一问题。然而，大部分方法在处理过程中未能充分考虑驾驶员疲劳行为检测的关键因素，即驾驶员的眼睛、嘴巴和下巴的位置关系。这些方法在一定程度上影响了驾驶员疲劳行为的准确检测。事实上，驾驶场景中的不同视角关键点之间的空间关系对驾驶员疲劳行为的检测具有重要影响。例如，在不同
技术实现思路
1、本专利技术目的就是为了弥补已有技术的缺陷，通过探讨局部与全局面部关键点之间的关系，提供一种基于局部-全局面部关键点关系的疲劳驾驶姿态识别方法，本专利技术通过收集驾驶员的驾驶姿态数据集，运用关键点间局部与全局的空间关系，结合transformer模型检测关键点热图，从而提高检测的准确性，具有实际应用价值。
2、本专利技术是通过以下技术方案实现的：
3、一种基于局部-全局面部关键点关系的疲劳驾驶姿态识别方法，具体包括如下步骤：
4、s1：构建全局和局部全视角驾驶姿态图像数据集；
5、s2：构建全局和局部多视角驾驶姿态图像数据集；
6、s3：提取全视角姿态关键点的局部和全局空间关系；
7、s4：提取多视角姿态关键点的局部和全局空间关系；
8、s5：构建基于transformer的驾驶姿态空间关系融合模型；
9、s6：识别测试的驾驶姿态图像。
10、步骤s1所述的构建全局和局部全视角驾驶姿态图像数据集，具体如下：
11、s1-1：在驾驶的过程中，使用位于驾驶员右前方的红外摄像头，获取驾驶员头部图像数据集其中，表示图像，表示图像标签，裁剪获得的驾驶员头部图像集，将其尺寸调整为64×48；
12、s1-2：标注图像集姿态标签，构建全视角姿态图像数据集其中，代表输入全视角姿态图像，为全视角姿态图像集标签，姿态类别1表示正常，姿态类别2表示眨眼，姿态类别3表示打哈欠，姿态类别4表示瞌睡点头；
13、s1-3：根据面部特征，分组获得全视角局部姿态图像数据集；
14、s1-3-1：根据面部特征分组面部关键点，局部关键点特征分组l＝{1,2,3,4}，其中，分组1表示左眼，分组2表示右眼，3表示嘴巴，分组4表示脸部轮廓；
15、s1-3-2：将全视角姿态图像数据集，根据面部特征，分组获得全视角局部姿态图像数据集其中，代表全视角局部姿态图像，为聚类后的全视角局部姿态图像数据集标签，根据步骤s1-2获得的全视角姿态图像集标签数量，标签类别数量为数量乘上分组l的数量。
16、步骤s2所述的构建全局和局部多视角驾驶姿态图像数据集，具体如下：
17、s2-1：根据步骤s1-2标准获得的全视角姿态图像数据集datag，获得头部关键点坐标i表示面部第i个关键点，n表示关键点个数，为第i个关键点在x轴上的真实值坐标，为第i个关键点在y轴上的真实值坐标；
18、s2-2：利用头部关键点坐标，通过聚类获得全局多视角姿态类别m＝{1,2,3}，视角类别1表示左侧视角，视角类别2表示正面视角，视角类别3表示右侧视角，获得多视角驾驶姿态图像数据集其中，为分组后的多视角全局姿态图像，为分组后的多视角全局姿态图像集标签，根据步骤s1-2获得的全视角姿态图像集数量，标签类别数量为数量乘上多视角m的数量；
19、s2-3：根据步骤s2-2获得的多视角驾驶姿态图像数据集datam,g，通过聚类，获得多视角局部姿态图像数据集其中，为分组后的多视角局部姿态图像，为分组后的多视角局部姿态图像集标签，标签类别数量为数量乘上多视角m的数量。
20、步骤s3所述的提取全视角姿态关键点局部和全局空间关系，具体如下：
21、s3-1：计算全视角姿态关键点之间坐标向量差；
22、s3-1-1：首先计算全视角姿态关键点之间向量
23、
24、其中，i是第i个关键点，j是第j个关键点，i→j表示第i个关键点指向第j个关键点；
25、s3-1-2：计算全视角姿态关键点之间坐标向量差
26、
27、其中，(x,y)表示关键点坐标；
28、s3-2：计算全视角姿态关键点全局空间关系特征
29、
30、其中，conv表示卷积神经网络，norm表示归一化；
31、s3-3：计算全视角姿态关键点之间局部坐标向量差；
32、s3-3-1：计算全视角姿态关键点之间局部坐标向量
33、
34、其中，i表示第i个关键点，j表示第j个关键点，i→j表示第i个关键点指向第j个关键点；
35、s3-3-2：计算全视角姿态关键点之间局部坐标向量差
36、
37、s3-4：计算全视角姿态关键点局部空间关系
38、
39、其中，conv表示卷积神经网络，norm表示归一化。
40、步骤s4所述的提取多视角姿态关键点局部和空间关键点空间关系，具体如下：
41、s4-1：计算多视角姿态关键点之间坐标向量差：
42、s4-1-1：计算多视角姿态关键点之间坐标向量
43、
44、其中，i表示第i个关键点，j表示第j个关键点，i→j表示第i个关键点指向第j个关键点；
45、s4-1-2：计算多视角姿态图像数据集样本关键点坐标向量
46、
47、s4-2：计算多视角姿态关键点全局空间本文档来自技高网...
【技术保护点】
1.一种基于局部-全局面部关键点关系的疲劳驾驶姿态识别方法，其特征在于：具体包括如下步骤：
2.根据权利要求1所述的一种基于局部-全局面部关键点关系的疲劳驾驶姿态识别方法，其特征在于：步骤S1所述的构建全局和局部全视角驾驶姿态图像数据集，具体如下：
3.根据权利要求2所述的一种基于局部-全局面部关键点关系的疲劳驾驶姿态识别方法，其特征在于：步骤S2所述的构建全局和局部多视角驾驶姿态图像数据集，具体如下：
4.根据权利要求3所述的一种基于局部-全局面部关键点关系的疲劳驾驶姿态识别方法，其特征在于：步骤S3所述的提取全视角姿态关键点局部和全局空间关系，具体如下：
5.根据权利要求4所述的一种基于局部-全局面部关键点关系的疲劳驾驶姿态识别方法，其特征在于：步骤S4所述的提取多视角姿态关键点局部和空间关键点空间关系，具体如下：
6.根据权利要求5所述的一种基于局部-全局面部关键点关系的疲劳驾驶姿态识别方法，其特征在于：步骤S5所述的构建基于Transformer的驾驶姿态空间关系融合模型，具体如下：
7.根据权利要求
...【技术特征摘要】
1.一种基于局部-全局面部关键点关系的疲劳驾驶姿态识别方法，其特征在于：具体包括如下步骤：
2.根据权利要求1所述的一种基于局部-全局面部关键点关系的疲劳驾驶姿态识别方法，其特征在于：步骤s1所述的构建全局和局部全视角驾驶姿态图像数据集，具体如下：
3.根据权利要求2所述的一种基于局部-全局面部关键点关系的疲劳驾驶姿态识别方法，其特征在于：步骤s2所述的构建全局和局部多视角驾驶姿态图像数据集，具体如下：
4.根据权利要求3所述的一种基于局部-全局面部关键点关系的疲劳驾驶姿态识别方法，其特征在于：步骤s3所述的提取全视角...
【专利技术属性】
技术研发人员：杨兴明，许闻，金兢，吴克伟，谢昭，
申请(专利权)人：合肥工业大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。