基于深度特征和图注意力机制的疲劳驾驶检测方法及系统技术方案

本发明专利技术公开了一种基于深度特征和图注意力机制的疲劳驾驶检测方法及系统，该方法包括：以多个标注是否疲劳驾驶的原始视频序列构建样本训练集；构建疲劳驾驶检测模型，利用样本训练集训练所述疲劳驾驶检测模型；所述训练过程包括：基于原始视频序列，通过面部特征提取和位置编码，获取时空面部特征序列；基于图注意力机制学习时空面部特征之间的相互关系以及每个特征对最终分类的重要性权重，基于相互关系更新时空面部特征序列，基于重要性权重与更新的时空面部特征序列进行加权融合，获得融合特征，基于融合特征进行二分类训练；将待检测的原始视频序列输入训练完成的疲劳驾驶检测模型，完成疲劳驾驶检测，提高疲劳驾驶检测的精度和泛化性。测的精度和泛化性。测的精度和泛化性。

【技术实现步骤摘要】
基于深度特征和图注意力机制的疲劳驾驶检测方法及系统


[0001]本专利技术涉及疲劳驾驶检测
，尤其涉及一种基于深度特征和图注意力机制的疲劳驾驶检测方法及系统。

技术介绍

[0002]现代社会中高速公路快速发展，疲劳驾驶是造成交通事故的主要元凶之一。司机长时间驾驶会出现疲劳驾驶的情况，为了提高司机与乘客的出行安全，需要对司机的疲劳情况进行检测，以便于及时给司机发出提醒。为此，随着人们安全意识和科学技术的提高，疲劳驾驶检测手段应运而生。
[0003]目前常用的疲劳驾驶检测方法主要有基于生理信息的方法、基于计算机视觉的方法和基于车辆行驶行为变化的方法等。其中，基于计算机视觉的方法通过眼部、嘴部、头部、表情等驾驶员面部特征进行疲劳驾驶检测的准确性较高，成本较低，对正常驾驶不构成干扰，且实用性、接受性、舒适度都较高，进而这一方法应用最为广泛。然而，目前基于计算机视觉的疲劳驾驶检测方法在算法上仍存在不足。
[0004]其一，驾驶员面部特征的直接相互关系没有得到充分的利用。传统的方法通常使用3DCNN和LSTM研究司机面部特征之间的关系，例如J.Lyu等公开的“Long
‑
term multi
‑
granularity deep framework for driver drowsiness detection”和H.Yang等公开的“Driver Yawning Detection Based on Subtle Facial Action Recognition”。然而，3DCNN受制于卷积核感受野的大小，只能在某些连续的特征图中构建时序特征，且难以构筑长时的相互关系；LSTM按序列顺序依次处理特征，位于序列后面的特征只能获得位于序列前方特征的聚合信息，难以对序列中相隔较远的特征构筑相互关系。现有检测方法中并未探讨面部特征之间的直接关联性。
[0005]其二，缺乏区分峰值帧特征和非峰值帧特征的能力。现有的驾驶员疲劳检测方法平等地对待每一个获取到面部特征，而忽略了不同面部特征对最终分类做出不同的贡献。具体的，例如一个打哈欠的视频片段，驾驶员面部表情一开始只会发生微妙的变化，随后会发展成一种强烈的表现，即紧闭双眼，嘴巴大张。通常将前者称为非峰值帧，而将后者称为峰值帧，来自峰值帧的特征比非峰值帧的特征对最终分类有更大的参考价值。现有方法缺乏对峰值帧特征和非峰值帧特征的区分能力，无法突出峰值帧特征的重要性。
[0006]综上，现有的基于计算机视觉的疲劳驾驶检测方法存在上述缺陷，其疲劳驾驶检测的精度和泛化性较差。

技术实现思路

[0007]为解决上述现有技术的不足，本专利技术提供了一种基于深度特征和图注意力机制的疲劳驾驶检测方法及系统，解决现有检测方法中存在的未充分利用面部特征直接相互关系、缺乏区分峰值帧特征和非峰值帧特征的能力的问题，提高疲劳驾驶检测的精度和泛化性。
[0008]第一方面，本公开提供了一种基于深度特征和图注意力机制的疲劳驾驶检测方法，包括：
[0009]获取多个包含驾驶员面部图像的原始视频序列，对原始视频序列进行标注，以多个标注是否疲劳驾驶的原始视频序列构建样本训练集；
[0010]构建疲劳驾驶检测模型，利用样本训练集训练所述疲劳驾驶检测模型；所述训练过程包括：基于原始视频序列，通过面部特征提取和位置编码，获取时空面部特征序列；基于图注意力机制学习时空面部特征之间的相互关系以及每个特征对最终分类的重要性权重，基于相互关系更新时空面部特征序列，基于重要性权重与更新的时空面部特征序列进行加权融合，获得融合特征，基于融合特征进行二分类训练；
[0011]将待检测的包含驾驶员面部图像的原始视频序列输入训练完成的疲劳驾驶检测模型，完成疲劳驾驶检测。
[0012]进一步的技术方案，所述疲劳驾驶检测模型包括时空面部特征提取网络、多头图注意力网络和加权图注意力特征融合网络。
[0013]进一步的技术方案，所述基于原始视频序列，通过面部特征提取和位置编码，获取时空面部特征序列，包括：
[0014]基于包含驾驶员面部图像的原始视频序列，通过人脸检测算法获取面部图像序列；
[0015]基于面部图像序列，利用卷积神经网络提取面部图像序列中每个图像的视觉表征特征，以此构成空间面部特征序列；
[0016]利用多频率余弦位置函数对空间面部特征序列进行位置编码，为序列中的每个面部特征注入位置信息，获取时空面部特征序列。
[0017]进一步的技术方案，所述利用多频率余弦位置函数对空间面部特征序列进行位置编码，为序列中的每个面部特征注入位置信息，获取时空面部特征序列，包括：
[0018]利用多频率余弦位置函数进行编码，得到位置编码序列；
[0019]将所述位置编码序列和空间面部特征序列相加，相加后获得时空面部特征序列。
[0020]进一步的技术方案，基于图注意力机制学习时空面部特征之间的相互关系，基于相互关系更新时空面部特征序列，包括：
[0021]基于时空面部特征序列，将每一时空面部特征视为一个节点，形成节点特征，以此构建有向完全图；
[0022]将输入的节点特征映射到一个特征子空间，通过共享的自注意力机制为有向图中的每对节点计算注意力系数，以此构建邻接矩阵；
[0023]将邻接矩阵与节点特征矩阵进行融合，更新节点特征，将各注意力头更新后的节点特征进行拼接，形成新的节点特征，获取更新后的时空面部特征序列。
[0024]进一步的技术方案，基于图注意力机制学习每个特征对最终分类的重要性权重，基于重要性权重与更新的时空面部特征序列进行加权融合，获得融合特征，包括：
[0025]将节点特征投射到统一的线性空间中，采用一个共享的自注意力机制为图中的每对节点计算注意力系数，基于注意力系数构建邻接矩阵；
[0026]将邻接矩阵按行加和，构成权重向量；所述权重向量中的每一元素为对应的面部特征重要性权重；
[0027]将更新后的时空面部特征序列与权重向量进行加权融合，得到融合特征。
[0028]进一步的技术方案，所述损失函数为交叉熵函数，所述交叉熵函数公式为：
[0029][0030]其中，K是每批次样本数量，cls表示分类的类别，cls＝0/1，0表示不疲劳，1表示疲劳，是样本标签，表示第i个样本属于cls类，表示将第i个样本检测为cls类的概率。
[0031]第二方面，本公开提供了一种基于深度特征和图注意力机制的疲劳驾驶检测系统，包括：
[0032]样本训练集构建模块，用于获取多个包含驾驶员面部图像的原始视频序列，对原始视频序列进行标注，以多个标注是否疲劳驾驶的原始视频序列构建样本训练集；
[0033]检测模型构建模块，用于构建疲劳驾驶检测模型，所述模型包括时空面部特征提取网络、多头图注意力网络和加权图注意力特征融合网络；
[0034]检测模型训练模块，用于利用样本训练集训练所述疲劳驾驶检测模型；所述训练过程包括本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度特征和图注意力机制的疲劳驾驶检测方法，其特征是，包括：获取多个包含驾驶员面部图像的原始视频序列，对原始视频序列进行标注，以多个标注是否疲劳驾驶的原始视频序列构建样本训练集；构建疲劳驾驶检测模型，利用样本训练集训练所述疲劳驾驶检测模型；所述训练过程包括：基于原始视频序列，通过面部特征提取和位置编码，获取时空面部特征序列；基于图注意力机制学习时空面部特征之间的相互关系以及每个特征对最终分类的重要性权重，基于相互关系更新时空面部特征序列，基于重要性权重与更新的时空面部特征序列进行加权融合，获得融合特征，基于融合特征进行二分类训练；将待检测的包含驾驶员面部图像的原始视频序列输入训练完成的疲劳驾驶检测模型，完成疲劳驾驶检测。2.如权利要求1所述的基于深度特征和图注意力机制的疲劳驾驶检测方法，其特征是，所述疲劳驾驶检测模型包括时空面部特征提取网络、多头图注意力网络和加权图注意力特征融合网络。3.如权利要求1所述的基于深度特征和图注意力机制的疲劳驾驶检测方法，其特征是，所述基于原始视频序列，通过面部特征提取和位置编码，获取时空面部特征序列，包括：基于包含驾驶员面部图像的原始视频序列，通过人脸检测算法获取面部图像序列；基于面部图像序列，利用卷积神经网络提取面部图像序列中每个图像的视觉表征特征，以此构成空间面部特征序列；利用多频率余弦位置函数对空间面部特征序列进行位置编码，为序列中的每个面部特征注入位置信息，获取时空面部特征序列。4.如权利要求3所述的基于深度特征和图注意力机制的疲劳驾驶检测方法，其特征是，所述利用多频率余弦位置函数对空间面部特征序列进行位置编码，为序列中的每个面部特征注入位置信息，获取时空面部特征序列，包括：利用多频率余弦位置函数进行编码，得到位置编码序列；将所述位置编码序列和空间面部特征序列相加，相加后获得时空面部特征序列。5.如权利要求1所述的基于深度特征和图注意力机制的疲劳驾驶检测方法，其特征是，基于图注意力机制学习时空面部特征之间的相互关系，基于相互关系更新时空面部特征序列，包括：基于时空面部特征序列，将每一时空面部特征视为一个节点，形成节点特征，以此构建有向完全图；将输入的节点特征映射到一个特征子空间，通过共享的自注意力机制为有向图中的每对节点计算注意力系数，以此构建邻接矩阵；将邻接矩阵与节点特征矩阵进行融合，更新节点特征，将各注意力头更新后的节点特征进行拼接，形成新的节点特征，获取更新后的时空...

【专利技术属性】
技术研发人员：常发亮，黄一鸣，刘春生，路彦沙，常致富，
申请(专利权)人：山东大学，
类型：发明
国别省市：