【技术实现步骤摘要】
本专利技术涉及疲劳检测，具体为一种基于时空信息融合的疲劳检测方法。
技术介绍
1、疲劳是因持续长时间作业而引起的身体机能下降。个体在经历长时间的劳动之后，一般会出现生理疲劳并伴随精神疲劳，进而影响决策能力和反应速度。由于睡眠时间不足、工作复杂等因素，更容易出现疲劳，进而影响工作安全。
2、现有的疲劳检测技术往往局限于单一特征,比如通过计算机视觉相关技术计算眼睑闭合度，哈欠等疲劳特征并通过一定的阈值进行预警或者通过传感器检测疲劳。传统的检测方法主要存在两方面的不足：一是单维度的判别准确率不够稳定，比如用户配戴眼镜时，基于眼睛的相关特征就容易引入噪声；二是基于阈值的疲劳判断标准适应性差，不同的用户在疲劳状态下表现出的生理和行为特征可能存在差异，此时使用固定的阈值可能导致误判或漏判。
技术实现思路
1、本专利技术的目的在于提供一种基于时空信息融合的疲劳检测方法，以解决上述
技术介绍
中提出的问题。
2、为了解决上述技术问题，本专利技术提供如下技术方案：
3、一种基于时空信息融合的疲劳检测方法，所述方法包括以下步骤：
4、s100、通过摄像头采集用户面部视频，使用dlib库中的预训练人脸检测模型，对每一帧视频进行人脸检测，进行人脸关键点标注，将人脸关键点的坐标进行存储；
5、s200、基于人脸关键点计算眼睛长宽比和rppg信号作为时序信息，选择关键帧作为空间信息，采用ssim结构相似性作为衡量指标，通过梯度下降进行关键帧的选取；>
6、s300、构建基于时空融合神经网络的疲劳检测模型，划分训练集和验证集，设置模型参数进行训练，将时序信息作为时序特征提取模块的输入数据，将空间信息作为空间特征提取模块的输入数据；
7、s400、将疲劳检测模型提取到的特征通过concat进行融合，通过sigmoid函数映射到概率空间，通过分类器实现疲劳的检测，根据设定的疲劳状态的分界点，将sigmoid函数的输出值与分界点进行比较，得到疲劳检测结果。
8、根据步骤s100，使用摄像头捕捉用户的脸部视频，视频录制连续进行，捕捉不同时间点的面部表情和动作，通过dlib检测人脸和标注人脸关键点；将视频帧转换为灰度图像，进行图像去噪和平滑处理；使用dlib库中的预训练人脸检测模型，对每一帧视频进行人脸检测，dlib的人脸检测器利用方向梯度直方图特征和线性分类器，检测人脸位置；检测到的人脸区域用一个矩形框表示，记录每一帧中检测到的人脸位置；
9、在检测到的人脸区域内，使用dlib的预训练人脸关键点检测模型，对人脸进行关键点标注，人脸部位包括眉毛、眼睛、鼻子、嘴巴和脸部轮廓，每个人脸部位都有若干个人脸关键点；将每一帧视频中检测到的人脸关键点的坐标存储在数据库中。dlib是一个基于c++的工具箱，通过提供预训练的模型来标注人脸68个关键点，其中，眉毛部位左右各5个关键点，眼睛部位左右各6个关键点，鼻子部位9个关键点，嘴巴部位20个关键点，脸部轮廓17个关键点，根据这些关键点坐标就可以在视频中锚定roi区域位置。
10、步骤s200包括：
11、s201、选择眼睛长宽比ear作为疲劳检测的一个特征，通过人脸关键点的坐标进行计算，计算公式如下：
12、
13、其中，函数表示计算两点间的欧氏距离，是第一眼睛上下关键点坐标，对应dlib的38点位，是第二眼睛上下关键点坐标，对应dlib的42点位，是第三眼睛上下关键点坐标，对应dlib的39点位，是第四眼睛上下关键点坐标，对应dlib的41点位，是第一眼睛左右眼角坐标，对应dlib的37点位，是第二眼睛左右眼角坐标，对应dlib的40点位；
14、s202、由于面颊部分血管分布茂密，通过面颊区域的绿色通道像素均值作为rppg信号提取心率信息，使用巴特沃斯滤波器对rppg信号进行带通滤波，根据心跳的频率范围设定带通滤波器的上下截止频率；
15、s203、选择若干张关键帧作为空间信息，一方面在相邻帧之间相似性很高，因此往往存在很多冗余信息，通过选取关键帧，可以避免模型受到冗余信息的干扰，关键帧可以保留这些关键时刻，确保模型捕捉到疲劳相关的最重要特征；另一方面疲劳检测任务需要实时性强，深度神经网络对视频进行推理会导致大量的计算量；采用ssim结构相似性作为衡量指标，通过梯度下降进行关键帧的选取。
16、根据步骤s203，ssim用于衡量两张图像相似程度，ssim的计算公式如下：
17、
18、其中，是第一张图像，是第二张图像，和分别是第一张图像和第二张图像的像素平均值，和分别是第一张图像和第二张图像的方差，是协方差，和分别是用于维持算法稳定的第一常量和第二常量，当两张图片完全一致时，；
19、对于采集的视频，统一裁剪为相同的大小，转为灰度图像并计算相邻两帧的ssim指标，基于ssim下降时的对应梯度，选取梯度绝对值最大的前a帧并依次堆叠成一个a通道的向量作为空间信息，其中a是一个正整数。
20、步骤s300包括：
21、s301、所述疲劳检测模型的训练数据来源于uta-rldd数据库，将数据集按比例划分训练集和验证集，挑选若干个实验对象为训练数据，若干个实验对象为测试数据，设定时间窗口的长度，选择若干帧画面作为训练数据，进行数据预处理；设置模型学习率、训练轮次和批次大小，优化器选择随机梯度下降sgd优化算法，设置l2正则系数和动量系数；
22、uta-rldd数据库是一个用于用户疲劳检测研究的数据集，该数据集由德克萨斯大学阿灵顿分校收集并公开发布，旨在提供一个现实生活中的用户疲劳检测数据资源，帮助研究人员开发和验证疲劳检测模型；该数据库是目前为止最大的开源疲劳检测数据库，包含60个实验对象共计30小时的实验数据；
23、s302、将眼睛长宽比和rppg信号作为时序特征提取模块的输入数据，所述时序特征提取模块融合了transformer编码器的1d-resnet卷积神经网络模型；眼睛长宽比和rppg信号通过resnet独立进行特征提取，通过transformer模块进行时序特征的融合；
24、1d-resnet是一种专门用于处理一维时间序列数据的卷积神经网络模型，它基于resnet残差网络架构，通过引入残差连接来解决深层网络中的梯度消失问题；通过残差连接直接将输入信息传递到后面的层，缓解了深层网络中的梯度消失问题，提高了模型的训练效果和收敛速度；
25、s303、将空间信息作为空间特征提取模块的输入数据，空间特征提取模块采用二维卷积层提取特征。
26、根据步骤s301，sgd优化算法公式如下：
27、
28、其中，和分别是t+1和t时刻的参数权值，lr是模型学习率，是l2正则系数，是动量系数，是t时刻梯度方向的指数滑动平均值，是t时刻的参数梯度；
29、模型选择二元交叉熵为损失函数，对模型的原始本文档来自技高网...
【技术保护点】
1.一种基于时空信息融合的疲劳检测方法，其特征在于，所述方法包括以下步骤：
2.根据权利要求1所述的一种基于时空信息融合的疲劳检测方法，其特征在于：根据步骤S100，使用摄像头捕捉用户的脸部视频，视频录制连续进行，捕捉不同时间点的面部表情和动作，通过Dlib检测人脸和标注人脸关键点；将视频帧转换为灰度图像，进行图像去噪和平滑处理；使用Dlib库中的预训练人脸检测模型，对每一帧视频进行人脸检测，Dlib的人脸检测器利用方向梯度直方图特征和线性分类器，检测人脸位置；检测到的人脸区域用一个矩形框表示，记录每一帧中检测到的人脸位置；
3.根据权利要求1所述的一种基于时空信息融合的疲劳检测方法，其特征在于：步骤S200包括：
4.根据权利要求3所述的一种基于时空信息融合的疲劳检测方法，其特征在于：根据步骤S203，SSIM用于衡量两张图像相似程度，SSIM的计算公式如下：
5.根据权利要求1所述的一种基于时空信息融合的疲劳检测方法，其特征在于：步骤S300包括：
6.根据权利要求5所述的一种基于时空信息融合的疲劳检测方法，其特征在
7.根据权利要求5所述的一种基于时空信息融合的疲劳检测方法，其特征在于：根据步骤S302，输入数据通过一维卷积层进行低级特征的提取，BatchNorm层对每个批次的数据进行标准化处理，使卷积层的输出分布保持稳定，加速模型收敛并防止模型过拟合；通过ReLU激活函数引入非线性变换，把输入数据送入到由若干个1DConvLayer构成的高级时空特征提取模块中，所述高级时空特征提取模块中每个卷积层由若干个残差卷积模块组成；训练数据依次通过每个残差卷积模块，残差卷积模块通过堆叠若干个一维卷积操作构建出对数据更抽象的表示，用于捕捉输入数据中的关键信息，通过残差连接加强输入的原始特征；输出数据通过平均池化策略降低维度并保留主要特征；
8.根据权利要求5所述的一种基于时空信息融合的疲劳检测方法，其特征在于：根据步骤S303，将空间信息通过卷积核进行特征提取并升维，通过若干个2DConvLayer进一步提取高维特征，得到空间特征向量；2DConvLayer包含若干个残差卷积块，在每个残差卷积块内使用点对点卷积在通道维度上进行卷积操作并进行升维，实现通道间的信息融合并增强网络的表达能力；为了对齐时空两个模块的输出，使用展平层压缩空间特征向量。
9.根据权利要求1所述的一种基于时空信息融合的疲劳检测方法，其特征在于：根据步骤S400，将时序特征提取模块和空间特征提取模块的输出通过concat拼接成一个特征向量，经过两层全连接层进行线性变换输出Logits，通过Sigmoid函数映射到概率空间；Sigmoid函数公式如下：
10.根据权利要求9所述的一种基于时空信息融合的疲劳检测方法，其特征在于：将拼接后的特征向量输入到两层全连接层进行线性变换，第一层全连接层将输入的特征向量映射到一个中间维度的表示，通过激活函数ReLU增加模型的非线性能力，第二层全连接层将中间表示进一步映射到输出维度，所述输出维度是Logits；通过全连接层的输出得到Logits，Logits是未经激活函数处理的原始输出值，允许是任意实数值；
...【技术特征摘要】
1.一种基于时空信息融合的疲劳检测方法，其特征在于，所述方法包括以下步骤：
2.根据权利要求1所述的一种基于时空信息融合的疲劳检测方法，其特征在于：根据步骤s100，使用摄像头捕捉用户的脸部视频，视频录制连续进行，捕捉不同时间点的面部表情和动作，通过dlib检测人脸和标注人脸关键点；将视频帧转换为灰度图像，进行图像去噪和平滑处理；使用dlib库中的预训练人脸检测模型，对每一帧视频进行人脸检测，dlib的人脸检测器利用方向梯度直方图特征和线性分类器，检测人脸位置；检测到的人脸区域用一个矩形框表示，记录每一帧中检测到的人脸位置；
3.根据权利要求1所述的一种基于时空信息融合的疲劳检测方法，其特征在于：步骤s200包括：
4.根据权利要求3所述的一种基于时空信息融合的疲劳检测方法，其特征在于：根据步骤s203，ssim用于衡量两张图像相似程度，ssim的计算公式如下：
5.根据权利要求1所述的一种基于时空信息融合的疲劳检测方法，其特征在于：步骤s300包括：
6.根据权利要求5所述的一种基于时空信息融合的疲劳检测方法，其特征在于：根据步骤s301，sgd优化算法公式如下：
7.根据权利要求5所述的一种基于时空信息融合的疲劳检测方法，其特征在于：根据步骤s302，输入数据通过一维卷积层进行低级特征的提取，batchnorm层对每个批次的数据进行标准化处理，使卷积层的输出分布保持稳定，加速模型收敛并防止模型过拟合；通过relu激活函数引入非线性变换，把输入数据送入到由若干个1dconvlayer构成的高级时空特征提取模...
【专利技术属性】
技术研发人员：孙运杰，嵇晓强，许劭庆，李文通，刘虔诚，卢仪杰，蒋蓓轩，高露文，徐博文，张树东，王之一，
申请(专利权)人：长春理工大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。