【技术实现步骤摘要】
本专利技术涉及汽车，尤其涉及提供一种自监督学习的驾驶员分心行为检测方法。
技术介绍
1、尽管自动驾驶技术取得了令人瞩目的进步，但自动驾驶对车辆的控制仍不成熟。因此，无论是自动驾驶还是手动驾驶，驾驶员都需要在车辆行驶过程中保持专注。因此，高效准确的驾驶员分心行为检测是实现交通安全的重要保证。
2、驾驶员分心行为检测将集成到智能辅助驾驶系统中，通过分析驾驶员的行为，以预测不安全的分心操作。当检测到驾驶员存在分心行为时，车辆仪表板会显示相应提示信息、发出特定声音或降低车窗高度，以提醒驾驶员存在不当的驾驶风险，同时临时调整车辆的控制优先级，以启动制动并避免风险。
3、驾驶员分心行为检测方法中，通常借助生理信号、车辆信息、计算机视觉等方法实现。
4、基于生理信号的驾驶员分心行为检测方法中的硬件成本较高，且穿戴式生理传感器往往会影响驾驶员的驾驶体验。
5、基于车辆信息的驾驶员分心行为检测方法，经常因为车辆和传感器的硬件故障及外部各种干扰，导致信息收集不准确，从而影响系统的准确性。此外，以上两种方法还需大量的数据处理及高级的算法支持。
6、为解决这些问题，研究人员逐渐将研究重点转移至计算机视觉方法。由于基于计算机视觉的驾驶员分心行为的检测方法是非接触性的，因此，该方法不会影响驾驶员的正常驾驶，也不会像车辆信息方法因信息采集错误导致检测不够精准。通过分析目前驾驶员分心行为检测领域的研究工作，可以发现目前的驾驶员分心行为检测方法存在以下三个问题：
7、基于有监督学习方法的驾驶
8、基于卷积神经网络的驾驶员分心行为检测方法存在以下问题：（1）特征提取效率低下，且捕获图像整体信息的能力有限；（2）由于卷积神经网络仅对堆栈卷积和池化操作进行建模，因此，卷积神经网络在捕获和表征数据的长期相关性方面效率低下；（3）由于卷积神经网络倾向于关注低级别的图像特征，而驾驶员分心行为检测需要借助高级别的全局语义特征信息。
9、基于有监督卷积神经网络的驾驶员分心行为检测方法存在以下问题：（1）特征表征能力有限，且泛化能力一般；（2）该类模型不能将注意力有效集中于关键区域进行分心行为的检测；（3）该类模型对标记数据集的依赖性，降低了泛化能力和转移至新任务的能力。
技术实现思路
1、本专利技术的目的在于克服现有技术存在的以上问题，提供一种自监督学习的驾驶员分心行为检测方法，该方法包括预训练和微调两个阶段：（1）预训练阶段首先利用大量未标记的数据集进行自监督学习，然后利用掩码图像块训练模型，并重新预测图像的掩码区域；（2）微调阶段使用迁移学习对预训练的模型进行微调，该阶段包括精度优化、编码器轻量化，以及数据增强。增加了对关键特征信息的关注,进一步提高了模型在复杂场景中的泛化能力,实现驾驶员分心行为的准确检测。
2、为实现上述技术目的，达到上述技术效果，本专利技术通过以下技术方案实现：一种自监督学习的驾驶员分心行为检测方法：
3、s1、预训练阶段，首先利用大量未标记的数据集进行自监督学习，然后利用掩码图像块训练模型，并重新预测图像的掩码区域；
4、s2、微调阶段，使用迁移学习对预训练的模型进行微调，该阶段包括精度优化、编码器轻量化，以及数据增强。
5、作为进一步地，所述步骤s1包括以下步骤：
6、 s11、掩码模块，该模块首先设置掩码图像块的数量和方式，然后将掩
7、码后的图像块传输至编码器模块；
8、 采用随机策略对图像进行掩码，swintransformer编码器，图像块的大小从4×4至32× 32；对于vit编码器，图像块的大小为32× 32;
9、 s12、编码器模块，该模块首先提取掩码图像块的潜在表示，然后预测掩码图像块的原始信息；
10、其中，图像为rgb三通道图像时，则图像块有4×4=16个像素，且拉平后的像素数量为16×3=48，也即将图像从[l，h，3]变换为[l/4，h/4，48]；然后，利用线性嵌入将图像从[l/4，h/4，48]变换为定义的[l/4，h/4，c]；其次，通过四个类似的分割、拉平、线性嵌入进行处理图像，并且图像大小也相应地进行改变；
11、s13、预测头模块，该模块用于表示掩码图像块的原始特征信息；
12、首先，利用大规模的未标记的数据集imagennet-1k进行模型的预训练，且采取随机掩码策略，将图像块大小设为32，相邻图像块的重叠率设为0.5;然后，利用swintransformer编码器将输入信息映射到潜在特征表示；其次，基于获得的潜在特征信息，利用预测头重建图像掩码信息；最后，采用1×1的卷积核进行像素值的预测;
13、 s14、目标预测模块，该模块指定了原始信号的预测形式，既可是原始的像素值，也可是原始像素的变换，同时定义了损失类型；
14、利用swintransformer编码器将输出维度为3072=32×32×3的1×1线性层进行多个维度的下采样，得到{32×32，16×16，8×8，4×4，2×2}特征映射，以描绘不同分辨率下的rgb值。
15、采用如下形式的损失函数：
16、其中，表示掩码像素数量，和分别表示输入的掩码像素值和预测的掩码像素。
17、作为进一步地，所述步骤s2包括以下步骤：
18、 s21、数据增强策略，数据增强策略包括颜色抖动、运动模糊、高斯噪声、水平翻转和随机缩放、混合剪切策略和混合插值策略；
19、所述颜色抖动，通过随机改变图像的曝光、饱和度、色调，模拟驾驶员在不同光照下和天气条件下的驾驶情况；
20、所述运动模糊，通过将清晰聚焦的图像转换为模糊效果的图像，模拟驾驶员由于连续操作动作引起的运动模糊；
21、所述高斯噪声，通过在图像中添加高斯噪声，达到增强图像的多样性，并提高模型学习各种行为表示能力的目的；
22、s22,优化和轻量级的迁移学习,首先，输入图像经过层归一化和窗口多头自注意力处理，并伴有跳跃连接；然后，图像信息经过层归一化和多层感知器处理，并伴有跳跃连接；接下来，图像信息经过层归一化和漂移窗口多头自注意力处理，并伴有跳跃连接；最后，图像信息再次经过层归一化和多层感知器处理，并伴有跳跃连接;
23、该迁移学习过程可用如下公式表示：
24、；
25、多头自注意力的计算量公式如下：
26、
27、其中表示图像的通道数。
28、窗口多头自注意力，首先将特征映射划分为若干个长度和高度均为β的窗口，然后对每个窗口进行多头自注意处理，窗口多本文档来自技高网...
【技术保护点】
1.一种自监督学习的驾驶员分心行为检测方法，其特征在于,所述方法包括以下步骤：
2.根据权利要求1所述的自监督学习的驾驶员分心行为检测方法，其特征在于，所述步骤S1包括以下步骤：
3.根据权利要求2所述的自监督学习的驾驶员分心行为检测方法，其特征在于，所述S11包括以下步骤：
4.根据权利要求1所述的自监督学习的驾驶员分心行为检测方法，其特征在于，所述S2包括以下步骤：
5.根据权利要求4所述的自监督学习的驾驶员分心行为检测方法，其特征在于，所述混合剪切策略，首先生成一个随机剪切框，并剪切u图像的相应部分；然后，将v图像中的感兴趣区域放置在u图像的裁剪区域中，以形成新图像，最后，对不同图像的区域合并采用硬融合策略，对标签合并采用软融合策略，该混合剪切策略可用如下公式表示：
6.根据权利要求4所述的自监督学习的驾驶员分心行为检测方法，其特征在于，所述混合插值策略随机线性插值和加权两个图像的像素，生成包含两个图像标签的一个新图像，计算公式如下：
7.根据权利要求4所述的自监督学习的驾驶员分心行为检测方法，其特征在
8.根据权利要求4所述的自监督学习的驾驶员分心行为检测方法，其特征在于，所述窗口多头自注意力，首先将特征映射划分为若干个长度和高度均为β的窗口，然后对每个窗口进行多头自注意处理，窗口多头自注意力计算量公式如下：
9.根据权利要求5所述的自监督学习的驾驶员分心行为检测方法，其特征在于，所述二值掩码B，需要首先对边界框进行采样；然后，根据采样结果对和进行采样，以进行裁剪和填充；且边界框坐标的采样方式如下所述：
...【技术特征摘要】
1.一种自监督学习的驾驶员分心行为检测方法，其特征在于,所述方法包括以下步骤：
2.根据权利要求1所述的自监督学习的驾驶员分心行为检测方法，其特征在于，所述步骤s1包括以下步骤：
3.根据权利要求2所述的自监督学习的驾驶员分心行为检测方法，其特征在于，所述s11包括以下步骤：
4.根据权利要求1所述的自监督学习的驾驶员分心行为检测方法，其特征在于，所述s2包括以下步骤：
5.根据权利要求4所述的自监督学习的驾驶员分心行为检测方法，其特征在于，所述混合剪切策略，首先生成一个随机剪切框，并剪切u图像的相应部分；然后，将v图像中的感兴趣区域放置在u图像的裁剪区域中，以形成新图像，最后，对不同图像的区域合并采用硬融合策略，对标签合并采用软融合策略，该混合剪切策略可用如下公式表示：
【专利技术属性】
技术研发人员：傅森，蔡晟潍，
申请(专利权)人：苏州耀腾光电有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。