一种基于个性化联邦学习的分心驾驶行为识别方法技术

本发明专利技术公开了一种基于个性化联邦学习的分心驾驶行为识别方法，首先各车辆节点在车辆行驶时采集图像数据；之后使用个性化联邦学习共同训练一个卷积神经网络模型；最后，各节点使用该模型识别分心驾驶行为。在驾驶行为识别场景中，本发明专利技术使用基于边缘计算的去中心化方式实现模型的训练与推理，相较现有的中心化训练与推理方式具有保护用户隐私、实时性好、升级方便等优点。提出的个性化联邦学习算法相较于传统的联邦学习算法能够使所训练的模型更好的适配各节点的数据。好的适配各节点的数据。好的适配各节点的数据。

【技术实现步骤摘要】
一种基于个性化联邦学习的分心驾驶行为识别方法


[0001]本专利技术涉及计算机视觉和边缘计算领域，具体涉及一种基于个性化联邦学习的分心驾驶行为识别方法。

技术介绍

[0002]分心驾驶行为导致大量车祸，目前基于计算机视觉的分心驾驶行为方法大多是对深度学习模型进行改进，其训练和推理是中心化的，即模型训练和推理过程只会在本地或者云端进行。
[0003]在本地进行分心驾驶行为识别模型训练和推理需要预先收集大量样本，后续模型每升级一次要重新部署一次，比较麻烦；而在云端进行分心驾驶行为识别模型训练和推理，对网络的带宽、延时、稳定性要求极高，除此之外，上传的驾驶图像可能会涉及到驾驶员的隐私。
[0004]基于上述在本地和云端进行模型训练和推理存在的问题，如果将模型的训练和推理放在边缘进行，即在数据源和云端之间任何的计算资源和网络资源，在车联网中应用边缘计算则可有效解决上述问题。
[0005]联邦学习是边缘计算的一个训练策略，在联邦学习中多个边缘节点与一个边缘服务器组成集群共同训练一个全局模型。其中边缘服务器没有任何训练数据，所有的训练数据均分布在各个边缘节点上，边缘节点每完成一次训练便会将更新后的局部模型上传至边缘服务器，由边缘服务器聚合各节点上传的局部模型，最终实现全局模型的训练。在此过程中每个节点仅上传模型而不上传数据，因此节点用户的隐私也得到了保护。

技术实现思路

[0006]针对现有技术中的上述不足，本专利技术提供了一种基于个性化联邦学习的分心驾驶行为识别方法。
[0007]为了达到上述专利技术目的，本专利技术采用的技术方案为：
[0008]一种基于个性化联邦学习的分心驾驶行为识别方法，包括如下步骤：
[0009]S1、获取车辆节点在车辆行驶时的采集的图像数据；
[0010]S2、预装车载分心驾驶行为识别模型并利用步骤S1获取的图像数据进行训练；
[0011]S3、利用步骤S2训练完成的模型在车辆节点识别分心驾驶行为。
[0012]进一步的，所述步骤S1具体包括：
[0013]S11、获取车辆行使过程中的分心驾驶行为图像，并提取当前帧的Hash指纹；
[0014]S12、分析当前帧的驾驶行为，若当前帧的Hash指纹与上一帧的Hash指纹之间的Hamming距离大于设定阈值，则判定驾驶员作出分心行为，并将当前帧进行数据增强并保存，其中，数据增强包括对当前帧进行水平翻转、亮度变换、随机平移；
[0015]S13、对保存在本地的图像标注对应的的驾驶行为类别，并将其做为训练数据集。
[0016]进一步的，所述步骤S13具体包括：
[0017]S131、将步骤S12保存的图像送入预训练后的分心驾驶行为识别模型，并输出图像类别；
[0018]S132、对置信度大于等于设定阈值的图像进行标注，对置信度小于设定阈值的图像进行舍弃。
[0019]进一步的，所述步骤S2具体包括；
[0020]S21、以车辆作为节点，使用车载自组网构建车辆间通信网络，并选取其中一个节点作为边缘服务器；
[0021]S22、利用边缘服务器初始化全局模型，其中第t轮循环时的全局模型记为ω
t
，并将全局模型分发给各个节点；
[0022]S23、各节点训练分发给自己的全局模型，其中，第k个节点训练后的局部模型记为并将训练后的模型发送至边缘服务器；
[0023]S24、边缘服务器进行模型聚合，将聚合得到的新模型作为下一循环的全局模型，并判断输出的全局模型是否收敛，若是则进入步骤S25，若否则返回步骤S22；
[0024]S25、各节点使用本地数据对收敛后的全局模型进行微调，对个节点收到的收敛后的全局模型利用损失函数调整其卷积层和全连阶层，并冻结其余层，其损失函数表示为：
[0025][0026]其中L
′
(ω)为新的损失函数，L(ω)为多分类交叉熵损失函数，ω为模型最后一个卷积层及全连接层的待优化的参数，ω
L
为微调前模型最后一个卷积层及全连接层，和ω
i
为对应参数中的第i个元素，b
i
为每一个元素改变的难易程度，γ为约束系数。
[0027]进一步的，所述步骤S24具体包括：
[0028]S241、计算各节点返回至边缘服务器的模型的权重，计算方式为：
[0029][0030]S242、利用步骤S241得到的权重计算下一循环的全局模型，表示为：
[0031][0032]其中ω
t+1
为联邦学习第t+1轮的全局模型，为节点k在联邦学习第t+1轮训练完后的局部模型。
[0033]进一步的，所述步骤S3具体包括：
[0034]所述步骤S3具体包括：
[0035]S31、每隔n帧采集一次驾驶员在驾驶过程中的分心驾驶行为图像，并提取当前帧的Hash指纹，若满足当前帧的Hash指纹与上一帧的Hash指纹之间的Hamming距离大于设定阈值，则将当前帧加入队列；
[0036]S32、在待识别队列中设置大小固定的滑窗，利用分心驾驶行为识别模型对滑窗中的图像进行分类；
[0037]S33、若滑窗内图像分类结果相同且置信度均大于设定阈值，则判定驾驶员作出一
种分心驾驶动作并对应进行语音提示。
[0038]本专利技术具有以下有益效果：
[0039]本专利技术在微调时对模型的损失函数加上额外的约束项，使用传统的微调方法进行模型微调会使模型“遗忘”微调训练数据中未出现的数据种类，进而导致这些数据种类识别率降低。本专利技术中的约束项对参数中每一个元素改变的难易程度进行了约束，从而避免“遗忘”。
[0040]本专利技术使用个性化联邦学习算法，传统的联邦学习算法侧重于通过分布式学习所有参与节点的本地数据来获得高质量的全局模型，因此它无法捕获每个节点的个人信息，从而导致推理或分类的性能下降。此外，传统的联邦学习需要所有参与节点就协作训练的共同模型达成一致，这在实际复杂的应用中是不现实的。本专利技术采用个性化联邦学习算法，首先每个节点在其他节点的帮助下共同训练出一个全局模型，各节点再使用本地数据对模型进行个性化处理，得到本地最优的模型。
附图说明
[0041]图1所示为本专利技术实施例提供的基于个性化联邦学习的分心驾驶行为识别方法整体框架图。
[0042]图2所示为本专利技术实施例提供的多个车辆节点进行个性化联邦学习示意图。
[0043]图3所示为本专利技术实施例提供的模型识别阶段使用的滑动窗口示意图。
具体实施方式
[0044]下面对本专利技术的具体实施方式进行描述，以便于本
的技术人员理解本专利技术，但应该清楚，本专利技术不限于具体实施方式的范围，对本
的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本专利技术的精神和范围内，这些变化是显而易见的，一切利用本专利技术构思的专利技术创造均在保护之列。
[0045]一种基于个性化联邦本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于个性化联邦学习的分心驾驶行为识别方法，其特征在于，包括如下步骤：S1、获取车辆节点在车辆行驶时的采集的图像数据；S2、预装车载分心驾驶行为识别模型并利用步骤S1获取的图像数据进行训练；S3、利用步骤S2训练完成的模型在车辆节点识别分心驾驶行为。2.根据权利要求1所述的一种基于个性化联邦学习的分心驾驶行为识别方法，其特征在于，所述步骤S1具体包括：S11、获取车辆行使过程中的分心驾驶行为图像，并提取当前帧的Hash指纹；S12、分析当前帧的驾驶行为，若当前帧的Hash指纹与上一帧的Hash指纹之间的Hamming距离大于设定阈值，则判定驾驶员作出分心行为，并将当前帧进行数据增强并保存，其中，数据增强包括对当前帧进行水平翻转、亮度变换、随机平移；S13、对保存在本地的图像标注对应的的驾驶行为类别，并将其做为训练数据集。3.根据权利要求2所述的一种基于个性化联邦学习的分心驾驶行为识别方法，其特征在于，所述步骤S13具体包括：S131、将步骤S12保存的图像送入预训练后的分心驾驶行为识别模型，并输出图像类别；S132、对置信度大于等于设定阈值的图像进行标注，对置信度小于设定阈值的图像进行舍弃。4.根据权利要求3所述的一种基于个性化联邦学习的分心驾驶行为识别方法，其特征在于，所述步骤S2具体包括：S21、以车辆作为节点，使用车载自组网构建车辆间通信网络，并选取其中一个节点作为边缘服务器；S22、利用边缘服务器初始化全局模型，其中第t轮循环时的全局模型记为ω
t
，并将全局模型分发给各个节点；S23、各节点训练分发给自己的全局模型，其中，第k个节点训练后的局部模型记为并将训练后的模型发送至边缘服务器；S24、边缘服务器对各节点发回的全局模型进行模型...

【专利技术属性】
技术研发人员：张斌，王靖雅，夏金祥，
申请(专利权)人：宜宾电子科技大学研究院，
类型：发明
国别省市：