一种基于联邦视觉的电梯行为检测方法技术

本发明专利技术公开一种基于联邦视觉的电梯行为检测方法，第一步构建多特征融合模型；第二步，训练多特征融合模型；第三步，利用多特征融合检测模型对获取的电梯行为图像进行检测，对用户进入电梯的行为进行实时检测，对检测到的电动车和用户遮挡下的电动车发出检测输出，完成警告；本发明专利技术方法克服传统方式中用单一孤立的图像的弊端，提升模型对电动车和用户序列行为的检测能力，并利用差分隐私保障电梯监控采集的用户行为数据隐私，降低训练数据泄露风险。降低训练数据泄露风险。降低训练数据泄露风险。

【技术实现步骤摘要】
一种基于联邦视觉的电梯行为检测方法


[0001]本专利技术属于计算机
，涉及深度学习学科，具体为一种基于联邦视觉的电梯行为检测方法。

技术介绍

[0002]近年，电动车充电起火，甚至造成不可挽回的人员伤亡、财产损失，尤其，居民区电动车充电起火的案例屡见不鲜。其中一个重要因素就是电动车违规进入电梯、楼道、楼梯间等居民生活区进行充电，人车物混杂，安全隐患巨大，利用电梯的监控摄像头识别检测用户违规将电动车推入电梯的行为，对保护用户生命财产安全，防范和制止电动车充电导致的违规事件发生和违规行为具有重要意义。
[0003]尽管利用电梯监控摄像头管理监督用户违规将电动车推入电梯的系统已在部分居民小区部署，但是其检测和识别的可靠性仍有待提高。一是，目前大量电动车呈现小型化趋势，传统针对大型电动车的检测方法检测效果不理想，准确率较低；二是，由于电动车小型化，可折叠等新特点，用户可以通过各种遮挡手段，将监控摄像头视角遮挡，加之用户人为的遮挡干扰，传统识别方法难以实现即时高效的检测；三是，用户出入电梯等行为暴露于电梯监控摄像头之下，大量个人行为视频数据被电梯监控采集，存在用户数据隐私泄露风险。
[0004]总的来说，现有技术存在以下为问题：一是现有技术实用性差，难以满足目前电动车小型化、用户人为遮挡等新的场景需求。传统方法多针对单一的监控视频中出现电动车图像，进行检测报警，但随着小型电动的出现，人为遮挡便于实施，漏检现象凸显。二是现有电梯中电动车识别技术缺乏对用户隐私的考虑，电梯监控摄像头采集了大量用户的个人行为隐私数据，基于电梯监控采集的用户行为数据进行模型训练和行为检测存在隐私泄露风险。
[0005]因此，提出兼顾用户隐私数据保护，识别小型电动车和用户遮挡行为的检测方法具有其实用性。

技术实现思路

[0006]针对现有技术中存在的问题，本专利技术提供了一种基于联邦视觉的电梯行为检测方法，解决用户遮挡电动车的漏检问题和用户行为数据隐私问题。
[0007]本专利技术是通过以下技术方案来实现：
[0008]一种基于联邦视觉的电梯行为检测方法，包括如下步骤：
[0009]第一步，构建多特征融合模型；
[0010]1)、构建yolov5模型的输入部分、骨干网络、Neck、预测部分，提取小型电动车特征，获得电动车检测框的起点坐标和宽、高，以及类别；
[0011]其中，yolov5模型的输入部分用于电梯监控采集的训练数据的剪裁处理，得到合适的尺寸；骨干网络采用CSP
‑
darknet53架构提取输入部分图像中小型电动车的特征，骨干
网络包括1个Focus结构，串联的2个CBL结构和CSP结构，其输出既与Neck部分的CBL结构相连，又连接CBL结构和SPP结构；Neck部分的输入是CSP
‑
darknet53所提取的特征数据，由三组上采样实现高层特征升维，其输出通过三组CBL和连接操作，实现三组小型电动车特征的融合提取；预测部分通过三组卷积完成Neck部分输出了三组特征预测输出；
[0012]2)、构建yolopose模型，利用与yolov5模型相同的CSP
‑
darknet53网络提取输入电梯监控数据的用户行为特征，形成三个特征尺寸，作为特征融合部分的输入；特征融合对三组特征先进行自顶向下的上采样，特征升维，再进行自底向上的特征降维，形成三组尺度的融合特征图，检测部分利用3组不同尺度作为三组检测头部，分支预测用户人体行为特征位置检测框和每个用户人体特征的17个关键点；
[0013]3)、构建多特征融合检测模型，融合yolov5模型和yolopose模型骨干网络CSP
‑
darknet53，分别初步提取小型电动车特征和用户人体行为特征，然后通过各自的Neck部分和特征融合、检测部分，提取出三组小型电动车特征和用户人体行为边界框和关键点等特征；结合检测框宽高比的尺度信息，形成基于CIOU_Loss和目标关键点相似度的目标函数；
[0014]第二步，训练多特征融合模型；
[0015]多特征融合模型具有典型的双分支结构，利用多个电梯监控采集的含有电动车和用户行为的电梯轿厢情况数据，引入时间序列因子，动态增加训练数据的时序维度，扩大训练数据样本的时序关联性，形成基于动态序列因子形成本地模型训练数据；
[0016]采用联邦学习模式，在模型训练过程中，将基于由Laplace逆累积函数生成的Laplace噪声的模型参数上报中央服务器，中央服务器聚合模型参数，形成聚合模型，然后将聚合模型参数下发各本地电梯监控模型，通过联邦学习的迭代过程和训练数据的动态维度变化，完成兼顾隐私保护和多特征融合的模型训练；
[0017]第三步，利用多特征融合检测模型对获取的电梯行为图像进行检测
[0018]经过联邦学习模型的训练，多个电梯所具有的多特征融合检测模型具备了同时检测小型电动车和用户行为的能力，对用户进入电梯的行为进行实时检测，对检测到的电动车和用户遮挡下的电动车发出检测输入，完成警告。
[0019]进一步，所述步骤1)中用于小型电动车特征提取的yolov5模型中，骨干网络由1个Focus结构，2个CBL结构和CSP结构，以及SPP结构构成；
[0020]1个CBL结构包括卷积、正则化、Leaky_relu激活函数；CSP结构由三个卷积层、一个Res单元、一个连接单元(Concate)组成，其中，卷积层为CBM结构，包括一个卷积、一个正则化(Bn)、一个Mish激活函数；Res单元由两个CBM结构和一个加操作构成，输出为两个CBM提取的特征和输入端的特征加和；SPP结构采用1
×
1，3
×
3，5
×
5三种最大池化方式实现。
[0021]进一步，所述步骤2)中用于用户人体行为特征提取的yolopose模型与yolov5采用相同的骨干网络，将用户人体的所有关键点与Anchor关联，通过骨干网络、特征融合、检测、多尺度检测框和关键点检测，提取用户人体的17个关键点和可信度，便于后续优化目标关键点相似度。
[0022]进一步，所述步骤3)中基于yolov5和yolopose的多特征融合检测模型，采用CSP
‑
darknet53将电动车检测和人体姿态检测通过统一的骨干网络融合，然后通过各自的Neck部分和特征融合、检测部分，提取出三组小型电动车特征和用户人体行为边界框和关键点等特征，形成代表用户人体行为检测框的起点坐标和宽、高、框置信度、类别置信度，以及17
个人体关键点坐标和相应置信度的向量，融合CIOU_Loss和目标关键点相似度(OKS)实现优化模型参数的目标函数，为模型优化提供目标函数。
[0023]进一步，所述第二部中模型训练的整体架构包括多个电梯监控，用于采集含有电动车和用户行为的电梯轿厢情况数据，训练数据来自电梯监控的时序视频数据，时间窗W设置为3的整数倍，最大值为Wmax，选本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于联邦视觉的电梯行为检测方法，其特征在于包括如下步骤：第一步，构建多特征融合模型；1)、构建yolov5模型的输入部分、骨干网络、Neck、预测部分，提取小型电动车位置和类别特征，获得电动车检测框的起点坐标和宽、高，以及类别；其中，yolov5模型的输入部分用于电梯监控采集的训练数据的剪裁处理，得到合适的尺寸；骨干网络采用CSP
‑
darknet53架构提取输入部分图像中小型电动车的特征，骨干网络包括1个Focus结构，串联的2个CBL结构和CSP结构，其输出既与Neck部分的CBL结构相连，又连接CBL结构和SPP结构；Neck部分的输入是CSP
‑
darknet53所提取的特征数据，由三组上采样实现高层特征升维，其输出通过三组CBL和连接操作，实现三组小型电动车特征的融合提取；预测部分通过三组卷积完成Neck部分输出的三组特征预测输出；2)、构建yolopose模型，利用与yolov5模型相同的CSP
‑
darknet53网络，是典型的双分支结构，用于提取输入电梯监控数据的用户行为特征，形成三个特征尺寸，作为用户行为特征融合部分的输入；特征融合对所提取出用户行为的三组特征先进行自顶向下的上采样，特征升维，再进行自底向上的特征降维，形成三组尺度的融合特征图，检测部分利用3组不同尺度作为三组检测头部，分支预测用户人体行为特征位置检测框和每个用户人体特征的17个关键点；3)、构建多特征融合检测模型，融合yolov5模型和yolopose模型骨干网络CSP
‑
darknet53，分别初步提取小型电动车特征和用户人体行为特征，然后通过各自的Neck部分和特征融合、检测部分，提取出三组小型电动车特征和用户人体行为边界框和关键点等特征；结合检测框宽高比的尺度信息，形成基于CIOU_Loss和目标关键点相似度的目标函数；第二步，训练多特征融合模型；利用多个电梯监控采集的含有电动车和用户行为的电梯轿厢情况数据，引入时间序列因子，动态增加训练数据的时序维度，扩大训练数据样本的时序关联性，形成基于动态序列因子形成本地模型训练数据；采用联邦学习模式，在模型训练过程中，将基于由Laplace逆累积函数生成的Laplace噪声的模型参数上报中央服务器，中央服务器聚合模型参数，形成聚合模型，然后将聚合模型参数下发各本地电梯监控模型，通过联邦学习的迭代过程和训练数据的动态维度变化，完成兼顾隐私保护和多特征融合的模型训练；第三步，利用多特征融合检测模型对获取的电梯行为图像进行检测经过联邦学习模型的训练，多个电梯所具有的多特征融合检测模型具备了同时检测小型电动车和用户行为的能力，对用户进入电梯的行为进行实时检测，对检测到的电动车和用户遮挡下的电动车发出检测输出，完成警告。2.如权利要求1所述的基于联邦视觉的电梯行为检测方法，其特征在于：所述步骤1)中用于小型电动车特征提取的yolov5模型中...

【专利技术属性】
技术研发人员：高志强，邓雅文，
申请(专利权)人：高志强，
类型：发明
国别省市：