一种电梯维护保养监督数据识别方法及其系统技术方案

本申请公开了一种电梯维护保养监督数据识别方法及其系统，其从智能手机实时采集并上传的电梯维修监控视频以人员和电梯为目标分别提取感兴趣区域，并通过特征提取器得到人员对象特征向量和电梯对象特征向量。考虑到人的行为特征作用于电梯对象的特征呈现，因此还需要关注人与电梯之间的交互特征，在本申请的技术方案中，以各个时间点的人员行为特征和电梯对象特征之间的关联矩阵来表示维修人员与电梯之间的交互信息。这样，能够基于电梯监控数据来对维修人员的维修行为是否异常进行智能监控。监控。监控。

【技术实现步骤摘要】
一种电梯维护保养监督数据识别方法及其系统


[0001]本申请涉及机械工业领域，且更为具体地，涉及一种电梯维护保养监督数据识别方法及其系统。
技术背景
[0002]电梯是服务于建筑物内若干特定的楼层的永久运输设备，电梯的出现极大地便利了人们的上下楼，但如果电梯出现问题，则会带来极大的安全隐患，因此，需要定期对电梯进行保养。这里电梯保养指的是定期对运行的电梯进行电梯部件检查、加油、清除积尘、调试安全装置的工作。
[0003]在实际电梯维修保养中，维修人员在收到具体的维修任务时，会基于维修任务对电梯进行维护，但维修人员在维修时可能进行不规范地维修，在这些情况下，虽然电梯问题能够解决，但因维修不规范会导致电梯的寿命缩减且其工作性能不稳定。现有一些系统能够对电梯进行监控以将电梯在运行和维修过程产生的数据进行沉淀，但这些数据更多地仅用于数据展示之用，而没有能够将上述数据与电梯的任务监控相结合。
[0004]因此，期待一种电梯维护保养监督数据识别方案，其能够基于电梯监控数据来对维修人员的维修行为是否异常进行智能监控。

技术实现思路

[0005]为了解决上述技术问题，提出了本申请。本申请的实施例提供了一种电梯维护保养监督数据识别方法及其系统，其从智能手机实时采集并上传的电梯维修监控视频以人员和电梯为目标分别提取感兴趣区域，并通过特征提取器得到人员对象特征向量和电梯对象特征向量。考虑到人的行为特征作用于电梯对象的特征呈现，因此还需要关注人与电梯之间的交互特征，在本申请的技术方案中，以各个时间点的人员行为特征和电梯对象特征之间的关联矩阵来表示维修人员与电梯之间的交互信息。这样，能够基于电梯监控数据来对维修人员的维修行为是否异常进行智能监控。
[0006]根据本申请的一个方面，提供了一种电梯维护保养监督数据识别方法，其包括：获取由智能手机实施采集并上传的电梯维修监控视频；利用差帧法从所述电梯维修监控视频中提取多个关键帧；将所述多个关键帧中各个关键帧分别通过人员目标检测网络以得到多个第一感兴趣区域；将所述多个关键帧中各个关键帧分别通过电梯目标检测网络以得到多个第二感兴趣区域；将所述多个第一感兴趣区域中各个第一感兴趣区域分别通过具有多个全连接层的人员动作特征提取器以得到多个人员对象特征向量；将所述多个第二感兴趣区域中各个第二感兴趣区域分别通过具有多个全连接层的电梯特征提取器以得到多个电梯对象特征向量；
基于所述多个人员对象特征向量中各个人员对象特征向量的最大特征值的倒数，分别对所述多个人员对象特征向量中各个人员对象特征向量进行波函数表征聚合以得到多个校正后人员对象特征向量；基于所述多个电梯对象特征向量中各个电梯对象特征向量的最大特征值的倒数，分别对所述多个电梯对象特征向量中各个电梯对象特征向量进行波函数表征聚合以得到多个校正后电梯对象特征向量；分别计算所述多个校正后人员对象特征向量和所述多个校正后电梯对象特征向量中每组对应的校正后人员对象特征向量的转置向量和所述校正后电梯对象特征向量之间的乘积以得到多个协同特征矩阵；将所述多个协同特征矩阵排列为三维输入张量后通过使用三维卷积核的卷积神经网络模型以得到分类特征图；以及将所述分类特征图通过分类器以得到分类结果，所述分类结果用于表示维修人员维修电梯的维修行为是否正常。
[0007]在上述电梯维护保养监督数据识别方法中，所述利用差帧法从所述电梯维修监控视频中提取多个关键帧，包括：提取所述电梯维修监控视频中的所有图像帧；设定所述所有图像帧的初始帧为第一关键帧；计算所述所有图像帧中与所述第一关键帧相邻的图像帧与所述第一关键帧之间的按位置差分以得到差分图像帧；计算所述差分图像帧中所有像素位置的像素值的均值和标准差；以及，基于所述标准差和所述均值的加权和与预定阈值之间的比较，确定所述与所述第一关键帧相邻的图像帧是否为第二关键帧。
[0008]在上述电梯维护保养监督数据识别方法中，所述人员目标检测网络和所述电梯目标检测网络为基于锚窗的目标检测网络，所述基于锚窗的目标检测网络为Fast R
‑
CNN、Faster R
‑
CNN或RetinaNet。
[0009]在上述电梯维护保养监督数据识别方法中，所述将所述多个第一感兴趣区域中各个第一感兴趣区域分别通过具有多个全连接层的人员动作特征提取器以得到多个人员对象特征向量，包括：使用所述具有多个全连接层的人员动作特征提取器以如下公式分别对所述所述多个第一感兴趣区域中各个第一感兴趣区域进行全连接编码以得到所述多个人员对象特征向量；其中，所述公式为：，其中是第一感兴趣区域，是人员对象特征向量，是权重矩阵，是偏置向量，表示矩阵乘。
[0010]在上述电梯维护保养监督数据识别方法中，所述将所述多个第二感兴趣区域中各个第二感兴趣区域分别通过具有多个全连接层的电梯特征提取器以得到多个电梯对象特征向量，包括：使用所述具有多个全连接层的电梯特征提取器以如下公式分别对所述多个第二感兴趣区域中各个第二感兴趣区域进行全连接编码以得到所述多个电梯对象特征向量；其中，所述公式为：，其中是第二感兴趣区域，是电梯对象特征向量，是权重矩阵，是偏置向量，表示矩阵乘。
[0011]在上述电梯维护保养监督数据识别方法中，所述基于所述多个人员对象特征向量中各个人员对象特征向量的最大特征值的倒数，分别对所述多个人员对象特征向量中各个人员对象特征向量进行波函数表征聚合以得到多个校正后人员对象特征向量，包括：基于所述多个人员对象特征向量中各个人员对象特征向量的最大特征值的倒数，以如下公式对
所述多个人员对象特征向量中各个人员对象特征向量进行波函数表征聚合以得到所述多个校正后人员对象特征向量；其中，所述公式为：其中，表示人员对象特征向量，表示人员对象特征向量的最大特征值的倒数，表示按位置点乘。
[0012]在上述电梯维护保养监督数据识别方法中，所述基于所述多个电梯对象特征向量中各个电梯对象特征向量的最大特征值的倒数，分别对所述多个电梯对象特征向量中各个电梯对象特征向量进行波函数表征聚合以得到多个校正后电梯对象特征向量，包括：基于所述多个电梯对象特征向量中各个电梯对象特征向量的最大特征值的倒数，以如下公式对所述多个电梯对象特征向量中各个电梯对象特征向量进行波函数表征聚合以得到所述多个校正后电梯对象特征向量；其中，所述公式为：其中，表示电梯对象特征向量，表示电梯对象特征向量的最大特征值的倒数，表示按位置点乘。
[0013]在上述电梯维护保养监督数据识别方法中，所述将所述多个协同特征矩阵排列为三维输入张量后通过使用三维卷积核的卷积神经网络模型以得到分类特征图，包括：将所述多个协同特征矩阵按照样本维度排列为三维输入张量；以及，将所述三维输入张量输入所述使用三维卷积核的卷积神经网络模型以得到分类特征图。
[0014]在上述电梯维护保养监督数据识别方法中，所述将所述分类特征图通过分类器以得到分类结果，包括：使用所述分类器以如下公式对所述分类特征图进行处理以生成分类结果，其中，所述公式为：其中表示将所述分类矩本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种电梯维护保养监督数据识别方法，其特征在于，包括：获取由智能手机实施采集并上传的电梯维修监控视频；利用差帧法从所述电梯维修监控视频中提取多个关键帧；将所述多个关键帧中各个关键帧分别通过人员目标检测网络以得到多个第一感兴趣区域；将所述多个关键帧中各个关键帧分别通过电梯目标检测网络以得到多个第二感兴趣区域；将所述多个第一感兴趣区域中各个第一感兴趣区域分别通过具有多个全连接层的人员动作特征提取器以得到多个人员对象特征向量；将所述多个第二感兴趣区域中各个第二感兴趣区域分别通过具有多个全连接层的电梯特征提取器以得到多个电梯对象特征向量；基于所述多个人员对象特征向量中各个人员对象特征向量的最大特征值的倒数，分别对所述多个人员对象特征向量中各个人员对象特征向量进行波函数表征聚合以得到多个校正后人员对象特征向量；基于所述多个电梯对象特征向量中各个电梯对象特征向量的最大特征值的倒数，分别对所述多个电梯对象特征向量中各个电梯对象特征向量进行波函数表征聚合以得到多个校正后电梯对象特征向量；分别计算所述多个校正后人员对象特征向量和所述多个校正后电梯对象特征向量中每组对应的校正后人员对象特征向量的转置向量和所述校正后电梯对象特征向量之间的乘积以得到多个协同特征矩阵；将所述多个协同特征矩阵排列为三维输入张量后通过使用三维卷积核的卷积神经网络模型以得到分类特征图；以及将所述分类特征图通过分类器以得到分类结果，所述分类结果用于表示维修人员维修电梯的维修行为是否正常。2.根据权利要求1所述的电梯维护保养监督数据识别方法，其特征在于，所述利用差帧法从所述电梯维修监控视频中提取多个关键帧，包括：提取所述电梯维修监控视频中的所有图像帧；设定所述所有图像帧的初始帧为第一关键帧；计算所述所有图像帧中与所述第一关键帧相邻的图像帧与所述第一关键帧之间的按位置差分以得到差分图像帧；计算所述差分图像帧中所有像素位置的像素值的均值和标准差；以及基于所述标准差和所述均值的加权和与预定阈值之间的比较，确定所述与所述第一关键帧相邻的图像帧是否为第二关键帧。3.根据权利要求2所述的电梯维护保养监督数据识别方法，其特征在于，所述人员目标检测网络和所述电梯目标检测网络为基于锚窗的目标检测网络，所述基于锚窗的目标检测网络为Fast R
‑
CNN、Faster R
‑
CNN或RetinaNet。4.根据权利要求3所述的电梯维护保养监督数据识别方法，其特征在于，所述将所述多个第一感兴趣区域中各个第一感兴趣区域分别通过具有多个全连接层的人员动作特征提取器以得到多个人员对象特征向量，包括：
使用所述具有多个全连接层的人员动作特征提取器以如下公式分别对所述所述多个第一感兴趣区域中各个第一感兴趣区域进行全连接编码以得到所述多个人员对象特征向量；其中，所述公式为：，其中是第一感兴趣区域，是人员对象特征向量，是权重矩阵，是偏置向量，表示矩阵乘。5.根据权利要求4所述的电梯维护保养监督数据识别方法，其特征在于，所述将所述多个第二感兴趣区域中各个第二感兴趣区域分别通过具有多个全连接层的电梯特征提取器以得到多个电梯对象特征向量，包括：使用所述具有多个全连接层的电梯特征提取器以如下公式分别对所述多个第二感兴趣区域中各个第二感兴趣区域进行全连接编码以得到所述多个电梯对象特征向量；其中，所述公式为：，其中是第二感兴趣区域，是电梯对象特征向量，是权重矩阵，是偏置向量，表示矩阵乘。6.根据权利要求5所述的电梯维护保养监督数据识别方法，其特征在于，所述基于所述多个人员对象特征向量中各个人员对象特征向量的最大特征值的倒数，分别对所述多个人员对象特征向量中各个...

【专利技术属性】
技术研发人员：吴小艳，徐俊峰，尹彬，李志刚，周丹，杜欢欢，
申请(专利权)人：河南人梯互通科技有限公司，
类型：发明
国别省市：