【技术实现步骤摘要】
本专利技术涉及视频处理、图像识别、模式匹配、机器学习技术等领域，具体的说，是基于深度视觉技术的电梯乘员行为检测方法。
技术介绍
1、电梯乘员行为检测是计算机视觉和人机交互研究的重要领域，它的主要目标是通过分析电梯内的视频流，自动检测和识别乘员的行为，以便实现电梯的安全管理。为了实现这个目标，电梯乘员行为检测涉及到许多不同的
，包括视频处理、图像识别、模式匹配、机器学习等。
2、在大的技术背景上，深度学习已经在图像识别、视频处理等领域取得了显著的进展。深度学习是一种模拟人脑神经网络结构的算法，可以自动学习和提取数据的特征，从而实现对数据的识别和分类。深度学习的关键技术包括卷积神经网络(cnn)、循环神经网络(rnn)、长短期记忆网络(lstm)等。
3、卷积神经网络(cnn)是一种特别设计来处理网格形式数据的神经网络，例如图像数据。cnn通过使用卷积层、池化层和全连接层等组件，可以从原始图像中提取出有用的特征，从而实现图像的识别和分类。循环神经网络(rnn)是一种特别设计来处理序列数据的神经网络，例如时间序列数据或文本数据。rnn通过使用循环结构，可以记住之前的信息，并将这些信息用于后续的计算，从而实现对序列数据的处理。
4、长短期记忆网络(lstm)是一种特别的rnn，它通过使用门控结构，可以更好地处理长序列数据，从而解决了传统rnn在处理长序列数据时的梯度消失或梯度爆炸问题。
5、在小的技术背景上，电梯乘员行为检测主要依赖于视频监控系统。视频监控系统通常包括摄像头、视频处理
6、与本专利技术最相近似的现有技术方案是基于深度学习的电梯乘员行为检测方法。这类方法主要利用深度学习的能力，自动学习和识别电梯乘员的行为。
7、其通用的实现步骤如下：
8、(1)数据采集：通过摄像头采集电梯内的视频流。这个过程需要确保摄像头的安装位置、角度和参数设置等都能够满足行为检测的需求。
9、(2)数据预处理：对采集到的视频流进行必要的预处理，如帧率转换、灰度化、归一化等。这个过程的目的是减少数据的冗余和噪声，以便提高后续处理的效率和准确性。
10、(3)特征提取：利用深度学习模型(如cnn)对预处理后的视频流进行特征提取。这个过程的目的是从原始数据中提取出有用的特征，以便用于后续的行为识别。
11、(4)行为识别：利用分类器(如支持向量机)对提取出的特征进行分类，从而实现行为识别。这个过程的目的是根据提取出的特征，判断乘员的行为类型。
12、(5)结果输出：将识别结果输出到监控中心，以便进行必要的人工干预。这个过程的目的是将行为识别的结果反馈给监控人员，以便他们可以根据情况采取相应的措施。
13、这种方法的优点是可以自动学习和识别电梯乘员的行为，减少了人工干预的需求。然而，它也存在一些问题：
14、(1)准确性不足：现有的电梯乘员行为检测技术，如基于传统机器视觉的方法，对于复杂环境和多样化行为的适应性较差，易造成误报或漏报。这主要是因为这些方法主要依赖预设的规则和阈值，而这些规则和阈值难以覆盖所有可能的情况。
15、(2)实时性不足：传统的行为检测方法通常需要大量的计算资源和处理时间，特别是在处理高分辨率的视频流时，这严重影响了其实时性。
16、(3)处理复杂环境和多样化行为的能力不足：电梯内的环境因素(如光照、乘员数量等)和乘员行为的多样性，使得行为检测面临很大的挑战。现有的方法往往难以有效处理这些问题。
17、(4)处理小样本问题的能力不足：对于一些罕见但重要的行为(如紧急情况下的行为)，由于样本数量较少，现有的方法难以有效学习和识别。
18、总的来说，电梯乘员行为检测是一个复杂而重要的问题，需要多种技术的综合应用才能得到有效的解决。而深度学习作为一种强大的工具，已经在这个领域显示出了巨大的潜力。然而，尽管深度学习已经取得了一些进展，但是电梯乘员行为检测仍然面临许多挑战，仍然需要进行更深入的研究和改进。
技术实现思路
1、本专利技术的目的在于提供基于深度视觉技术的电梯乘员行为检测方法，通过深度视觉技术和多尺度特征融合的方法，实现了对电梯乘员行为的准确识别，对电梯的安全使用提供了有力的技术支持。
2、本专利技术通过下述技术方案实现：基于深度视觉技术的电梯乘员行为检测方法，包括下述步骤：
3、1)数据采集与预处理：利用安装在电梯内的摄像头对电梯乘员的行为数据进行采集，并将采集的行为数据进行预处理操作，例如简单的数据清洗操作(去除无效数据，例如摄像头故障导致的黑屏数据等)、简单标注(数据标注则是为了训练深度视觉模型，需要专业的标注团队对乘员的行为进行标注，例如站立、走动、摔倒等)、降采样、标准化、色彩空间转换、帧差分、数据增强等一系列预处理操作，得到统一的图像；
4、2)多尺度特征提取与融合：经步骤1)后，将所得的统一图像使用卷积神经网络和长短期记忆网络相结合的方式进行全局特征和局部特征提取，而后将两种特征进行特征融合，得到融合特征；
5、3)行为识别及异常行为报警：经步骤3)后，将融合特征利用分类器进行行为识别，当属于异常行为(例如乘员摔倒)时则自动触发报警，向电梯管理人员发送报警信息。
6、进一步为更好地实现本专利技术所述的基于深度视觉技术的电梯乘员行为检测方法，特别采用下述设置方式：所述步骤1)中在进行行为数据采集时：延迟控制在1s以内(以保证视频传输的实时性)，采用10帧/s的频率将经过匿名化处理(以便对乘员的隐私进行保护)的视频数据中提取的视频关键帧输出到视频解析层；所采用的摄像头为具有良好低光性能(以应对电梯内的光照变化)的高清摄像头(安装于电梯内，具有足够的分辨率和帧率，以确保能够清晰地捕捉到乘员的每一个动作)。
7、进一步为更好地实现本专利技术所述的基于深度视觉技术的电梯乘员行为检测方法，特别采用下述设置方式：所述预处理操作涉及到的部分具体细节操作包括下述方式的一种或多种，最终生成统一图像：
8、降采样(downsampling)：将原始行为数据中视频关键帧采用平均池化或/和最大池化的方式将分辨率降低至460×460；由于设备的不同所获取的原始行为数据的视频关键帧图片一般都为720x480-1920x1080下。具有较高分辨率，如此庞大的图像不利于提取具体特征进行训练，为保证在不彻底失去图像清晰度的前提下提取图片的特征，将图像分辨率控制在460×460，以减少计算量和存储空间。
9、标准化(normalization)：将前置视频关键帧的像素值缩放到0到1之间，或使用均值和标准差将前置视频关键帧的像素值进行零均值单位方差标准化，以便使其具有相似的范围和分布；
10、色彩空间转换本文档来自技高网...
【技术保护点】
1.基于深度视觉技术的电梯乘员行为检测方法，其特征在于：包括下述步骤：
2.根据权利要求1所述的基于深度视觉技术的电梯乘员行为检测方法，其特征在于：所述步骤1）中在进行行为数据采集时：延迟控制在1s以内，采用10帧/s的频率将经过匿名化处理的视频数据中提取的视频关键帧输出到视频解析层；所采用的摄像头为具有良好低光性能的高清摄像头。
3.根据权利要求1所述的基于深度视觉技术的电梯乘员行为检测方法，其特征在于：所述预处理操作包括下述方式的一种或多种，最终生成统一图像：
4.根据权利要求3所述的基于深度视觉技术的电梯乘员行为检测方法，其特征在于：所述预处理操作为多种方式结合时，各方式前后顺序任意，且后一方式所用的视频关键帧为前一方式处理所得的视频关键帧。
5.根据权利要求1所述的基于深度视觉技术的电梯乘员行为检测方法，其特征在于：经步骤1）后，将所得的统一图像使用卷积神经网络和长短期记忆网络相结合的方式进行全局特征和局部特征提取，包括以下步骤：
6.根据权利要求1所述的基于深度视觉技术的电梯乘员行为检测方法，其特征在于：所述将
7.根据权利要求1所述的基于深度视觉技术的电梯乘员行为检测方法，其特征在于：所述步骤3）具体包括述步骤：
...【技术特征摘要】
1.基于深度视觉技术的电梯乘员行为检测方法，其特征在于：包括下述步骤：
2.根据权利要求1所述的基于深度视觉技术的电梯乘员行为检测方法，其特征在于：所述步骤1）中在进行行为数据采集时：延迟控制在1s以内，采用10帧/s的频率将经过匿名化处理的视频数据中提取的视频关键帧输出到视频解析层；所采用的摄像头为具有良好低光性能的高清摄像头。
3.根据权利要求1所述的基于深度视觉技术的电梯乘员行为检测方法，其特征在于：所述预处理操作包括下述方式的一种或多种，最终生成统一图像：
4.根据权利要求3所述的基于深度视觉技术的电梯乘员行为检测方法，其特征...
【专利技术属性】
技术研发人员：冯磊，游长江，杨晓宇，袁刚，钟文，梁小松，
申请(专利权)人：喀什地区电子信息产业技术研究院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。