一种教室空座查询系统、实时视频分析系统及方法技术方案

本发明专利技术属于视频分析技术领域，公开了一种教室空座查询系统、实时视频分析系统及方法。一种实时视频分析系统，采用YOLOv4‑Tiny网络对多路视频流数据进行实时分析，YOLOv4‑Tiny网络包括CSPDarknet53‑Tiny网络、FPN网络和yolov3网络；首先通过CSPDarknet53‑Tiny网络提取输入图片的特征，得到两个不同大小的特征图，然后通过FPN网络进行特征融合和处理，最后连接yolov3网络输出结果。本发明专利技术的系统不需要在座位上安装任何复杂的硬性设备，只需要获取每个教室的摄像头信息，然后传入实时视频分析系统进行分析，获得教室空位信息；本发明专利技术还开发了方便用户使用的小程序平台和后台管理系统，可以实时查询教室情况。

【技术实现步骤摘要】
一种教室空座查询系统、实时视频分析系统及方法
本专利技术涉及视频分析
，特别涉及一种教室空座查询系统、实时视频分析系统及方法。
技术介绍
目前，随着大学生数量增多，高校的教室资源越来越紧张，大学生上自习而找不到合适的教室，是目前普遍存在的问题，尤其是期末复习的时候，自习室的空座很难找，可能跑了几个教室都找不到合适的位置，浪费了时间还影响学习心情，对学生来说是极大的不方便。现有的自习室空座系统，大多采用软硬件结合的方式，需要每个座位安装传感器，通过物理传压的方式感知座位是否有人，然后通过单片机与显示器相连，传输结果。或者在座位上安装校园读卡器计数传给数据显示中心。这些方式一是耗费资源，大范围推广也不方便，二是从学生角度使用起来也不方便。随着深度学习的发展日趋成熟，很多深度学习的算法可以用于工业生产，因此，如何提出了一种基于实时视频分析的教室空座查询方法及系统，不需要安装各种硬件系统，是目前亟待解决的问题。
技术实现思路
本专利技术实施例提供了一种教室空座查询系统，以解决现有技术中需要软硬件结合检测自习室空座的问题。为了对披露的实施例的一些方面有一个基本的理解，下面给出了简单的概括。该概括部分不是泛泛评述，也不是要确定关键/重要组成元素或描绘这些实施例的保护范围。其唯一目的是用简单的形式呈现一些概念，以此作为后面的详细说明的序言。根据本专利技术实施例的第一方面，提供了一种实时视频分析系统。在一些可选实施例中，实时视频分析系统采用YOLOv4-Tiny网络对多路视频流数据进行实时分析，YOLOv4-Tiny网络包括CSPDarknet53-Tiny网络、FPN网络和yolov3网络；首先通过CSPDarknet53-Tiny网络提取输入图片的特征，得到两个不同大小的特征图，然后通过FPN网络进行特征融合和处理，最后连接yolov3网络输出结果。可选地，输入到YOLOV4-Tiny网络的图像经过卷积层、正则化和激活层操作，得到第一特征图；将第一特征图再经过卷积层、正则化和激活层操作，得到第二特征图；将第二特征图经过残差块的操作后得到第三特征图，接着经过残差块的操作后变换成第四特征图，然后分成两路，第一路直接进入FPN模块，通过卷积层进行候选框的选取；第二路继续经过一个残差块的操作后得到第五特征图，再经过卷积层、正则化和激活层的操作后得到第六特征图，然进入FPN模块的卷积层进行候选框的选择，然后又分成两路，一路直接进入yolov3网络预测结果，另一路通过卷积和上采样操作，与第一路直接进入FPN的第四特征图进行张量拼接，扩充张量的维度，拼接后获得的第七特征图再进行卷积操作，最后进入Yolov3网络预测结果。可选地，所述Yolov3网络将未经过张量拼接处理的特征图分成13*13个gridcells，如果groundtruth中某个目标的中心坐标落在某个gridcell中，那么就由该gridcell来预测该目标；每个gridccell都会预测3个固定数量的边界框，13*13特征图的感受野最大，因此其anchorbox的尺寸最大，分别为116*90，156*198，373*326，适合检测较大的目标；对经过张量拼接处理的特征图应用较小的anchorbox，分别为30*61，62*45，59*119，适合检测小目标。可选地，对于训练图片中的groundtruth，若其中心点落在某个cell内，那么该cell内的3个anchorbox负责预测该groundtruth，由与groundtruth的IOU最大的anchorbox预测该groundtruth，而剩余的2个anchorbox不与该groundtruth匹配。可选地，所述Yolov3网络假定每个cell至多含有一个groundtruth，与groundtruth匹配的anchorbox计算坐标误差、置信度误差以及分类误差，而其它的anchorbox只计算置信度误差。可选地，所述Yolov3网络使用逻辑回归预测每个先验边界框的目标性得分，通过计算先验边界框与groundtruth的重叠面积来进行目标评分；通过阈值来筛选先验边界框，对于重叠面积小于阈值的先验边界框直接去掉，如果先验边界框与groundtruth目标比其他目标重叠多，则相应的目标性得分应为1。根据本专利技术实施例的第二方面，提供了一种实时视频分析方法。在一些可选实施例中，所述实时视频分析方法，基于DeepStreamSDK开发，运行在JetsonNano平台上，JetsonNano平台内置CUDA、OpenCV和TensorRT模块，包括以下步骤：步骤(1)，捕获视频流数据；步骤(2)，解码视频流数据；步骤(3)，解码之后，对视频流数据进行预处理；步骤(4)，将多路视频流数据组合到一起进行批处理；步骤(5)，采用YOLOV4-Tiny网络对多路视频流数据进行实时分析，执行目标检测，将推理结果沿管道传递到下一个插件；步骤(6)，将推理结果对应的文字等信息附加到元数据上，可显示在屏幕上；步骤(7)，获取最终的推理结果。可选地，输入到YOLOV4-Tiny网络的图像经过卷积层、正则化和激活层操作，得到第一特征图；将第一特征图再经过卷积层、正则化和激活层操作，得到第二特征图；将第二特征图经过残差块的操作后得到第三特征图，接着经过残差块的操作后变换成第四特征图，然后分成两路，第一路直接进入FPN模块，通过卷积层进行候选框的选取；第二路继续经过一个残差块的操作后得到第五特征图，再经过卷积层、正则化和激活层的操作后得到第六特征图，然进入FPN模块的卷积层进行候选框的选择，然后又分成两路，一路直接进入yolov3网络预测结果，另一路通过卷积和上采样操作，与第一路直接进入FPN的第四特征图进行张量拼接，扩充张量的维度，拼接后获得的第七特征图再进行卷积操作，最后进入Yolov3网络预测结果。根据本专利技术实施例的第三方面，提供了一种教室空座查询系统。在一些可选实施例中，教室空座查询系统，包括上述的实时视频分析系统，还包括后台管理系统和微信小程序；所述实时视频分析系统通过YOLOV4-tiny网络得到的检测结果，存放在数据库中，在后台管理系统进行可视化展示；后台管理系统包括用户管理模块、校区管理模块、教室管理模块、摄像头管理模块和用户反馈管理模块；微信小程序展示教室的名称和相对应的分布图，每隔固定时间实时更新一次数据。可选地，所述后台管理系统接口采用java语言进行编写，使用Maven技术进行项目系统构建，系统整体框架基于Springboot框架进行接口开发，所有接口完成与前端进行数据交互任务，数据均采用JSON结构；利用反向代理nginx技术将接口系统部署到云服务器上与前端进行交互；利用git技术进行代码管理。本专利技术实施例提供的技术方案可以包括以下有益效果：(1)不需要在座位上安装任何复杂的硬性设备，只需要获取每个教室的摄像头信息本文档来自技高网...

【技术保护点】
1.一种实时视频分析系统，其特征在于，采用YOLOv4-Tiny网络对多路视频流数据进行实时分析，YOLOv4-Tiny网络包括CSPDarknet53-Tiny网络、FPN网络和yolov3网络；首先通过CSPDarknet53-Tiny网络提取输入图片的特征，得到两个不同大小的特征图，然后通过FPN网络进行特征融合和处理，最后连接yolov3网络输出结果。/n

【技术特征摘要】
1.一种实时视频分析系统，其特征在于，采用YOLOv4-Tiny网络对多路视频流数据进行实时分析，YOLOv4-Tiny网络包括CSPDarknet53-Tiny网络、FPN网络和yolov3网络；首先通过CSPDarknet53-Tiny网络提取输入图片的特征，得到两个不同大小的特征图，然后通过FPN网络进行特征融合和处理，最后连接yolov3网络输出结果。


2.如权利要求1所述的一种实时视频分析系统，其特征在于，
输入到YOLOV4-Tiny网络的图像经过卷积层、正则化和激活层操作，得到第一特征图；
将第一特征图再经过卷积层、正则化和激活层操作，得到第二特征图；将第二特征图经过残差块的操作后得到第三特征图，接着经过残差块的操作后变换成第四特征图，然后分成两路，第一路直接进入FPN模块，通过卷积层进行候选框的选取；第二路继续经过一个残差块的操作后得到第五特征图，再经过卷积层、正则化和激活层的操作后得到第六特征图，然进入FPN模块的卷积层进行候选框的选择，然后又分成两路，一路直接进入yolov3网络预测结果，另一路通过卷积和上采样操作，与第一路直接进入FPN的第四特征图进行张量拼接，扩充张量的维度，拼接后获得的第七特征图再进行卷积操作，最后进入Yolov3网络预测结果。


3.如权利要求2所述的一种实时视频分析系统，其特征在于，
所述Yolov3网络将未经过张量拼接处理的特征图分成13*13个gridcells，如果groundtruth中某个目标的中心坐标落在某个gridcell中，那么就由该gridcell来预测该目标；每个gridccell都会预测3个固定数量的边界框，13*13特征图的感受野最大，因此其anchorbox的尺寸最大，分别为116*90，156*198，373*326，适合检测较大的目标；对经过张量拼接处理的特征图应用较小的anchorbox，分别为30*61，62*45，59*119，适合检测小目标。


4.如权利要求3所述的一种实时视频分析系统，其特征在于，
对于训练图片中的groundtruth，若其中心点落在某个cell内，那么该cell内的3个anchorbox负责预测该groundtruth，由与groundtruth的IOU最大的anchorbox预测该groundtruth，而剩余的2个anchorbox不与该groundtruth匹配。


5.如权利要求4所述的一种实时视频分析系统，其特征在于，
所述Yolov3网络假定每个cell至多含有一个groundtruth，与groundtruth匹配的anchorbox计算坐标误差、置信度误差以及分类误差，而其它的anchorbox只计算置信度误差。


6.如权利要求2所述的一种实时视频分析系统，其特征在于，
所述Yolov3网...

【专利技术属性】
技术研发人员：胥志伟，王胜科，李兴隆，丁来辉，姚凤芹，
申请(专利权)人：山东巍然智能科技有限公司，
类型：发明
国别省市：山东;37