一种停车场全景安全监控方法技术

本发明专利技术属于停车场安全监控技术领域，涉及一种停车场全景安全监控方法，先基于人眼注意机制，采用基于运动信息、对比信息和声音信息的多模态显著性区域推荐算法检测人眼关注区域，同时结合事件重要性权重制定监控内容处理优先级排名，对非关注区域降低分辨率的方式节省资源占用，从而达到实时全景安全监控的目的，并基于安全检测权重以及监控帧间连续性，制定停车场全景安全监控，加快传输和节省保存空间，节约成本。节约成本。节约成本。

【技术实现步骤摘要】
一种停车场全景安全监控方法


[0001]本专利技术属于停车场安全监控
，涉及一种基于多模态显著性区域推荐的停车场全景安全监控方法。

技术介绍

[0002]随着社会的发展和经济的进步，家庭轿车逐渐成为家庭必备，有的家庭甚至有多辆汽车，但是，停车问题逐渐成为城市治理需要考虑的问题，如果停车问题得不到根本性的解决，将会对城市治理带来非常大的不便，因此，停车场的建设和安全问题得到越来越多的重视。
[0003]传统的停车场监控摄像头只能针对固定视角拍摄，导致非常大的缺陷是如果监控拍摄不到的其他位置出现安全事故，或者是通过监控死角从事违法活动，都无法做到实时监控，实时安全警报，由于通过传统方式监控只能看到固定范围内的事件，这对停车场的全面监控非常不利；即使是采用能够360度范围移动的监控探头，也需要将不断的移动才能看到想要观看的内容，在移动的过程中容易错过大量的可能需要关注的内容，而且这种摄像头在某个时刻仍然属于单一视角，无法做到全面监控。与此同时，停车场的监控受制于电脑硬件内存的限制，为节约成本，不能永久保存，需要隔一段时间就清理，有的停车场甚至只能保存最近4天的监控内容，这会导致大量的重要信息丢失，后期需要监控内容的时候，无法调出相应的监控内容，无法起到监控的作用。
[0004]综上所述，现有的监控方式只能监控固定范围，无法根据停车场中内容自动寻找适合的位置，无法做到全范围实时监控，同时传统监控费时、费力、费钱，伴随着深度学习技术的快速发展，基于深度学习的方法在各行各业得到快速发展，基于深度学习的推荐算法也不断被提出，取得了非常大的性能提升，然而，将其用于停车场监控并提升监控安全预测没有得到重视，解决现有停车监控存在的问题。

技术实现思路

[0005]本专利技术的目的在于克服现有技术存在的缺点，设计提供一种基于多模态显著性区域推荐的停车场全景安全监控方法，先基于人眼注意机制，采用基于运动信息，对比信息和声音信息的多模态显著性区域推荐算法检测人眼关注区域，同时结合事件重要性权重制定监控内容处理优先级排名，同时，对非关注区域降低分辨率的方式节省资源占用，从而达到实时全景安全监控的目的，并基于安全检测权重以及监控帧间连续性，制定停车场全景安全监控。
[0006]为实现上述目的，本专利技术实现停车场全景安全监控的具体过程为：（1）采集全景摄像头视频段，根据采集到的全景摄像头视频段构建停车场全景安全监控视频数据集；（2）根据停车场全景监控视频数据集分别基于运动信息、对比信息和声音信息显著性进行检测；
（3）基于运动信息、对比信息和声音信息的显著性检测结果查找出相应的重要物体，对查找出的重要物体进行重要性排名；（4）对排名后的物体进行全景监控视频帧间一致性平滑，将帧间相同物体连接起来形成平滑的窗口运动轨迹；（5）根据步骤（4）形成的不同物体运动轨迹，将点转化为平面，通过屏幕的方式提供单窗口（单一物体）或者多窗口（多个物体）的全景安全内容；（6）针对步骤（5）输出的窗口内容进行动态调节和人工干预监控内容，如窗口内容不是想关注的内容，只需将鼠标移动到需要关注的物体上，并点击该物体，此时以鼠标标记点为中心，形成针对中心为投影中心的投影窗口，并基于此窗口提供后续监控。
[0007]具体的，步骤（1）所述停车场全景安全监控视频数据集采用显著性检测数据集作为训练集，在构建训练集的过程中，先在完整数据集上训练，然后再挑选车辆相关的数据集作为微调数据，使得模型关注车辆、行人和障碍物等显著性区域，显著性检测数据集包括最符合人眼视觉特征且最大的视频显著性检测数据集DAVSOD、最符合人眼视觉特征且最大的音对比显著性检测数据集MSRA10K和最符合人眼视觉特征且最大的音频显著性检测数据集AVEDataset。
[0008]具体的，步骤（2）所述运动信息显著性（VSOD）基于物体在监控视频中前后帧之间的位移关系，获得物体相对于背景区域运动的快慢来判断物体状态，通过FlowNet2计算相邻两帧（I1，I2）之间的光流信息获得视频间的运动信息，光流信息为计算两个像素点之间的速度差：，，，是像素分别沿x轴和y轴移动的距离，是像素从I1到I2所用的时间，x,y为初始像素点的坐标位置，t为移动，需要的时间；得到光流信息之后，通过设计光流感知显著性检测网络（），采用DAVSOD作为运动信息感知训练数据集，将光流特征转化为运动显著性特征：，Flow2Color代表将光流图转化为RGB图，不同颜色表示不同的运动方向，深浅表示运动的快慢，将RGB图作为输入，为输出的运动显著性检测结果图。
[0009]具体的，步骤（2）所述对比信息显著性是基于物体所处的位置、颜色和纹理等特征，通过与背景信息以及物体间的对比突出物体，采用MSRA10K作为对比信息感知训练数据集，基于图片的显著性（ISOD）检测算法（ContrastNet）通过网络层的不同层侧输出感知物体的尺度对比信息，，
ꢀ
分别代表颜色信息、纹理信息、边缘信息，代表多尺度信息，将MSRA10K 的RGB图作为输入，为输出的对比显著性检测结果图。
[0010]具体的，步骤（2）所述声音信息显著性检测是将声音作为视觉信息的辅助，采用AVEDataset作为声音信息感知训练数据集，将音频信息通过傅立叶变换转化为声谱图，将声谱图输入到网络中，判定当前输入中是否含有声音信息，从而决定当前帧的重要性，具体为：，其中，为傅立叶变换，将傅立叶变化图作为输入，为输出声音显著性检测结果图。
[0011]具体的，步骤（3）中物体重要性排名通过以下公式实现：具体的，步骤（3）中物体重要性排名通过以下公式实现：，其中代表第k个物体的排名，N为像素个数，Norm为矩阵最大最小归一化函数，为物体置信度，物体置信度以及物体编号k通过物体检测YoloV5得到。
[0012]具体的，步骤（4）中帧间一致性信息为窗口坐标变化5个像素内，对于超出范围的坐标变化看作超出运动范围的内容，形成的运动轨迹为：，
’
代表点的初始轨迹，代表点平滑后的轨迹，Smooth代表轨迹求均值平滑，为点周围c=5领域，为点周围c=5领域内的像素点。
[0013]具体的，步骤（5）中通过下式将点转化为平面，其中，windows代表输出窗口，代表基于点轨迹的perspective投影。
[0014]与现有技术相比，本专利技术的有益效果是：采用基于多模态显著性区域推荐算法，增强关注区域，非关注区域降低分辨率，加快传输和节省保存空间，节约成本；采用的视频显著性主要基于人的注意力行为制定规则，同时结合事件重要性制定监控内容处理优先级排名，从而达到实时全景安全监控的目的。
附图说明
[0015]图1为本专利技术提供的基于多模态显著性区域推荐的停车场全景安全监控方法的结构框架示意图。
具体实施方式
[0016]下面通过实施例并结合附图对本专利技术做进一步描述本专利技术，但不以任何方式限制本专利技术的范围。
[0017]实施例：本实施例通过采集的视频数据，先基于人眼注意机制采用基本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种停车场全景安全监控方法，其特征在于，具体包括如下步骤：（1）采集全景摄像头视频段，根据采集到的全景摄像头视频段构建停车场全景安全监控视频数据集；（2）根据停车场全景监控视频数据集分别基于运动信息、对比信息和声音信息显著性进行检测；（3）基于运动信息、对比信息和声音信息的显著性检测结果查找出相应的重要物体，对查找出的重要物体进行重要性排名；（4）对排名后的物体进行全景监控视频帧间一致性平滑，将帧间相同物体连接起来形成平滑的窗口运动轨迹；（5）根据步骤（4）形成的不同物体运动轨迹，将点转化为平面，通过屏幕的方式提供单窗口单一物体）或者多窗口的全景安全内容；（6）针对步骤（5）输出的窗口内容进行动态调节和人工干预监控内容，如窗口内容不是想关注的内容，只需将鼠标移动到需要关注的物体上，并点击该物体，此时以鼠标标记点为中心，形成针对中心为投影中心的投影窗口，并基于此窗口提供后续监控。2.根据权利要求1所述停车场全景安全监控方法，其特征在于，步骤（1）所述停车场全景安全监控视频数据集采用显著性检测数据集作为训练集，在构建训练集的过程中，先在完整数据集上训练，然后再挑选车辆相关的数据集作为微调数据，使得模型关注车辆、行人和障碍物显著性区域，显著性检测数据集包括最符合人眼视觉特征且最大的视频显著性检测数据集DAVSOD、最符合人眼视觉特征且最大的音对比显著性检测数据集MSRA10K和最符合人眼视觉特征且最大的音频显著性检测数据集AVEDataset。3.根据权利要求2所述停车场全景安全监控方法，其特征在于，步骤（2）所述运动信息显著性基于物体在监控视频中前后帧之间的位移关系，获得物体相对于背景区域运动的快慢来判断物体状态，通过FlowNet2计算相邻两帧（I1，I2）之间的光流信息获得视频间的运动信息，光流信息为计算两个像素点之间的速度差：，，，是像素分别沿x轴和y轴移动的距离，是像素从I1到I2所用的时间，x,y为初始像素点的坐标位置，t为移动，需要的时间；得到光流信息之后，通过设计光流感知显著性检测网络，采用DAVSOD作为运动信息感知...

【专利技术属性】
技术研发人员：刘寒松，王永，王国强，刘瑞，翟贵乾，李贤超，焦安健，谭连胜，董玉超，
申请(专利权)人：松立控股集团股份有限公司，
类型：发明
国别省市：