基于交互式持续学习的360度全景监控自动巡航方法技术

本发明专利技术属于自动巡航技术领域，尤其涉及一种基于交互式持续学习的360度全景监控自动巡航方法，通过多模态信息自动生成监控内容，相对于单一源头的监控来说更加鲁棒，而且能够将监控内容自动展示，并能时刻调整监控内容，在调整监控的基础上能够实现持续学习来提升模型的性能，具有自进化的能力，能够克服现实场景中复杂情况。景中复杂情况。景中复杂情况。

【技术实现步骤摘要】
基于交互式持续学习的360度全景监控自动巡航方法


[0001]本专利技术属于自动巡航
，尤其涉及一种基于交互式持续学习的360度全景监控自动巡航方法。

技术介绍

[0002]社区是区域性的社会，具有一定的边界和范围，目前城市人口密集，使得城市的社区治理变得非常复杂，伴随着城市的发展，城市的各种生活系统变得非常复杂，尤其是信息化时代，社区的治理伴随着治安防范，社区诈骗，网络纠纷。
[0003]监控系统往往由图像采集、传输，控制、显示等设备和控制软件构成，由于其能够实时记录和监视现场发生的事件，在城市的大街小巷布满了摄像头系统，从而为维护城市社区的长治久安奠定了基础。
[0004]360度全景监控目前应用最广泛的是车载系统中自动泊车系统，而全景监控系统应用与智慧安防目前正在逐渐增多，360度全景监控摄像头是能够完全无死角的监控大面积区域，可以取代多台普通的摄像机实现无缝监控。而且360度全景监控的智能化发展也正在进行中，通过在360度视频监控中嵌入智能识别算法，能够对画面中的行人，车辆等行为进行监控、检测和识别，在发生治安问题的时候能够及时发出预警。
[0005]但是目前的智能化监控设备往往不能实现智能化的自动巡航，在实际应用过程中存在诸多问题，如在出现树叶落下的时候误判为小动物运动，并且在全景监控过程中只能展示单一视口，在非展示视口的情况下，死角范围内发生的事件不可见。

技术实现思路

[0006]针对现有技术存在的问题，本专利技术设计提供了一种基于交互式持续学习的360度全景监控自动巡航方法。
[0007]为实现上述目的，本专利技术实现自动巡航的具体过程为：（1）采用World360和ASOD60K数据集作为360度全景监控的自动巡航数据集；（2）将自动巡航数据集中的视频采用等距投影的方式得到ERP图片，通过在ERP图片的在不同位置施加不同类型的卷积核提取360度全景监控的视觉数据特征；（3）截取自动巡航初始数据集中视频的声音片段作为音频信号，在音频信号之间采用Hanning窗口的方式来加权当前帧的音频信号，再使用一维全卷积网络提取360度全景监控的声音数据特征；（4）将步骤（2）提取的视觉数据特征映射为高维向量，采用音视高维度特征之间相似性度量的方式，将视觉数据特征中与声音数据特征具有高度一致性的特征提取出来，从而加权视觉特征对应区域，得到融合后的音视特征；（5）通过融合后的特征生成视点数据，并基于视点数据生成视口；（6）采用多路监控显示的方式，即每个视点存在一个监控路径，对每个监控路径以小窗的形式显示在显示屏的周围区域，通过不断更新显示内容来显示视点检测的结果，其
中选择视点相应值最高的作为主窗口显示，当出现另一个高视点置信度的时候将会切换到另一个视点继续追踪；在监控指挥权落到管理人员身上的时候，自动切换到管理人员视口，此时，收集鼠标点击位置和方向键，并通过投影的方式显示管理人员视口；（7）采用连续学习的方式持续的更新数据和更新模型，应对不同复杂场景下的360度全景监控场景；（8）使用自动巡航数据集中的训练集作为网络的拟合数据，先将全景视频转化为等距投影的2D图片，并将声音保存为mp3的格式，将音视数据输入到整个网络中，并计算损失函数，损失包含基于平滑后的损失和基于视点坐标的损失两部分；（9）将全景视频数据转为ERP数据和mp3数据，并输入到网络中，生成视点数据，并生成视口，在人工点击后，将人工点击的位置作为数据输入到本地数据集，将作为连续学习的训练集，提升网络的性能。
[0008]作为本专利技术的进一步技术方案，步骤（2）的具体过程为：在原有卷积核的基础上引入极坐标，假设采用普通卷积核，则相应视觉数据特征的计算方式为：在ERP图片中将普通卷积核进行变换得到相应的ERP位置计算为，其中，代表不同卷积核提取的特征，(x,y)代表像素的位置坐标，代表像素的极坐标位置，代表普通的卷积核，提取视觉数据特征采用的卷积核，代表卷积核对应ERP上的卷积区域。
[0009]作为本专利技术的进一步技术方案，步骤（3）得到的声音数据特征为：其中，代表m层1维卷积，其初始化权重来自于SoundNet网络，代表将音频信号通过傅里叶变换并加Hanning窗转化为声谱图。
[0010]作为本专利技术的进一步技术方案，步骤（4）的具体过程为：其中，代表矩阵间的相似性度量，代表将矩阵进行特征尺寸转化操作，和代表将特征转化到高维度特征，得到融合后的音视特征为：代表将特征转化到高维度特征，得到融合后的音视特征为：为融合后的音视特征，代表视觉数据特征，代表将特征转化到高维度特征，代表softmax函数归一化，代表将矩阵进行特征尺寸转化操作。
[0011]作为本专利技术的进一步技术方案，步骤（5）视点的生成采用两种方式，一种为生成视点坐标位置，另一种为生成视点的平滑后的区域：
其中，代表将位置的坐标值进行高斯平滑，从而生成视点区域，代表生成的视点坐标位置，代表网络输出，为融合后的音视特征，为卷积层操作；得到视点位置后，将视点逆投影到球面上，然后二次投影到视口FoV上：其中，代表球面投影，代表投影为视口。
[0012]与现有技术相比，本专利技术的有益效果是：通过多模态信息自动生成监控内容，相对于单一源头的监控来说更加鲁棒，而且本专利技术的技术方案更加智能化，能够将监控内容自动展示，并能时刻调整监控内容，在调整监控的基础上，模型能够实现持续学习，来提升模型的性能，相对于传统模型来说，由于模型具有自进化的能力，能够克服现实场景中复杂情况。
附图说明
[0013]图1为本专利技术实现自动巡航的流程框架示意图。
[0014]图2为本专利技术实现自动巡航的网络结构图。
具体实施方式
[0015]下面结合附图并通过实施例进一步描述本专利技术，但不以任何方式限制本专利技术的范围。
[0016]实施例：本实施例采用如图1所示的流程和图2所示的网络实现自动巡航，具体包括如下步骤：（1）构建360度全景监控的自动巡航数据集采用360度视点预测数据集作为初始数据集，360度全景视点数据集在标注的过程中，收集感兴趣区域作为标注，基于感兴趣区域能够实现360度全景监控视口的自动生成，本实施例采用数据集World360和ASOD60K数据集作为自动巡航数据集；（2）360度全景监控多模态数据优势分析目前，对于多模态数据的处理越来越多，主要原因是相对于单一模态数据，多模态数据能够蕴含更多的数据信息，通过多模态数据协同处理，能够克服单一模态中，某个模态失效导致的错误问题，同时，多模态信息能够将模型的性能提升到最大化，因为模态之间数据协同处理能够将每个模态中错误的信息过滤掉，因此，本实施例在360度全景监控中采用多模态的方式；（3）360度全景监控分析目前360度全景监控相关的研究较少，主要原因是360度全景监控的摄像头在成像的时候需要将不同角度的拍摄内容图片组合到一张图中，而在组合的过程中，摄像头需要组合成为球形的内容，然而，目前的深度学习模型为基于2D图像的输入，导致无法直接将3D
的球形内容输入到网络中本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于交互式持续学习的360度全景监控自动巡航方法，其特征在于，具体过程为：（1）采用World360和ASOD60K数据集作为360度全景监控的自动巡航数据集；（2）将自动巡航数据集中的视频采用等距投影的方式得到ERP图片，通过在ERP图片的在不同位置施加不同类型的卷积核提取360度全景监控的视觉数据特征；（3）截取自动巡航初始数据集中视频的声音片段作为音频信号，在音频信号之间采用Hanning窗口的方式来加权当前帧的音频信号，再使用一维全卷积网络提取360度全景监控的声音数据特征；（4）将步骤（2）提取的视觉数据特征映射为高维向量，采用音视高维度特征之间相似性度量的方式，将视觉数据特征中与声音数据特征具有高度一致性的特征提取出来，从而加权视觉特征对应区域，得到融合后的音视特征；（5）通过融合后的特征生成视点数据，并基于视点数据生成视口；（6）采用多路监控显示的方式，即每个视点存在一个监控路径，对每个监控路径以小窗的形式显示在显示屏的周围区域，通过不断更新显示内容来显示视点检测的结果，其中选择视点相应值最高的作为主窗口显示，当出现另一个高视点置信度的时候将会切换到另一个视点继续追踪；在监控指挥权落到管理人员身上的时候，自动切换到管理人员视口，此时，收集鼠标点击位置和方向键，并通过投影的方式显示管理人员视口；（7）采用连续学习的方式持续的更新数据和更新模型，应对不同复杂场景下的360度全景监控场景；（8）使用自动巡航数据集中的训练集作为网络的拟合数据，先将全景视频转化为等距投影的2D图片，并将声音保存为mp3的格式，将音视数据输入到整个网络中，并计算损失函数，损失包含基于平滑后的损失和基于视点坐标的损失两部分；（9）将全景视频数据转为ERP数据和mp3数据，并输入到网络中，生成视点数据，并生成视口，在人工点击后，将人工点击的...

【专利技术属性】
技术研发人员：刘寒松，王永，王国强，刘瑞，谭连盛，
申请(专利权)人：松立控股集团股份有限公司，
类型：发明
国别省市：