基于光纤传感与无人机视频的多模态融合侵入识别方法技术

本发明专利技术公开了一种基于光纤传感与无人机视频的多模态融合侵入识别方法，光纤扰动监测系统采集光路信号，并对采集信号依次进行预处理和分类，获得侵入行为数据，根据侵入行为数据确定可疑侵入位置，然后调动附近执勤无人机前往进行视频拍摄和跟踪，并将视频数据传回测监系统，然后采用视觉SVM分类，获取侵入行为数据，最后采用多模态融合神经网络，精准确定侵入行为。本发明专利技术融合了多种识别方法，从不同角度、不同维度对扰动数据进行分析，相比于传统的侵入行为识别，更加精确，识别精确度可达99％以上。同时具有机动性更好、视频捕捉无死角、监控范围大、可跟踪拍摄、相同距离部署数量少且部署简单，无需摄像头布线等优点。无需摄像头布线等优点。无需摄像头布线等优点。

【技术实现步骤摘要】
基于光纤传感与无人机视频的多模态融合侵入识别方法


[0001]本专利技术属于安防领域，特别是一种基于光纤传感与无人机视频数据的多模态融合侵入识别的方法。

技术介绍

[0002]传统光纤扰动监测系统中，侵入模式识别一直是一项重要的研究课题。光纤扰动监测系统一般采用双马赫
‑
曾德或原理进行数据采集，通过时域、频域信号进行判断，对不同振动模式下的信号进行分析、统计，从而判定侵入行为和位置。随着视频处理技术的发展，新型光纤扰动监测系统联动摄像头应运而生，在该系统中，光纤传感系统监测到振动信号后，调取相应位置摄像头，由人工进行侵入行为判断。
[0003]现有技术的缺点：
[0004]1)传统光纤扰动监测系统的不足主要体现在，侵入行为模式识别不准确，侵入位置定位不精确。当下安防系统应用环境中，普遍存在风雨干扰、车辆经过、周边机械干扰(例如变压器，空调外机等)，会造成大量的误报，而这些误报信号会带来大量的出警、巡查等人工费用。
[0005]2)新型光纤扰动及摄像头联动系统中，由于摄像头的加入，当光纤扰动系统出现报警信号后，系统自动调取响应位置摄像头的视频数据，通过人工判定，该方法减小了误报率。由于摄像头的固定安装及监控范围限制，系统需要安装大量的网络摄像机，造成成本大幅提高；同时，摄像头监控范围存在死角，也为侵入判定留下漏洞；另外，视频监控系统需要安保人员24小时进行监控，增加了系统的后期运维费用，而安保人员执勤时，由于疲劳造成监控漏洞；最后，摄像头的拍摄容易受天气影响。
专利技术内容
[0006]本专利技术为解决公知技术中存在的技术问题而提供一种基于光纤传感与无人机视频的多模态融合侵入识别方法，该方法抗环境干扰能力较强，侵入模式识别率高。
[0007]本专利技术为解决公知技术中存在的技术问题所采取的技术方案是：一种基于光纤传感与无人机视频的多模态融合侵入识别方法，采用以下步骤：
[0008]1)利用光纤扰动监测系统对光路信号进行采集；
[0009]2)调取步骤1)的信号进行频域变换，获得频域信号；
[0010]3)调取步骤1)的信号进行数据消减和去噪预处理，获得预处理后的时域信号；
[0011]4)采用带通滤波器对步骤2)获得的频域信号进行预处理，获得预处理后的频域信号；
[0012]5)调取步骤3)预处理后的时域信号，采用两级SVM模型对该信号进行分类，第一级SVM模型采用二值分类将数据粗分为扰动数据与平静数据；第二级SVM模型采用回归模型多值分类对第一级得到的扰动数据进行分类，将扰动数据细分为侵入行为；
[0013]6)调取步骤4)预处理后的频域信号，采用两级SVM模型对该信号进行分类，第一级
SVM模型采用二值分类将数据粗分为扰动数据与平静数据；第二级SVM模型采用回归模型多值分类对第一级得到的扰动数据进行分类，将扰动数据细分为侵入行为；
[0014]7)光纤扰动监测系统根据步骤5)和步骤6)获得的扰动数据确定可疑侵入位置，并调动附近执勤无人机，前往可疑位置进行视频拍摄和跟踪，并将视频数据回传至光纤扰动监测系统；
[0015]8)将无人机回传的视频数据进行预处理为行像素列表和平坦化后的3D颜色直方图；
[0016]9)设计针对行像素列表的SVM模型，SVM模型设计包括针对不同侵入行为的特征库搭建、SVM模型搭建、SVM模型学习及SVM模型使用，应用该SVM模型对步骤8)中的行像素列表数据进行分类，通过分类结果识别侵入行为，并将识别结果传输至下一级；
[0017]10)设计针对3D颜色直方图的SVM模型，SVM模型设计包括针对不同侵入行为的特征库搭建、SVM模型搭建、SVM模型学习及SVM模型使用，应用该SVM模型对步骤8)中的平坦化处理后的3D颜色直方图数据进行分类，通过分类结果识别侵入行为，并将识别结果传输至下一级；
[0018]11)设计卷积神经网络，主要包括针对不同侵入行为的特征库搭建、卷积神经网络搭建、卷积神经网络学习和卷积神经网络使用，使用卷积神经网络之前，首先将无人机回传的视频数据处理为帧图片，然后应用卷积神经网络对帧图片进行侵入行为的识别，并将识别结果传输至下一级；
[0019]12)设计多模态融合神经网络，主要包括多模态融合神经网络搭建、多模态融合神经网络学习库搭建、多模态融合神经网络学习和多模态融合神经网络使用，方法如下：
[0020]首先，搭建多模态融合神经网络，神经网络共有5个模态输入和1个模态输出，5个模态输入分别是input1
‑
步骤5)中光纤扰动检测数据时域SVM分类结果、input2
‑
步骤6)中光纤扰动检测数据频域SVM分类结果、input3
‑
步骤9)中行像素列表SVM识别结果、input4
‑
步骤10)中3D颜色直方图SVM识别结果和input5
‑
步骤11)中卷积神经网络识别结果，5个模态输入对应的权重值分别为w1、w2、w3、w4和w5；
[0021]然后人工搭建包含多种侵入行为的多模态融合神经网络学习库，该学习库包括5个子学习库，分别是：库1
‑
步骤5)中光纤扰动检测数据时域SVM分类结果、库2
‑
步骤6)中光纤扰动检测数据频域SVM分类结果、库3
‑
步骤9)中行像素列表SVM识别结果、库4
‑
步骤10)中3D颜色直方图SVM识别结果、库5
‑
步骤11)中卷积神经网络识别结果；
[0022]接着进行多模态融合神经网络学习，将包含多种侵入行为的多模态融合神经网络学习库的数据，不断输入已搭建好的多模态融合神经网络学习，其中库1输入input1，库2输入input2，库3输入input3，库4输入input4，库5输入input5，当多模态融合神经网络识别效果达到最佳时，学习完成，保存w1、w2、w3、w4、w5五个权重值；
[0023]最后进行多模态融合神经网络的使用，将w1、w2、w3、w4、w5五个权重值配置到多模态融合神经网络，将步骤5)中光纤扰动检测数据时域SVM分类结果输入input1，将步骤6)中光纤扰动检测数据频域SVM分类结果输入input2，将步骤9)中行像素列表SVM识别结果输入input3，将步骤10)中3D颜色直方图SVM识别结果输入input4，将步骤11)中卷积神经网络识别结果输入input5，通过多模态融合神经网络识别侵入行为，并传输至下一级。
[0024]所述步骤8)，首先将视频数据转换为帧图片，调取帧图片提取图像特征向量，调整
图像大小，将图像平坦化为行像素列表；调取帧图片提取颜色直方图，从HSV颜色间距中提取3D颜色直方图，并对3D颜色直方图进行平坦化处理。
[0025]所述步骤9)，首先人工确定多个侵入行为，并选取每个侵入行为对应的图像，提取图像特征向量，调整图像大小，将不同侵入行为的图像平坦本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于光纤传感与无人机视频的多模态融合侵入识别方法，其特征在于，采用以下步骤：1)利用光纤扰动监测系统对光路信号进行采集；2)调取步骤1)的信号进行频域变换，获得频域信号；3)调取步骤1)的信号进行数据消减和去噪预处理，获得预处理后的时域信号；4)采用带通滤波器对步骤2)获得的频域信号进行预处理，获得预处理后的频域信号；5)调取步骤3)预处理后的时域信号，采用两级SVM模型对该信号进行分类，第一级SVM模型采用二值分类将数据粗分为扰动数据与平静数据；第二级SVM模型采用回归模型多值分类对第一级得到的扰动数据进行分类，将扰动数据细分为侵入行为；6)调取步骤4)预处理后的频域信号，采用两级SVM模型对该信号进行分类，第一级SVM模型采用二值分类将数据粗分为扰动数据与平静数据；第二级SVM模型采用回归模型多值分类对第一级得到的扰动数据进行分类，将扰动数据细分为侵入行为；7)光纤扰动监测系统根据步骤5)和步骤6)获得的扰动数据确定可疑侵入位置，并调动附近执勤无人机，前往可疑位置进行视频拍摄和跟踪，并将视频数据回传至光纤扰动监测系统；8)将无人机回传的视频数据进行预处理为行像素列表和平坦化后的3D颜色直方图；9)设计针对行像素列表的SVM模型，SVM模型设计包括针对不同侵入行为的特征库搭建、SVM模型搭建、SVM模型学习及SVM模型使用，应用该SVM模型对步骤8)中的行像素列表数据进行分类，通过分类结果识别侵入行为，并将识别结果传输至下一级；10)设计针对3D颜色直方图的SVM模型，SVM模型设计包括针对不同侵入行为的特征库搭建、SVM模型搭建、SVM模型学习及SVM模型使用，应用该SVM模型对步骤8)中的平坦化处理后的3D颜色直方图数据进行分类，通过分类结果识别侵入行为，并将识别结果传输至下一级；11)设计卷积神经网络，主要包括针对不同侵入行为的特征库搭建、卷积神经网络搭建、卷积神经网络学习和卷积神经网络使用，使用卷积神经网络之前，首先将无人机回传的视频数据处理为帧图片，然后应用卷积神经网络对帧图片进行侵入行为的识别，并将识别结果传输至下一级；12)设计多模态融合神经网络，主要包括多模态融合神经网络搭建、多模态融合神经网络学习库搭建、多模态融合神经网络学习和多模态融合神经网络使用，方法如下：首先，搭建多模态融合神经网络，神经网络共有5个模态输入和1个模态输出，5个模态输入分别是input1
‑
步骤5)中光纤扰动检测数据时域SVM分类结果、input2
‑
步骤6)中光纤扰动检测数据频域SVM分类结果、input3
‑
步骤9)中行像素列表SVM识别结果、input4
‑
步骤10)中3D颜色直方图SVM识别结果和input5
‑
步骤11)中卷积神经网络识别结果，5个模态输入对应的权重值分别为w1、w2、w3、w4和w5；然后人工搭建包含多种侵入行为的多模态融合神经网络学习库，该学习库包括5个子学习库，分别是：库1
‑
步骤5)中光纤扰动检测数据时域SVM分类结果、库2
‑
步骤6)中光纤扰动检测数据频域SVM分类结果、库3
‑
步骤9)中行像素列表SVM识别结果、库4
‑
步骤10)中3D颜色直方图SVM识别结果、库5
‑
步骤11)中卷积神经网络识别结果；接着进行多模态融合神经网络学习，...

【专利技术属性】
技术研发人员：刘柯，
申请(专利权)人：天津求实飞博科技有限公司，
类型：发明
国别省市：