一种基于混合视觉的高空抛物检测方法及装置制造方法及图纸

本发明专利技术公开了一种基于混合视觉的高空抛物检测方法及装置，同时搭载并配准事件相机和常规摄像机对被监测楼宇进行实时监测，事件相机基于产生的事件序列，检测运动目标，获取运动目标位置，采用卡尔曼滤波算法对运动目标的位置进行跟踪校正，将检测得到的运动目标与已知运动目标进行关联，建立运动目标的跟踪列表，判断运动目标是否为高空抛物，如果是，则上报运动目标的位置和时间，根据上报的运动目标的时间，截取常规摄像机拍摄的视频图像保存。本发明专利技术结合事件相机和常规摄像头的混合视觉，受光照影响小，当抛物与背景颜色相近、尺寸较小、运动太快或黑夜条件时，误报率低，定位性能高。高。高。

【技术实现步骤摘要】
一种基于混合视觉的高空抛物检测方法及装置


[0001]本申请属于目标检测
，尤其涉及一种基于混合视觉的高空抛物检测方法及装置。

技术介绍

[0002]随着高层住宅越来越多，高空抛物、坠物现象严重威胁着人民群众的生命财产安全。及时发现高空抛物并进行追责，是防治这种不文明行为的前提。但因高空抛物的发现难、取证难、追责难等原因导致高空抛物依然是社区管理的重难点之一。
[0003]现有办法是在楼底下仰视安装用于视频图像采集的摄像头，并对监控范围内各监控现场的实时情况进行24小时实时视频监控，当发生异常现象时，传统解决方案是通过人为调取监控录像和上门走访来排查问题。但由于抛物时间不确定，物业人员需要人工查验每一帧图像数据，耗时耗力且易漏查。现今部分解决方案引入基于人工智能的全自主高空抛物实时监控系统，虽然可以在无人干预的情况下自主捕获一部分高空抛物并对其进行追责，但仍旧存在如下几点问题：
[0004]检测难，受光照影响较大，当抛物与背景颜色相近、尺寸较小、运动太快或黑夜条件时，定位性能较差，误报率高；
[0005]成本高，高分辨率且高帧率的枪机成本很高，若采用人工智能方法则要按需采购足量的GPU，虽然能实现自主监控但提到了成本。

技术实现思路

[0006]本申请的目的是提供一种基于混合视觉的高空抛物检测方法，以克服上述
技术介绍
中指出的缺陷。
[0007]为了实现上述目的，本申请技术方案如下：
[0008]一种基于混合视觉的高空抛物检测方法，包括：
[0009]同时搭载并配准事件相机和常规摄像机对被监测楼宇进行实时监测；
[0010]事件相机基于产生的事件序列，检测运动目标，获取运动目标位置；
[0011]采用卡尔曼滤波算法对运动目标的位置进行跟踪校正；
[0012]将检测得到的运动目标与已知运动目标进行关联；
[0013]建立运动目标的跟踪列表，判断运动目标是否为高空抛物，如果是，则上报运动目标的位置和时间；
[0014]根据上报的运动目标的时间，截取常规摄像机拍摄的视频图像保存。
[0015]进一步的，所述事件相机基于产生的事件序列，检测运动目标，获取运动目标位置，包括：
[0016]获取预设时间段内的事件序列，换算为对应的均值时间图；
[0017]基于均值时间图采用阈值法区分运动目标和背景，并去除噪声干扰；
[0018]进行目标检测，获取运动目标位置信息。
[0019]进一步的，所述获取预设时间段内的事件序列，换算为对应的均值时间图，包括：
[0020]获取预设时间段内的事件序列，按照如下公式生成时间图像：
[0021][0022]其中，T
i,j
为时间图像中的像素值，(i,j)为离散化后的整数像素坐标，Σt表示δt内位置(i,j)坐标上的事件序列时间累计值，δt为预设时间段；
[0023]在时间图像的基础上，采用如下公式换算得到平均时间图像：
[0024][0025]表示所有T
i,j
的均值，平均时间图像中每个像素表示为ρ
i,j
。
[0026]进一步的，所述采用卡尔曼滤波算法对运动目标的位置进行跟踪校正，包括：
[0027]采用k
‑
1时刻的状态来预测得到一个k时刻状态的预测值，然后对k时刻的预测值和k时刻的实际测量值进行加权线性组合找到最优估计值，作为运动目标k时刻的状态，所述状态包括位置和速度。
[0028]进一步的，所述k时刻状态的预测值表示为其中x
k
表示k时刻的位置预测值，表示k时刻的速度预测值，其中：
[0029][0030][0031]Δt＝t
k
‑
t
k
‑1[0032]其中，x
k
‑1表示k
‑
1时刻的位置，表示k
‑
1时刻的速度，g表示匀加速运动的加速度，t
k
表示k时刻的时间，t
k
‑1表示k
‑
1时刻的时间。
[0033]本申请还提出了一种基于混合视觉的高空抛物检测装置，包括：
[0034]配准模块，用于配准同时搭载的事件相机和常规摄像机对被监测楼宇进行实时监测；
[0035]运动目标检测跟踪模块，用于基于事件相机产生的事件序列，检测运动目标，获取运动目标位置；采用卡尔曼滤波算法对运动目标的位置进行跟踪校正；将检测得到的运动目标与已知运动目标进行关联；建立运动目标的跟踪列表，判断运动目标是否为高空抛物，如果是，则上报运动目标的位置和时间；
[0036]常规摄像机录像截取模块，用于根据上报的运动目标的时间，截取常规摄像机拍摄的视频图像保存。
[0037]进一步的，所述运动目标检测跟踪模块，基于事件相机产生的事件序列，检测运动目标，获取运动目标位置，执行如下操作：
[0038]获取预设时间段内的事件序列，换算为对应的均值时间图；
[0039]基于均值时间图采用阈值法区分运动目标和背景后，并去除噪声干扰；
[0040]进行目标检测，获取运动目标位置信息。
[0041]进一步的，所述运动目标检测跟踪模块，获取预设时间段内的事件序列，换算为对
应的均值时间图，执行如下操作：
[0042]获取预设时间段内的事件序列，按照如下公式生成时间图像：
[0043][0044]其中，T
i，j
为时间图像中的像素值，(i，j)为离散化后的整数像素坐标，∑t表示δt内位置(i，j)坐标上的事件序列时间累计值，δt为预设时间段；
[0045]在时间图像的基础上，采用如下公式换算得到平均时间图像：
[0046][0047]表示所有T
i，j
的均值，平均时间图像中每个像素表示为ρ
i，j
。
[0048]进一步的，所述运动目标检测跟踪模块，采用卡尔曼滤波算法对运动目标的位置进行跟踪校正，执行如下操作：
[0049]采用k
‑
1时刻的状态来预测得到一个k时刻状态的预测值，然后对k时刻的预测值和k时刻的实际测量值进行加权线性组合找到最优估计值，作为运动目标k时刻的状态，所述状态包括位置和速度。
[0050]进一步的，所述k时刻状态的预测值表示为其中x
k
表示k时刻的位置预测值，表示k时刻的速度预测值，其中：
[0051][0052][0053]Δt＝t
k
‑
t
k
‑1[0054]其中，x
k
‑1表示k
‑
1时刻的位置，表示k
‑
1时刻的速度，g表示匀加速运动的加速度，t
k
表示k时刻的时间，t
k
‑1表示k
‑
1时刻的时间。
[本文档来自技高网...

【技术保护点】

【技术特征摘要】
其中，x
k
‑1表示k
‑
1时刻的位置，表示k
‑
1时刻的速度，g表示匀加速运动的加速度，t
k
表示k时刻的时间，t
k
‑1表示k
‑
1时刻的时间。6.一种基于混合视觉的高空抛物检测装置，其特征在于，所述基于混合视觉的高空抛物检测装置，包括：配准模块，用于配准同时搭载的事件相机和常规摄像机对被监测楼宇进行实时监测；运动目标检测跟踪模块，用于基于事件相机产生的事件序列，检测运动目标，获取运动目标位置；采用卡尔曼滤波算法对运动目标的位置进行跟踪校正；将检测得到的运动目标与已知运动目标进行关联；建立运动目标的跟踪列表，判断运动目标是否为高空抛物，如果是，则上报运动目标的位置和时间；常规摄像机录像截取模块，用于根据上报的运动目标的时间，截取常规摄像机拍摄的视频图像保存。7.根据权利要求6所述的基于混合视觉的高空抛物检测装置，其特征在于，所述运动目标检测跟踪模块，基于事件相机产生的事件序列，检测运动目标，获取运动目标位置，执行如下操作：获取预设时间段内的事件序列，换算为对应的均值时间图；基于均值时间图采用阈值法区分运动目标和背景，并去除噪声干扰；进行目标检测，获取运动目标位置信息。8.根据权利要求7所述的基于混合视觉的高空抛物检测装置，其特征在于，所述运动目标检测跟踪模块，获取预设时间段内的事件序列，换算为对应的均值时间图，执行如下操作：获取预设时间段内的事件序列，按照如下公式生成时间图像：其中，...

【专利技术属性】
技术研发人员：马金艳，徐庶，刘庆杰，管达志，倪文辉，高爽，陈博文，
申请(专利权)人：中国电子科技南湖研究院，
类型：发明
国别省市：