视频监控方法、装置及系统制造方法及图纸

本申请公开了一种视频监控方法、装置及系统，属于安防监控领域。方法包括：获取双目摄像机中的第一摄像头采集的第一图像中的至少一个目标框；基于第一图像，以及双目摄像机中的第二摄像头采集的第二图像，获取第一图像的深度图以及位于深度图中的至少一个目标框；基于深度图确定深度图中的每个目标框中的目标对象的实际尺寸；若根据目标对象的实际尺寸确定出目标对象为入侵目标，生成报警信息。通过目标对象的实际尺寸对入侵目标和诸如树叶或小动物的小目标进行区分，有效的降低了误报率，提高了通过双目摄像机监测入侵目标的可靠性。

【技术实现步骤摘要】
视频监控方法、装置及系统
本申请涉及安防监控领域，特别涉及一种视频监控方法、装置及系统。
技术介绍
随着科技的发展，为了加强对外防范和防止恶性事件的发生，周界安防技术被广泛应用于机场、银行、监狱、军事基地或小区等区域。目前的周界安防技术手段多种多样，例如，智能视频图像分析。通常可以通过视频监控方法来实现智能视频图像分析，例如，可以在周界区域布置摄像机，通过摄像机对进入该周界区域的人员或车辆等入侵目标进行监测，并发出报警信息。当入侵目标距离摄像机较远时，该摄像机很难对该入侵目标和诸如树叶或小动物的小目标进行区分，容易引起误报(也即是对小目标进入周界区域后进行报警)，因此目前的摄像机监测入侵目标的可靠性较低。
技术实现思路
本申请实施例提供了一种视频监控方法、装置及系统，至少可以解决摄像机监测入侵目标的可靠性较低的问题，所述技术方案如下：一方面，提供了一种视频监控方法，所述方法包括：获取双目摄像机中的第一摄像头采集的第一图像中的至少一个目标框，每个目标框用于指示目标对象在所述第一图像中的位置；基于所述第一图像，以及所述双目摄像机中的第二摄像头采集的第二图像，获取所述第一图像的深度图以及位于所述深度图中的至少一个目标框，所述第一图像与所述第二图像为时序上相同的两幅图像；基于所述深度图确定所述深度图中的每个目标框中的目标对象的实际尺寸；若根据所述目标对象的实际尺寸确定出所述目标对象为入侵目标，生成报警信息。可选的，基于所述深度图确定所述深度图中的每个目标框中的目标对象的实际尺寸，包括：对于每个所述目标框，在所述深度图中获取所述目标框中每个像素点的深度值；基于所述目标框中每个像素点的深度值，确定所述目标框的深度值代表，所述深度值代表用于指示所述目标框中的目标对象距离所述双目摄像机的距离；基于所述深度值代表，确定所述目标对象的实际尺寸。可选的，所述方法还包括：在所述深度图中获取所述目标框中每个像素点的深度值之前，对所述深度图中的每个像素点的深度值进行中值滤波处理，得到中值滤波处理后的深度图；在所述深度图中获取所述目标框中每个像素点的深度值，包括：在所述中值滤波处理后的深度图中获取所述目标框中每个像素点的深度值。可选的，基于所述目标框中每个像素点的深度值，确定所述目标框的深度值代表，包括：基于所述目标框中每个像素点的深度值，采用深度值代表计算公式计算得到所述目标框的深度值代表，所述深度值代表计算公式为：其中，z0表示所述目标框的深度值代表；(x，y)表示所述中值滤波处理后的深度图中各个像素点在所述第一摄像头的第一坐标系中的坐标；D(x，y)表示所述中值滤波处理后的深度图中各个像素点的深度值；(x1，y1)和(x2，y2)分别表示所述目标框任意两个对角的像素点在所述第一坐标系中的坐标。可选的，基于所述深度值代表，确定所述目标框的实际长度和实际宽度。可选的，所述若根据所述目标对象的实际尺寸确定出所述目标对象为入侵目标，生成报警信息之前，所述方法还包括：基于所述目标框的实际长度和实际宽度，计算所述目标对象的加权值；判断所述目标对象的加权值是否在加权值范围内；若所述目标对象的加权值在所述加权值范围内，确定所述目标对象为入侵目标。可选的，基于所述目标框的实际长度和实际宽度，计算所述目标对象的加权值，包括：基于所述双目摄像机的倾角，对所述目标框的实际长度进行校正，得到校正后长度；基于所述目标框的实际宽度和所述校正后的长度，计算所述目标对象的加权值。可选的，所述获取双目摄像机中的第一摄像头采集的第一图像中的至少一个目标框，包括：基于所述第一图像，采用目标检测算法获取所述第一图像中的第一待选框，所述第一待选框用于指示目标对象在所述第一图像中的位置；基于所述第一摄像头采集的包含所述第一图像的视频流，采用目标跟踪检测算法获取所述第一图像中的第二待选框，所述第二待选框用于指示目标对象在所述第一图像中的位置；将所述第一图像中的所有的第一待选框和第二待选框，确定为所述第一图像中的目标框。可选的，在基于所述第一图像，以及所述双目摄像机中的第二摄像头采集的第二图像，获取所述第一图像的深度图以及位于所述深度图中的至少一个目标框之前，所述方法还包括：采用深度学习网络模型对所述第一图像中的每个目标框中的目标对象进行分类处理，得到所述目标对象的分类处理结果；基于所述目标对象的分类处理结果，判断所述目标对象是否为非入侵目标；若所述目标对象为非入侵目标，滤除所述目标对象对应的目标框。可选的，在采用深度学习网络模型对所述第一图像中的每个目标框中的目标对象进行分类处理，判断所述目标对象是否为入侵目标之前，所述方法还包括：判断所述第一图像中的每个所述目标框是否与所述第一图像中的指定区域重合；若所述目标框不与所述指定区域重合，滤除所述目标框。可选的，所述第一摄像头与所述第二摄像头均为红绿蓝RGB摄像头或红外摄像头，基于所述第一图像，以及所述双目摄像机中的第二摄像头采集的第二图像，获取所述第一图像的深度图以及位于所述深度图中的至少一个目标框，包括：基于所述第一图像和所述第二图像采用立体匹配算法，确定所述第一图像的深度图；基于所述第一图像中的至少一个目标框，确定所述深度图中的至少一个目标框。可选的，所述第一摄像头为RGB摄像头或红外摄像头，所述第二摄像头为深度摄像头，基于所述第一图像，以及所述双目摄像机中的第二摄像头采集的第二图像，获取所述第一图像的深度图以及位于所述深度图中的至少一个目标框，包括：通过所述第二摄像头采集的第二图像，确定所述第一图像的深度图；基于所述第一图像中的至少一个目标框，确定所述深度图中的至少一个目标框。另一方面，提供了一种视频监控装置，所述装置包括：第一获取模块，用于获取双目摄像机中的第一摄像头采集的第一图像中的至少一个目标框，每个目标框用于指示目标对象在所述第一图像中的位置；第二获取模块，用于基于所述第一图像，以及所述双目摄像机中的第二摄像头采集的第二图像，获取所述第一图像的深度图以及位于所述深度图中的至少一个目标框，所述第一图像与所述第二图像为时序上相同的两幅图像；第一确定模块，用于基于所述深度图确定所述深度图中的每个目标框中的目标对象的实际尺寸；生成模块，用于若根据所述目标对象的实际尺寸确定出所述目标对象为入侵目标，生成报警信息。可选的，所述第一确定模块，包括：第一获取单元，用于对于每个所述目标框，在所述深度图中获取所述目标框中每个像素点的深度值；第一确定单元，用于基于所述目标框中每个像素点的深度值，确定所述目标框的深度值代表，所述深度值代表用于指示所述目标框中的目标对象距离所述双目摄像机的距离；第二确定单元，用于基于所述深度值代表，确定所述目标对象本文档来自技高网...

【技术保护点】
1.一种视频监控方法，其特征在于，所述方法包括：/n获取双目摄像机中的第一摄像头采集的第一图像中的至少一个目标框，每个目标框用于指示目标对象在所述第一图像中的位置；/n基于所述第一图像，以及所述双目摄像机中的第二摄像头采集的第二图像，获取所述第一图像的深度图以及位于所述深度图中的至少一个目标框，所述第一图像与所述第二图像为时序上相同的两幅图像；/n基于所述深度图确定所述深度图中的每个目标框中的目标对象的实际尺寸；/n若根据所述目标对象的实际尺寸确定出所述目标对象为入侵目标，生成报警信息。/n

【技术特征摘要】
1.一种视频监控方法，其特征在于，所述方法包括：
获取双目摄像机中的第一摄像头采集的第一图像中的至少一个目标框，每个目标框用于指示目标对象在所述第一图像中的位置；
基于所述第一图像，以及所述双目摄像机中的第二摄像头采集的第二图像，获取所述第一图像的深度图以及位于所述深度图中的至少一个目标框，所述第一图像与所述第二图像为时序上相同的两幅图像；
基于所述深度图确定所述深度图中的每个目标框中的目标对象的实际尺寸；
若根据所述目标对象的实际尺寸确定出所述目标对象为入侵目标，生成报警信息。


2.根据权利要求1所述的方法，其特征在于，基于所述深度图确定所述深度图中的每个目标框中的目标对象的实际尺寸，包括：
对于每个所述目标框，在所述深度图中获取所述目标框中每个像素点的深度值；
基于所述目标框中每个像素点的深度值，确定所述目标框的深度值代表，所述深度值代表用于指示所述目标框中的目标对象距离所述双目摄像机的距离；
基于所述深度值代表，确定所述目标对象的实际尺寸。


3.根据权利要求2所述的方法，其特征在于，所述方法还包括：
在所述深度图中获取所述目标框中每个像素点的深度值之前，对所述深度图中的每个像素点的深度值进行中值滤波处理，得到中值滤波处理后的深度图；
在所述深度图中获取所述目标框中每个像素点的深度值，包括：
在所述中值滤波处理后的深度图中获取所述目标框中每个像素点的深度值。


4.根据权利要求3所述的方法，其特征在于，基于所述目标框中每个像素点的深度值，确定所述目标框的深度值代表，包括：
基于所述目标框中每个像素点的深度值，采用深度值代表计算公式计算得到所述目标框的深度值代表，所述深度值代表计算公式为：



其中，z0表示所述目标框的深度值代表；(x，y)表示所述中值滤波处理后的深度图中各个像素点在所述第一摄像头的第一坐标系中的坐标；D(x，y)表示所述中值滤波处理后的深度图中各个像素点的深度值；(x1，y1)和(x2，y2)分别表示所述目标框任意两个对角的像素点在所述第一坐标系中的坐标。


5.根据权利要求4所述的方法，其特征在于，基于所述深度值代表，确定所述目标对象的实际尺寸，包括：
基于所述深度值代表，确定所述目标框的实际长度和实际宽度。


6.根据权利要求5所述的方法，其特征在于，所述若根据所述目标对象的实际尺寸确定出所述目标对象为入侵目标，生成报警信息之前，所述方法还包括：
基于所述目标框的实际长度和实际宽度，计算所述目标对象的加权值；
判断所述目标对象的加权值是否在加权值范围内；
若所述目标对象的加权值在所述加权值范围内，确定所述目标对象为入侵目标。


7.根据权利要求6所述的方法，其特征在于，基于所述目标框的实际长度和实际宽度，计算所述目标对象的加权值，包括：
基于所述双目摄像机的倾角，对所述目标框的实际长度进行校正，得到校正后长度；
基于所述目标框的实际宽度和所述校正后的长度，计算所述目标对象的加权值。


8.根据权利要求1至7任一所述的方法，其特征在于，所述获取双目摄像机中的第一摄像头采集的第一图像中的至少一个目标框，包括：
基于所述第一图像，采用目标检测算法获取所述第一图像中的第一待选框，所述第一待选框用于指示目标对象在所述第一图像中的位置；
基于所述第一摄像头采集的包含所述第一图像的视频流，采用目标跟踪检测算法获取所述第一图像中的第二待选框，所述第二待选框用于指示目标对象在所述第一图像中的位置；
将所述第一图像中的所有的第一待选框和第二待选框，确定为所述第一图像中的目标框。


9.根据权利要求1至7任一所述的方法，其特征在于，在基于所述第一图像，以及所述双目摄像机中的第二摄像头采集的第二图像，获取所述第一图像的深度图以及位于所述深度图中的至少一个目标框之前，所述方法还包括：
采用深度学习网络模型对所述第一图像中的每个目标框中的目标对象进行分类处理，得到所述目标对象的分类处理结果；
基于所述目标对象的分类处理结果，判断所述目标对象是否为非入侵目标；
若所述目标对象为非入侵目标，滤除所述目标对象对应的目标框。


10.根据权利要求9所述的方法，其特征在于，在采用深度学习网络模型对所述第一图像中的每个目标框中的目标对象进行分类处理，判断所述目标对象是否为入侵目标之前，所述方法还包括：
判断所述第一图像中的每个所述目标框是否与所述第一图像中的指定区域重合；
若所述目标框不与所述指定区域重合，滤除所述目标框。


11.根据权利要求1至7任一所述的方法，其特征在于，所述第一摄像头与所述第二摄像头均为红绿蓝RGB摄像头或红外摄像头，
基于所述第一图像，以及所述双目摄像机中的第二摄像头采集的第二图像，获取所述第一图像的深度图以及位于所述深度图中的至少一个目标框，包括：
基于所述第一图像和所述第二图像采用立体匹配算法，确定所述第一图像的深度图；
基于所述第一图像中的至少一个目标框，确定所述深度图中的至少一个目标框。


12.根据权利要求1至7任一所述的方法，其特征在于，所述第一摄像头为RGB摄像头或红外摄像头，所述第二摄像头为深度摄像头，
基于所述第一图像，以及所述双目摄像机中的第二摄像头采集的第二图像，获取所述第一图像的深度图以及位于所述深度图中的至少一个目标框，包括：
通过所述第二摄像头采集的第二图像，确定所述第一图像的深度图；
基于所述第一图像中的至少一个目标框，确定所述深度图中的至少一个目标框。


13.一种视频监控装置，其特征在于，所述装置包括：
第一获取模块，用于获取双目摄像机中的第一摄像头采集的第一图像中的至少一个目标框，每个目标框用于指示目标对象在所述第一图像中的位置；
第二获取模块，用于基于所述第一图像，以及所述双目摄像机中...

【专利技术属性】
技术研发人员：苏星，
申请(专利权)人：杭州海康威视数字技术股份有限公司，
类型：发明
国别省市：浙江;33