一种相机镜头异物的识别方法及装置制造方法及图纸

本申请涉及图像处理技术领域，特别涉及一种相机镜头异物的识别方法及装置，用以解决现有技术中无法确定相机镜头上的异物的类型的问题。本申请提供的方法包括：获取第一视频帧和第二视频帧；对第一视频帧和第二视频帧分成N个子图像块，确定第一视频帧与第二视频帧分别对应的N个子图像块中存在疑似镜头异物的子图像块；根据第一视频帧与第二视频帧中分别存在疑似镜头异物的子图像块进行轮廓查找确定第一视频帧中存在疑似镜头异物的第一轮廓区域与第二视频帧中存在疑似镜头异物的第二轮廓区域，并根据第二轮廓区域确定外接矩形区域；根据第一轮廓区域、第二轮廓区域以及外接矩形区域确定疑似镜头异物是否为水滴或污渍。矩形区域确定疑似镜头异物是否为水滴或污渍。矩形区域确定疑似镜头异物是否为水滴或污渍。

【技术实现步骤摘要】
一种相机镜头异物的识别方法及装置


[0001]本申请涉及图像处理
，尤其涉及一种相机镜头异物的识别方法及装置。

技术介绍

[0002]随着视频监控技术的发展，监控摄像机逐渐成为一种广泛应用的安防设备。结合深度学习和传统图像处理技术，自动化监控已经深入各个领域，如高空抛物识别、交通违法识别、安全通道堵塞识别等，一旦检测到不合规行为，可以自动发出报警，无需进行人工巡查，节约了大量的人力物力资源。清晰的监控画面和良好的成像质量是保障监控有效的重要条件，当镜头存在脏污时，会导致相机获取的图像画面模糊，进而需要提醒人员采取相应的相关措施。现有技术中，可以识别镜头是否存在脏污以及脏污程度，但是无法确定镜头上的异物是污渍还是水滴，因此不能够准确的提醒相关人员以使相关人员做出相应的措施。

技术实现思路

[0003]本申请实施例提出了一种相机镜头异物的识别方法及装置，用于解决现有技术中无法确定相机镜头上的异物的类型的问题。
[0004]第一方面，本申请实施例提供了一种相机镜头异物的识别方法，包括：
[0005]获取相机采集的视频流中的第一视频帧和第二视频帧，所述第二视频帧为待检测视频帧，所述第一视频帧与所述第二视频帧之间间隔设定时长；将所述第一视频帧和所述第二视频帧分别分成N个子图像块；从所述第一视频帧中的N个子图像块中确定存在疑似镜头异物的M1个子图像块，以及从所述第二视频帧中N个子图像块中确定存在疑似镜头异物的M2个子图像块；针对所述M1个子图像块进行轮廓查找确定疑似镜头异物的第一轮廓区域；针对所述M2个子图像块进行轮廓查找确定所述疑似镜头异物的第二轮廓区域，并确定所述第二轮廓区域的外接矩形区域；所述第一轮廓区域与所述第二轮廓区域存在重叠；根据所述第一轮廓区域以及所述第二轮廓区域确定所述疑似镜头异物的光流图；根据所述第二轮廓区域的外接矩形区域的图像以及所述疑似镜头异物的光流图确定所述疑似镜头异物是否为水滴。
[0006]基于上述方案，可以确定镜头异物所在的区域，进而对镜头异物所在的区域进行识别，确定镜头异物的类型，以便提醒相关人员做出相应的措施。此外，上述方案对于光照、环境变化等具有鲁棒性，识别准确性高。
[0007]一种可能的实现方式中，所述相机为运动相机，从所述第一视频帧中的N个子图像块中确定存在疑似镜头异物的M1个子图像块，以及从所述第二视频帧中N个子图像块中确定存在疑似镜头异物的M2个子图像块，包括：
[0008]分别将所述第一视频帧中N个子图像块与所述第二视频帧中的子图像块进行特征信息匹配，以从所述第一视频帧中的N个子图像块中确定存在疑似镜头异物的M1个子图像块，以及从所述第二视频帧中N个子图像块中确定存在疑似镜头异物的M2个子图像块；其中，所述M1个子图像块与所述M2个子图像块存在匹配关系。
[0009]一种可能的实现方式中，确定所述M1个子图像块与所述M2个子图像块匹配，包括：确定所述第一视频帧中的第一子图像块的特征向量与所述第二视频帧中的K个子图像块的特征向量的相似度；所述K个子图像块包括所述第二视频帧中与所述第一子图像块在第一视频帧位置相同的子图像块以及邻域范围内的子图像块；
[0010]当确定第一子图像块的特征向量与所述K个子图像块中的第二子图像块的特征向量的相似度大于第一设定阈值时，所述第一子图像块为所述第一视频帧中存在疑似镜头异物的子图像块，所述第二子图像块为所述第二视频帧中存在疑似镜头异物的子图像块。
[0011]一种可能的实现方式中，所述相机为静止相机，从所述第一视频帧中的N个子图像块中确定存在疑似镜头异物的M1个子图像块，以及从所述第二视频帧中N个子图像块中确定存在疑似镜头异物的M2个子图像块，包括：
[0012]将所述第一视频帧和所述第二视频帧分别包括的N个子图像块与第一样本集中的图像进行特征信息进行匹配，以确定所述第一视频帧和所述第二视频帧分别包括的N个子图像块对应的类别，所述类别包括背景、水滴或污渍；其中，所述第一样本集中包括多个镜头水滴图像、镜头污渍图像和背景图像；
[0013]将所述第一视频帧中所述类别为水滴或污渍的M1个子图像块作为存在疑似镜头异物的子图像块，将所述第二视频帧中所述类别为水滴或污渍的M2个子图像块作为存在疑似镜头异物的子图像块。
[0014]基于上述方案，在确定运动相机和静止相机分别采用了不同的方法获取镜头异物的多边形区域，能够针对不同状态下的相机采用不同的方法，可适用于不同的应用场景。
[0015]一种可能的实现方式中，所述方法还包括：当确定所述疑似镜头异物不是水滴时，确定所述第二轮廓区域相对于所述第一轮廓区域的面积变化率，并通过第一分类模型确定所述第二轮廓区域的类别；当所述面积变化率小于第二设定阈值且所述第一分类模型确定的所述第二轮廓区域的类别为污渍时，确定所述第二视频帧中所述第二轮廓区域的疑似镜头异物为污渍。
[0016]一种可能的实现方式中，所述根据所述第二轮廓区域的外接矩形区域的图像以及所述疑似镜头异物的光流图确定所述疑似镜头异物是否为水滴，包括：
[0017]将所述第二轮廓区域的外接矩形区域的图像作为第一分类模型中的空间流网络的输入，以及将所述疑似镜头异物的光流图作为第一分类模型中的时间流网络的输入，以通过所述第一分类模型确定所述第二轮廓区域的疑似镜头异物是否为水滴。
[0018]基于上述方案，确定镜头异物是否为镜头水滴时，是根据图像信息和时间维度上的运动信息确定的。在确定镜头异物是否为镜头污渍时，是根据多边形区域面积变化率以及多边形的检测结果共同决定的。因此，该方法对于光照、环境等变化具有鲁棒性，降低了将背景区域误识别为镜头异物的概率，提高了算法的准确性。
[0019]一种可能的实现方式中，所述第一分类模型包括空间流网络和时间流网络，所述第一分类模型是基于第一训练样本集训练得到的，所述第一训练样本集包括多个样本，多个样本中每个样本包括多个包括镜头异物的时间上连续的图像以及每个样本对应的镜头异物的类型，所述方法还包括：通过如下方式获得第一神经网络模型：
[0020]确定所述多个样本中的第一样本的第一图像的光流图；
[0021]将所述第一样本中的所述第一图像输入所述空间流网络，以通过所述空间流网络
输出所述第一图像对应的镜头异物类型的第一概率分布，将所述光流图输入所述时间流网络，以通过所述时间流网络输出所述第一图像对应的镜头异物类型的第二概率分布；其中，所述第一样本包括第一图像在内的多个包括镜头异物的时间上连续的图像以及第一样本对应的镜头异物的类型；
[0022]根据所述第一概率分布和所述第二概率分布确定所述第一图像的预测类型；根据所述第一图像的预测类型与所述第一样本的类别确定第一损失值；根据所述第一损失值调整所述空间流网络和所述时间流网络的网络参数，以获得所述第一分类模型。
[0023]一种可能的实现方式中，所述方法还包括：输出所述第二视频帧中所述第二轮廓区域的疑似镜头异物的检测结果，所述检测结果包括镜头异本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种相机镜头异物的识别方法，其特征在于，包括：获取相机采集的视频流中的第一视频帧和第二视频帧，所述第二视频帧为待检测视频帧，所述第一视频帧与所述第二视频帧之间间隔设定时长；将所述第一视频帧和所述第二视频帧分别分成N个子图像块，N为正整数；从所述第一视频帧中的N个子图像块中确定存在疑似镜头异物的M1个子图像块，以及从所述第二视频帧中N个子图像块中确定存在疑似镜头异物的M2个子图像块；针对所述M1个子图像块进行轮廓查找确定疑似镜头异物的第一轮廓区域；针对所述M2个子图像块进行轮廓查找确定所述疑似镜头异物的第二轮廓区域，并确定所述第二轮廓区域的外接矩形区域；所述第一轮廓区域与所述第二轮廓区域存在重叠；根据所述第一轮廓区域以及所述第二轮廓区域确定所述疑似镜头异物的光流图；根据所述第二轮廓区域的外接矩形区域的图像以及所述疑似镜头异物的光流图确定所述疑似镜头异物是否为水滴。2.如权利要求1所述的方法，其特征在于，所述相机为运动相机，从所述第一视频帧中的N个子图像块中确定存在疑似镜头异物的M1个子图像块，以及从所述第二视频帧中N个子图像块中确定存在疑似镜头异物的M2个子图像块，包括：分别将所述第一视频帧中N个子图像块与所述第二视频帧中的子图像块进行特征信息匹配，以从所述第一视频帧中的N个子图像块中确定存在疑似镜头异物的M1个子图像块，以及从所述第二视频帧中N个子图像块中确定存在疑似镜头异物的M2个子图像块；其中，所述M1个子图像块与所述M2个子图像块存在匹配关系。3.如权利要求2所述的方法，其特征在于，确定所述M1个子图像块与所述M2个子图像块匹配，包括：确定所述第一视频帧中的第一子图像块的特征向量与所述第二视频帧中的K个子图像块的特征向量的相似度；所述K个子图像块包括所述第二视频帧中与所述第一子图像块在第一视频帧位置相同的子图像块以及邻域范围内的子图像块；当确定第一子图像块的特征向量与所述K个子图像块中的第二子图像块的特征向量的相似度大于第一设定阈值时，所述第一子图像块为所述第一视频帧中存在疑似镜头异物的子图像块，所述第二子图像块为所述第二视频帧中存在疑似镜头异物的子图像块。4.如权利要求1所述的方法，其特征在于，所述相机为静止相机，从所述第一视频帧中的N个子图像块中确定存在疑似镜头异物的M1个子图像块，以及从所述第二视频帧中N个子图像块中确定存在疑似镜头异物的M2个子图像块，包括：将所述第一视频帧和所述第二视频帧分别包括的N个子图像块与第一样本集中的图像进行特征信息进行匹配，以确定所述第一视频帧和所述第二视频帧分别包括的N个子图像块对应的类别，所述类别包括背景、水滴或污渍；其中，所述第一样本集中包括多个镜头水滴图像、镜头污渍图像和背景图像；将所述第一视频帧中所述类别为水滴或污渍的M1个子图像块作为存在疑似镜头异物的子图像块，将所述第二视频帧中所述类别为水滴或污渍的M2个子图像块作为存在疑似镜头异物的子图像块。5.如权利要求1
‑
4任一项所述的方法，其特征在于，所述方法还包括：当确定所述疑似镜头异物不是水滴时，确定所述第二轮廓区域相对于所述第一轮廓区
域的面积变化率，并通过第一分类模型确定所述第二轮廓区域的类别；当所述面积变化率小于第二设定阈值且所述第一分类模型确定的所述第二轮廓区域的类...

【专利技术属性】
技术研发人员：高美，蔡旗，李中振，冯长驹，
申请(专利权)人：浙江大华技术股份有限公司，
类型：发明
国别省市：