【技术实现步骤摘要】
本专利技术涉及图像处理，尤其涉及一种异物检测方法、装置、电子设备以及存储介质。
技术介绍
1、目标检测的任务是找出图像中所有感兴趣的目标、确定它们的位置和大小，是机器视觉领域的核心问题之一。异物检测是目标检测的一种应用，比如工业生产中，对工业品的异物检测；自动驾驶过程中对于车辆周围环境的异物检测等等。目前，异物检测涉及到诸多难点，包括目标类型形状、尺寸、移动速度、种类多变等问题，另外，异物检测是很难覆盖全天侯场景，因为背景会随着时间和环境的变化呈现无规律性，入侵物体和背景可以有无数种可能融合，很难穷举。
2、目前，业界更多采用的结合昂贵的激光雷达来处理，使用激光雷达生成稠密的点云图，然后再做目标检测判断，在实际的部署过程中增加了诸多成本。而采用诸如雷达和摄像头结合方法进行判断的，更多的只在浅层特征上做事件判断，输出基于点云数据的预测结果以及基于图像的预测结果，基于各自的输出结果实现对于异物入侵的综合判断，并以帧差作为前置判断条件，然后在结果层上进行异物检测的合并处理。由此可知，现有技术并没有充分利用点云数据，在异物检测性能上还有待提高。
技术实现思路
1、本专利技术提供了一种异物检测方法、装置、电子设备以及存储介质，旨在有效解决上述技术问题。
2、根据本专利技术的第一方面，本专利技术提供一种异物检测方法，所述方法包括：
3、获取目标空间区域的待检测图像以及点云数据；
4、将所述点云数据投影到所述待检测图像的二维平面上，获取投影后数据；
5、对所述待检测图像与所述投影后数据进行候选区域检测与融合，以获取包括预选框的检测后图像；
6、基于所述预选框，对所述待检测图像进行异物检测，获取异物检测结果；
7、其中，所述基于所述预选框，对所述待检测图像进行异物检测，获取异物检测结果得步骤，包括：
8、基于所述预选框，对所述待检测图像进行异物检测，和/或对目标区域进行异物检测，获取包括目标位置信息的目标特征向量，所述目标区域根据所述待检测图像的光流信息确定；
9、将所述目标特征向量与预设的特征模版库中背景模版所对应的背景特征向量进行匹配，并在匹配不成功的情况下，将所述目标特征向量与预设的特征模版库中异物模版的异物特征向量进行匹配，确定目标类型，所述异物检测结果包括目标位置信息以及对应的目标类型。
10、进一步地，在所述基于所述预选框，对所述待检测图像进行异物检测，获取异物检测结果的步骤之前，方法还包括：
11、根据所述待检测图像的光流信息从所述待检测图像中确定目标区域；
12、所述基于所述预选框，对所述待检测图像进行异物检测，获取异物检测结果的步骤，包括：
13、基于所述预选框，对所述目标区域进行异物检测，获取异物检测结果。
14、进一步地，所述基于所述预选框，对所述待检测图像进行异物检测，获取异物检测结果的步骤，包括：
15、基于所述预选框，对所述待检测图像进行异物检测，和/或对所述目标区域进行异物检测，获取包括目标位置信息的目标特征向量；
16、将所述目标特征向量与预设的特征模版库中的特征向量进行匹配，确定目标类型，所述异物检测结果包括目标位置信息以及对应的目标类型。
17、进一步地，在所述将所述目标特征向量与预设的特征模版库中的特征向量进行匹配，确定目标类型的步骤之后，方法还包括：
18、计算目标特征向量与所述特征模版库中的特征向量之间的距离；并在计算得到的距离满足预设距离阈值的情况下，将所述目标特征向量替换至所述特征模版库中，以更新所述特征模版库。
19、进一步地，所述将所述点云数据投影到所述待检测图像的二维平面上，获取投影后数据的步骤，包括：
20、将所述点云数据投影到所述待检测图像的二维平面上，获取初始投影后数据；
21、将所述初始投影后数据中的点云映射至所述待检测图像的各个目标上，并按照目标的形状对所述点云进行高斯化处理，将获取得到的高斯图作为最终的投影后数据；
22、所述对所述待检测图像与所述投影后数据进行候选区域检测与融合，以获取包括预选框的检测后图像的步骤，包括：
23、利用预先训练好的区域候选网络分别对所述最终的投影后数据与所述待检测图像进行候选区域检测，对应获得包括第一预选框的点云数据以及包括第二预选框的图像；
24、对所述包括第一预选框的点云数据与所述包括第二预选框的图像进行融合，获取包括预选框的检测后图像。
25、进一步地，所述基于所述预选框，对所述待检测图像进行异物检测，获取异物检测结果的步骤，包括：
26、基于所述预选框，利用预先训练好的目标检测模型对所述待检测图像进行异物检测，获取异物检测结果；其中，所述预先训练好的目标检测模型基于yolox算法训练得到。
27、进一步地，所述根据所述待检测图像的光流信息从所述待检测图像中确定目标区域的步骤，包括：
28、利用稀疏光流算法对所述待检测图像进行全局视野的光流信息提取，并根据提取到的稀疏光流信息从所述待检测图像中确定初始目标区域；
29、利用稠密光流算法对所述初始目标区域进行光流信息提取，并根据提取到的稠密光流信息从所述初始目标区域中确定最终的目标区域。
30、进一步地，所述特征模板库包括异物特征向量；
31、所述计算目标特征向量与所述特征模版库中的特征向量之间的距离；并在计算得到的距离满足预设距离阈值的情况下，将所述目标特征向量替换至所述特征模版库中，以更新所述特征模版库的步骤，包括：
32、计算目标特征向量与每一类异物特征向量对应的第一中心特征之间的欧式距离，并在计算得到的欧式距离小于异物距离阈值的情况下，比较异物特征向量与第一中心特征之间的欧式距离和目标特征向量与第一中心特征之间的欧式距离之间的大小；
33、在目标特征向量与第一中心特征之间的欧式距离小于异物特征向量与第一中心特征之间的欧式距离的情况下，将所述目标特征向量作为新的异物特征向量，并根据所述新的异物特征向量更新所述第一中心特征以及替换所述特征模版库中的异物特征向量，以更新所述特征模版库。
34、进一步地，所述特征模板库还包括背景特征向量；
35、在所述计算目标特征向量与每一类异物特征向量对应的第一中心特征之间的欧式距离的步骤之前，方法还包括：
36、计算目标特征向量与每一类背景特征向量对应的第二中心特征之间的欧式距离；并在计算得到的欧式距离大于等于背景距离阈值的情况下，计算目标特征向量与每一类异物特征向量对应的第一中心特征之间的欧式距离；
37、在计算得到的欧式距离小于背景距离阈值的情况下，比较背景特征向量与第二中心特征之间的欧式距离和目标特征向量与第二中心特征之间的欧式距离之间的大小；
38、在目标特征向量与第二中心特征之间的欧式距离小于背景特本文档来自技高网...
【技术保护点】
1.一种异物检测方法，其特征在于，包括：
2.如权利要求1所述的异物检测方法，其特征在于，在所述基于所述预选框，对所述待检测图像进行异物检测，获取异物检测结果的步骤之前，方法还包括：
3.如权利要求1所述的异物检测方法，其特征在于，在所述将所述目标特征向量与预设的特征模版库中的特征向量进行匹配，确定目标类型的步骤之后，方法还包括：
4.如权利要求1所述的异物检测方法，其特征在于，所述将所述点云数据投影到所述待检测图像的二维平面上，获取投影后数据的步骤，包括：
5.如权利要求1所述的异物检测方法，其特征在于，所述基于所述预选框，对所述待检测图像进行异物检测，获取异物检测结果的步骤，包括：
6.如权利要求2所述的异物检测方法，其特征在于，所述根据所述待检测图像的光流信息从所述待检测图像中确定目标区域的步骤，包括：
7.如权利要求3所述的异物检测方法，其特征在于，所述特征模板库包括异物特征向量；
8.如权利要求7所述的异物检测方法，其特征在于，所述特征模板库还包括背景特征向量；
9.如权利要
10.一种异物检测装置，其特征在于，所述装置包括：
11.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至9中任一项所述的异物检测方法的步骤。
12.一种存储介质，其特征在于，所述存储介质中存储有多条指令，所述指令适于由处理器加载以执行如权利要求1至9中任一项所述的异物检测方法的步骤。
...【技术特征摘要】
1.一种异物检测方法，其特征在于，包括：
2.如权利要求1所述的异物检测方法，其特征在于，在所述基于所述预选框，对所述待检测图像进行异物检测，获取异物检测结果的步骤之前，方法还包括：
3.如权利要求1所述的异物检测方法，其特征在于，在所述将所述目标特征向量与预设的特征模版库中的特征向量进行匹配，确定目标类型的步骤之后，方法还包括：
4.如权利要求1所述的异物检测方法，其特征在于，所述将所述点云数据投影到所述待检测图像的二维平面上，获取投影后数据的步骤，包括：
5.如权利要求1所述的异物检测方法，其特征在于，所述基于所述预选框，对所述待检测图像进行异物检测，获取异物检测结果的步骤，包括：
6.如权利要求2所述的异物检测方法，其特征在于，所述根据所述待检测图像的光流信息从所述待检测图像中确定目标区域的步骤，包括：
7.如权利要求3所述的异物检测方...
【专利技术属性】
技术研发人员：周霄，
申请(专利权)人：长沙隼眼软件科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。