基于自适应空间特征融合的排爆机器人危险品检测方法技术

本发明专利技术公开了一种基于自适应空间特征融合的排爆机器人危险品检测方法，步骤：从互联网抓取数据获取初始危险物数据集，对初始危险物数据集进行清洗后再对其进行标注，最后对标注完成的数据集进行数据增强即得危险物数据集；使用危险物数据集训练危险物检测模型，其训练过程即以已知类别的物品图像为输入，以物品的对应类别概率为理论输出，不断调整模型参数的过程，训练的终止条件为达到训练次数上限，危险物检测模型是以MobileNetV3作为主干提取网络，采用ASFF特征融合策略的YOLOV4模型；获取排爆机器人采集到的待检测品照片后将其输入危险物检测模型得待检测品的类别。本发明专利技术的方法，检测危险物的精度和效率高，鲁棒性好。好。好。

【技术实现步骤摘要】
基于自适应空间特征融合的排爆机器人危险品检测方法


[0001]本专利技术属于视觉检测
，涉及一种基于自适应空间特征融合的排爆机器人危险品检测方法及其应用。

技术介绍

[0002]近年来，机器人技术突飞猛进，在工业生产、救援救灾等领域均有机器人的身影，排爆机器人作为安防领域的机器人受到诸多关注。目前投入使用的排爆机器人主要依赖于机器人计算机视觉系统回传的视频影像，再由排爆人员通过键盘或者遥控器远程控制排爆机器人完成爆炸物的抓取、转移、引爆等操作，其精度和效率会受到回传视频影像的质量、排爆人员对设备的熟练程度以及回传视频影像和操作之间的时间误差等因素的影响。而作为一种可以在危险环境下代替人类工作的机器人，其对精准度有更高的要求。因此进一步提升排爆机器人的智能化程度是提升其精准度的关键。
[0003]排爆机器人的智能化在于机器人能够通过计算机视觉系统感知周围环境，并根据所获取的信息自主的做出决策并进行下一步操作，其中排爆机器人感知周围环境的关键在于如何让其快速准确的检测识别危险物。随着人工智能技术的不断发展，深度学习算法越来越受到重视，目前已逐渐成为图像识别领域的研究热点。深度学习领域的卷积神经网络技术能够自动的提取图像的特征信息，这些信息具有良好的图像表达能力，因此在目标检测与识别问题中展现出了良好的性能。因此，将深度学习应用于排爆机器人计算机视觉模块从而进行危险物的检测识别，不仅可以提高危险物的检测的精度与速度，而且还可以提高排爆机器人对周围环境的自主感知能力，进而提升排爆机器人的智能化程度。尽管如此，将该技术应用于排爆机器人危险物检测时仍存在以下缺陷：
[0004]第一，由于深度学习是数据驱动型技术，其优异的性能往往依赖于大规模带标签的数据，但是当前并没有公开可使用的危险物数据集。
[0005]第二，当使用现有的深度学习模型进行危险物检测时，其检测精度和速率较低。
[0006]因此，开发一种能够获取大量危险物数据集且检测精度高、检测速率快的排爆机器人危险品检测方法极具现实意义。

技术实现思路

[0007]本专利技术的目的在于克服现有用于排爆机器人危险物检测的深度学习算法无危险物数据集可用、检测精度较低且检测速率较慢的缺陷，提供一种能够获取大量危险物数据集且检测精度高、检测速率快的排爆机器人危险品检测方法。
[0008]为实现上述目的，本专利技术提供如下技术方案：
[0009]基于自适应空间特征融合的排爆机器人危险品检测方法，应用于电子设备(具体可在电子设备的GPU中运行)，包括以下步骤：
[0010](1)构建危险物数据集，具体为从互联网抓取数据获取初始危险物数据集，对初始危险物数据集进行清洗后再对其进行标注，最后对标注完成的数据集进行数据增强即得危
险物数据集；
[0011](2)使用步骤(1)得到的危险物数据集训练危险物检测模型，其训练过程即以已知类别的物品图像为输入，以物品的对应类别概率为理论输出，不断调整模型参数的过程，训练的终止条件为达到训练次数上限(反复迭代，直到模型的损失函数值趋于稳定，即达到训练上限)，所述危险物检测模型是以MobileNetV3作为主干提取网络，采用ASFF特征融合策略的YOLOV4模型；
[0012](3)获取排爆机器人采集到的待检测品照片后将其输入步骤(2)训练得到的危险物检测模型即得待检测品的对应类别。
[0013]本专利技术的基于自适应空间特征融合的排爆机器人危险品检测方法，通过爬虫软件抓取数据，清洗、标注及数据增强即可获取相当数量的危险物数据集，以便后续用于模型训练，模型以YOLOV4作为基础网络结构(YOLOV4相比于SDD、Faster R
‑
CNN此类深度学习网络模型，具有检测速度快、检测精度高的优势)，并根据排爆机器人作业的特殊性，提出以下改进策略：(1)采用MobileNetV3作为主干特征提取网络，降低网络的参数数量，提高网络检测的效率(目标检测算法主要用于危险物的检测，其结果将为机器人的后续操作提供重要的判别依据，其检测效率至关重要)，能够降低模型占用内存的数量，降低部署的要求，进而实现在简易电子设备中部署模型的目的；(2)采用ASFF特征融合策略，使网络学习其他层次对特征进行空间滤波的方式以保留并组合有用的信息，提高模型提取特征的质量，提升模型的检测精度(深度学习模型的检测检测危险物的准确率将直接影响排爆机器人后续操作的精度，因此，模型的检测精度也很重要)。本专利技术的基于自适应空间特征融合的排爆机器人危险品检测方法通过以上处理即可实现对待检测品的快速分类(即危险品检测)。
[0014]作为优选的技术方案：
[0015]如上所述的基于自适应空间特征融合的排爆机器人危险品检测方法，所述从互联网抓取数据获取初始危险物数据集具体是利用python语言的Scrapy框架通过指定关键字的方式在互联网网站上爬取数据即得初始危险物数据集。本专利技术的保护范围并不仅限于此，当然本领域技术人员也可采用其他合适的手段完成数据抓取工作。
[0016]如上所述的基于自适应空间特征融合的排爆机器人危险品检测方法，所述对初始危险物数据集进行清洗是指使用结构相似性指数(SSIM)去除初始危险物数据集中的重复数据；
[0017]所述标注是指使用LabelImg可视化图形标注软件，按照PASAL VOC2007的数据集的格式标注图片并存储所生成的XML文件。本专利技术的保护范围并不仅限于此，数据清洗及标注也可采用其他合适的手段进行，甚至可人工处理，但人工处理效率过低，建议采用软件处理以提高效率。
[0018]如上所述的基于自适应空间特征融合的排爆机器人危险品检测方法，所述数据增强是指分别采用平移、镜像翻转、增强色彩、增强亮度、弱化亮度以及遮挡等策略对标注完成的数据集进行增强。本专利技术的保护范围并不仅限于此，数据增强手段本领域技术人员可根据实际情况选择。
[0019]如上所述的基于自适应空间特征融合的排爆机器人危险品检测方法，上述危险物数据集存在类别分布不平衡的情况，其主要原因在于数据是通过网络爬虫的方式获取的，针对不同类别的危险物其素材的获取难度不同。在真实生存环境中亦是如此，如炸弹发展
年代较为久远，其图像采集素材较为丰富，而烟花类危险物由于其外观特点较为单一，图像多样性差，多样性素材获取难度大，不可避免的会造成数据量少的现象。综上，由于不同危险物图像获取的难易程度差距较大，不可避免会造成数据集中不同类别数据量不平衡的现象。各类别数据分布不平衡会导致检测模型无法均衡学习各类别危险物的特征，进而对检测性能产生影响。因此，有效解决自建危险物数据集的不平衡问题可以增强模型性能，提升危险物检测的精度。
[0020]为了平衡模型对不同样本数量的类别的学习程度，本申请引入了类别平衡损失函数用于替代原来的分类损失函数以缓解类别不平衡问题，具体地，类别平衡损失函数的公式具体如下：
[0021][0022][0023]其中K表示类别，W
cls
[K]表示本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于自适应空间特征融合的排爆机器人危险品检测方法，应用于电子设备，其特征在于，包括以下步骤：(1)构建危险物数据集，具体为从互联网抓取数据获取初始危险物数据集，对初始危险物数据集进行清洗后再对其进行标注，最后对标注完成的数据集进行数据增强即得危险物数据集；(2)使用步骤(1)得到的危险物数据集训练危险物检测模型，其训练过程即以已知类别的物品图像为输入，以物品的对应类别概率为理论输出，不断调整模型参数的过程，训练的终止条件为达到训练次数上限，所述危险物检测模型是以MobileNetV3作为主干提取网络，采用ASFF特征融合策略的YOLOV4模型；(3)获取排爆机器人采集到的待检测品照片后将其输入步骤(2)训练得到的危险物检测模型即得待检测品的对应类别。2.根据权利要求1所述的基于自适应空间特征融合的排爆机器人危险品检测方法，其特征在于，所述从互联网抓取数据获取初始危险物数据集具体是利用python语言的Scrapy框架通过指定关键字的方式在互联网网站上爬取数据即得初始危险物数据集。3.根据权利要求1所述的基于自适应空间特征融合的排爆机器人危险品检测方法，其特征在于，所述对初始危险物数据集进行清洗是指使用结构相似性指数去除初始危险物数据集中的重复数据；所述标注是指使用图形标注软件，按照指定数据集的格式标注图片。4.根据权利要求1所述的基于自适应空间特征融合的排爆机器人危险品检测方法，其特征在于...

【专利技术属性】
技术研发人员：安康，李国承，杜晓鹏，方祖华，方厚招，
申请(专利权)人：上海师范大学，
类型：发明
国别省市：