一种基于YOLACT++的车身表面损伤检测及掩膜生成方法和存储设备技术

本发明专利技术涉及图像处理技术领域，特别涉及一种基于YOLACT++的车身表面损伤检测及掩膜生成方法和存储设备。所述一种基于YOLACT++的车身表面损伤检测及掩膜生成方法，包括步骤：通过视频数据采集并生成预设大小值的车体表面损伤区域图像；输入所述预设大小值的车体表面损伤区域图像至主干网络中进行特征提取；输入提取的特征张量至PedictionHeader和ProtoNet两个并行处理分支中处理；通过目标原型掩膜张量及掩膜系数计算出最优原型掩膜；根据所述最优原型掩膜及所述目标原型掩膜的目标定位，分割出损伤区域；在所述分割出的损伤区域上生成对应的掩膜。通过引入掩膜系数，参与至最优原型掩膜生成，大大提高损伤区域定位的准确度。

【技术实现步骤摘要】
一种基于YOLACT++的车身表面损伤检测及掩膜生成方法和存储设备
本专利技术涉及图像处理
，特别涉及一种基于YOLACT++的车身表面损伤检测及掩膜生成方法和存储设备。
技术介绍
随着生活水平的提高，几乎家家户户都有自己的车，而车在使用的过程中，难免会发生一些刮碰导致车体表面损失，传统的车辆修复靠人工识别，完整修复的难度较大、修复时间较长。近年来，开始采用车体表面损伤检测来对车辆损害进行评估。然而尽管各种识别技术不断向前演进，但最关键的识别效果尚未达到理想程度，更难以实现大范围普及。如采用ResNET101进行检测，由于主干网络的参数量过大对检测性能的应许更大，及原有的模型中目标查准率相对较低，检测效果较差，在进行车身表面损伤检测时，掩膜生成分支进行实例分割时存在分割不精准或者将微小干扰物也生成掩膜出来的问题。
技术实现思路
为此，需要提供一种基于YOLACT++的车身表面损伤检测及掩膜生成方法，用以解决现有车辆表面损伤检测及掩膜生成准确率低的问题，具体技术方案如下：一种基于YOLACT++的车身表面损伤检测及掩膜生成方法，包括步骤：通过视频数据采集并生成预设大小值的车体表面损伤区域图像；输入所述预设大小值的车体表面损伤区域图像至主干网络中进行特征提取；输入提取的特征张量至PedictionHeader和ProtoNet两个并行处理分支中处理；通过ProtoNet对特征张量进行卷积操作生成目标原型掩膜；通过PedictionHeader对所述目标原型掩膜进行操作生成对应掩膜系数，及圈定所述目标原型掩膜的目标定位；通过目标原型掩膜张量及掩膜系数计算出最优原型掩膜；根据所述最优原型掩膜及所述目标原型掩膜的目标定位，分割出损伤区域；在所述分割出的损伤区域上生成对应的掩膜。进一步的，所述主干网络包括：EfficientNet-B0和FPN。进一步的，所述“通过ProtoNet对特征张量进行卷积操作生成目标原型掩膜”，还包括步骤：通过全连接网络生成预设大小值的原型掩膜，并与通过MaskIOU-Net生成的掩膜特征向量结合生成目标原型掩膜。进一步的，所述“通过PedictionHeader对所述目标原型掩膜进行操作生成对应掩膜系数，及圈定所述目标原型掩膜的目标定位”，还包括步骤：通过PedictionHeader生成每个anchor的掩膜系数的向量、分类向量和anchor-box向量，并通过Fast-NMS对anchor-box向量进行筛选处理。进一步的，所述“通过目标原型掩膜张量及掩膜系数计算出最优原型掩膜”，还包括步骤：采用预测的掩膜与真实的掩膜两者像素集二值交叉熵生成所述最优原型掩膜的损失函数值；所述最优原型掩膜的损失函数值由：分类损失函数值、预测框损失函数值和掩膜生成损失函数值相加所得。为解决上述技术问题，还提供了一种存储设备，具体技术方案如下：一种存储设备，其中存储有指令集，所述指令集用于执行：通过视频数据采集并生成预设大小值的车体表面损伤区域图像；输入所述预设大小值的车体表面损伤区域图像至主干网络中进行特征提取；输入提取的特征张量至PedictionHeader和ProtoNet两个并行处理分支中处理；通过ProtoNet对特征张量进行卷积操作生成目标原型掩膜；通过PedictionHeader对所述目标原型掩膜进行操作生成对应掩膜系数，及圈定所述目标原型掩膜的目标定位；通过目标原型掩膜张量及掩膜系数计算出最优原型掩膜；根据所述最优原型掩膜及所述目标原型掩膜的目标定位，分割出损伤区域；在所述分割出的损伤区域上生成对应的掩膜。进一步的，所述主干网络包括：EfficientNet-B0和FPN。进一步的，所述指令集还用于执行：所述“通过ProtoNet对特征张量进行卷积操作生成目标原型掩膜”，还包括步骤：通过全连接网络生成预设大小值的原型掩膜，并与通过MaskIOU-Net生成的掩膜特征向量结合生成目标原型掩膜。进一步的，所述指令集还用于执行：所述“通过PedictionHeader对所述目标原型掩膜进行操作生成对应掩膜系数，及圈定所述目标原型掩膜的目标定位”，还包括步骤：通过PedictionHeader生成每个anchor的掩膜系数的向量、分类向量和anchor-box向量，并通过Fast-NMS对anchor-box向量进行筛选处理。进一步的，所述指令集还用于执行：所述“通过目标原型掩膜张量及掩膜系数计算出最优原型掩膜”，还包括步骤：采用预测的掩膜与真实的掩膜两者像素集二值交叉熵生成所述最优原型掩膜的损失函数值；所述最优原型掩膜的损失函数值由：分类损失函数值、预测框损失函数值和掩膜生成损失函数值相加所得。本专利技术的有益效果是：通过视频数据采集并生成预设大小值的车体表面损伤区域图像；输入所述预设大小值的车体表面损伤区域图像至主干网络中进行特征提取；输入提取的特征张量至PedictionHeader和ProtoNet两个并行处理分支中处理；通过ProtoNet对特征张量进行卷积操作生成目标原型掩膜；通过PedictionHeader对所述目标原型掩膜进行操作生成对应掩膜系数，及圈定所述目标原型掩膜的目标定位；通过目标原型掩膜张量及掩膜系数计算出最优原型掩膜；根据所述最优原型掩膜及所述目标原型掩膜的目标定位，分割出损伤区域；在所述分割出的损伤区域上生成对应的掩膜。通过引入掩膜系数，参与至最优原型掩膜生成，大大提高损伤区域定位的准确度。附图说明图1为具体实施方式所述一种基于YOLACT++的车身表面损伤检测及掩膜生成方法的流程图；图2为具体实施方式所述一种基于YOLACT++的车身表面损伤检测及掩膜生成方法的示意图；图3为具体实施方式所述sigmoid函数曲线示意图；图4为具体实施方式所述IOU-Net结构示意图；图5为具体实施方式所述各主干网络训练参数对比示意图；图6为具体实施方式所述改进前后YOLACT++梯度损失值对比示意图；图7为具体实施方式所述损失函数改进前后的mAP示意图；图8为具体实施方式所述梯度损失走势示意图；图9为具体实施方式所述不同主干网络的mask损失值对比示意图；图10为具体实施方式所述采用不同基础主干网络mAP比较示意图；图11为具体实施方式所述不同方法测试查准率对比示意图；图12为具体实施方式所述存储设备的模块示意图。附图标记说明：1200、存储设备。具体实施方式为详细说明技术方案的
技术实现思路
、构造特征、所实现目的及效果，以下结合具体实施例并配合附图详予说明。请参阅图1，在本实施方式中，所述一种基于YOLACT++的车身表面损伤检测及掩膜生成方法可应用在一种存储设备上，所述存储设备包括但不限于：个人计算机、本文档来自技高网...

【技术保护点】
1.一种基于YOLACT++的车身表面损伤检测及掩膜生成方法，其特征在于，包括步骤：/n通过视频数据采集并生成预设大小值的车体表面损伤区域图像；/n输入所述预设大小值的车体表面损伤区域图像至主干网络中进行特征提取；/n输入提取的特征张量至PedictionHeader和ProtoNet两个并行处理分支中处理；/n通过ProtoNet对特征张量进行卷积操作生成目标原型掩膜；/n通过PedictionHeader对所述目标原型掩膜进行操作生成对应掩膜系数，及圈定所述目标原型掩膜的目标定位；/n通过目标原型掩膜张量及掩膜系数计算出最优原型掩膜；/n根据所述最优原型掩膜及所述目标原型掩膜的目标定位，分割出损伤区域；/n在所述分割出的损伤区域上生成对应的掩膜。/n

【技术特征摘要】
1.一种基于YOLACT++的车身表面损伤检测及掩膜生成方法，其特征在于，包括步骤：
通过视频数据采集并生成预设大小值的车体表面损伤区域图像；
输入所述预设大小值的车体表面损伤区域图像至主干网络中进行特征提取；
输入提取的特征张量至PedictionHeader和ProtoNet两个并行处理分支中处理；
通过ProtoNet对特征张量进行卷积操作生成目标原型掩膜；
通过PedictionHeader对所述目标原型掩膜进行操作生成对应掩膜系数，及圈定所述目标原型掩膜的目标定位；
通过目标原型掩膜张量及掩膜系数计算出最优原型掩膜；
根据所述最优原型掩膜及所述目标原型掩膜的目标定位，分割出损伤区域；
在所述分割出的损伤区域上生成对应的掩膜。


2.根据权利要求1所述的一种基于YOLACT++的车身表面损伤检测及掩膜生成方法，其特征在于，
所述主干网络包括：EfficientNet-B0和FPN。


3.根据权利要求1所述的一种基于YOLACT++的车身表面损伤检测及掩膜生成方法，其特征在于，
所述“通过ProtoNet对特征张量进行卷积操作生成目标原型掩膜”，还包括步骤：通过全连接网络生成预设大小值的原型掩膜，并与通过MaskIOU-Net生成的掩膜特征向量结合生成目标原型掩膜。


4.根据权利要求1所述的一种基于YOLACT++的车身表面损伤检测及掩膜生成方法，其特征在于，
所述“通过PedictionHeader对所述目标原型掩膜进行操作生成对应掩膜系数，及圈定所述目标原型掩膜的目标定位”，还包括步骤：通过PedictionHeader生成每个anchor的掩膜系数的向量、分类向量和anchor-box向量，并通过Fast-NMS对anchor-box向量进行筛选处理。


5.根据权利要求1所述的一种基于YOLACT++的车身表面损伤检测及掩膜生成方法，其特征在于，
所述“通过目标原型掩膜张量及掩膜系数计算出最优原型掩膜”，还包括步骤：采用预测的掩膜与真实的掩膜两者像素集二值交叉熵生成所述最优原型掩膜的损失函数值；
所述最优原型掩膜的损失函...

【专利技术属性】
技术研发人员：林少丹，冯晨，
申请(专利权)人：福建船政交通职业学院，
类型：发明
国别省市：福建;35