一种基于改进CondInst的砂石骨料图像的分割处理方法技术

本发明专利技术涉及图像处理技术领域，具体涉及一种基于改进CondInst的砂石骨料图像的分割处理方法。该方法为采集与标注砂石骨料图像，建立砂石骨料图像数据集；对所述砂石骨料图像数据集进行预处理，并划分训练集与测试集；搭建改进的CondInst实例分割模型；设置网络训练参数，利用改进的CondInst算法模型进行训练与测试；将相机新拍摄的砂石骨料图像输入训练完成的改进CondInst算法模型处理后得到砂石骨料图像分割结果。本发明专利技术的方法相较原模型利用长宽特征的融合以及边框回归损失函数的改进能够以较快的速度以及较高的精确度分割出砂石骨料图像。骨料图像。骨料图像。

【技术实现步骤摘要】
一种基于改进CondInst的砂石骨料图像的分割处理方法


[0001]本专利技术涉及图像处理
，尤其涉及一种基于改进CondInst的砂石骨料图像的分割处理方法。

技术介绍

[0002]随着现代建筑、道路、桥梁等基础设施建设行业的持续发展，砂石骨料作为基础设施建设中不可或缺的重要材料，其级配、超逊径颗粒含量、针片状颗粒含量等技术指标会极大地影响其所制混凝土性能，进而影响到建筑的安全性和可靠性。
[0003]针对砂石骨料级配、超逊径颗粒含量、针片状颗粒含量等参数的检测如今大多依赖于人工使用石子筛、超逊径筛、针片状规准仪以及游标卡尺等仪器手工检测，耗时长，且人工体力消耗大，随着机器视觉行业的兴起，人们逐渐将其应用到砂石骨料的技术指标检测中，主要是通过图像分割技术将砂石骨料图像分割后，就其分割结果分析后得到上述参数，因此砂石骨料图像分割算法对参数分析的准确度有关键影响，其精度与推理速度是影响其能否投入实际应用的关键。由于砂石骨料图像的复杂度，传统图像分割方法并不适用，利用神经网络模型如Mask_Rcnn等一定程度上能够解决砂石骨料图像的分割问题，但砂石骨料图像的分割速度与精度在实际应用中仍然是需要去研究的问题。

技术实现思路

[0004]由于砂石骨料图像中骨料与骨料之间颜色相近且个别骨料之间的界限不明，同时单颗骨料自身的颜色分布也并不均匀，这给砂石骨料图像的分割带来较大的困难。因此，由于砂石骨料图像本身的复杂度，传统图像分割方法并不适用，而Mask_Rcnn，UNet等神经网络模型虽在一定程度上解决了砂石骨料图像的分割问题，但其分割速度与精度在一定情况下仍然无法满足实际应用。鉴于此，为应对该问题，本专利技术提供了一种基于改进CondInst的砂石骨料图像的分割处理方法。
[0005]为实现上述目的，本专利技术提供了如下的技术方案：
[0006]第一方面，在本专利技术提供了一种基于改进CondInst的砂石骨料图像的分割处理方法，包括以下步骤：
[0007]1)采集与标注砂石骨料图像，建立砂石骨料图像数据集；
[0008]2)对所述砂石骨料图像数据集进行预处理，并划分训练集与测试集；
[0009]3)搭建改进的CondInst实例分割模型；
[0010]4)设置网络训练参数，利用改进的CondInst算法模型进行训练与测试；
[0011]5)将相机新拍摄的砂石骨料图像输入训练完成的改进CondInst算法模型处理后得到砂石骨料图像分割结果。
[0012]作为本专利技术的进一步方案，步骤1)中，采集砂石骨料图像时，包括：在不同的光照以及干湿度条件下将砂石骨料随意平铺于水平平台上，将工业相机固定于上方进行拍摄；拍摄完成后利用Labelme软件对骨料边缘进行标注，遮挡处圆滑过渡标注，建立砂石骨料图
像数据集。
[0013]作为本专利技术的进一步方案，步骤2)中，使用直方图均衡化以及Z
‑
score标准化方法对砂石骨料图像数据集进行预处理，并且按照9：1的比例随机划分训练集与测试集。
[0014]作为本专利技术的进一步方案，直方图均衡化处理即通过改变图像的灰阶分布以提高图像的对比度，具体操作如下：先计算图像中每一种灰度值的出现概率，将灰度值按出现概率的大小从小到大排列后，将一种灰度值的出现概率和小于该的灰度值的出现概率的出现概率相加即该灰度值的累积概率，最后将原图像中每一个像素点的灰度值修改为该灰度值的累积概率与最大灰度值255的乘积。
[0015]作为本专利技术的进一步方案，Z
‑
score标准化方法即将直方图均衡化处理后的砂石骨料图像的所有像素值分别减去所有像素值的均值后，再除以所有像素值的标准差，以此将直方图均衡化处理后的砂石骨料图像归至均值为0，方差为1的分布中，得到预处理完成的砂石骨料图像数据集。
[0016]作为本专利技术的进一步方案，步骤3)中，改进CondInst算法模型包括主干网络、分割掩膜生成分支以及损失函数，所述主干网络的特征提取部分基于原CondInst算法模型的特征提取部分，主干网络的特征提取包括：
[0017]利用ResNet网络进行特征提取，其中，所述ResNet网络包含有五个阶段，相邻的两个阶段之间输出特征图尺寸缩小二分之一，利用ResNet网络得到输出特征图尺寸依次缩小的一个特征金字塔，取其后三个阶段的输出特征图进行进一步的特征融合，构成新的特征金字塔；
[0018]将新的特征金字塔的各层输入共享头部网络，各层通过共享卷积层后输入到不同的输出层，包含分类预测层、边框预测层、中心度预测层以及动态卷积参数生成层；其中，分类预测层、边框预测层以及中心度预测层不变，对动态卷积参数生成层做出修改。
[0019]作为本专利技术的进一步方案，分割掩膜生成分支，动态卷积参数生成层生成的参数矩阵通道数由169个修改为185个，改进后的CondInst算法模型利用特征金字塔的P3层来生成分割掩膜，还通过特征金字塔的P4层以及P5层来预测分割掩膜。
[0020]作为本专利技术的进一步方案，分割掩膜生成分支时，改进后的CondInst算法模型对P3、P4、P5三层融合特征图均进行操作，操作步骤包括：
[0021]利用卷积层缩小特征图的通道数以提取特征与减小计算量；
[0022]将其输出与主干网络所得的正样本的长宽特征以及相对位置特征在通道方向上相叠，形成掩膜分支的融合特征图；
[0023]将其输入利用主干网络生成的动态卷积参数形成的掩膜头部生成最后的分割掩膜，其中针对不同的实例使用对应的动态卷积参数。
[0024]作为本专利技术的进一步方案，CondInst算法模型的损失函数包含分类损失函数、边框回归损失函数、中心度损失函数以及分割掩膜损失函数，即：
[0025]L
overall
＝L
cls
+L
reg
+L
ctrness
+L
mask
[0026]其中，L
cls
代表分类损失函数，L
reg
代表边框回归损失函数，L
ctrness
代表中心度损失函数，L
mask
代表分割掩膜损失函数。
[0027]作为本专利技术的进一步方案，CondInst算法模型中，将原损失函数中的边框回归损失函数由IOU损失函数修改为Focal
‑
EIOU损失函数，公式如下:
[0028][0029]其中，IOU代表交并比，即预测边界框与目标边界框的交集与并集之比；γ代表控制异常值抑制程度的参数；b代表预测边界框的中心点；b
gt
代表目标边界框的中心点；c代表预测边界框与目标边界框的外接矩形的对角线长度；w代表预测边界框的宽度；w
gt
代表目标边界框的宽度；C
w
代表预测边界框与目标边界框的外接矩形的宽度；h代表预测边界框的高度；h
gt...

【技术保护点】

【技术特征摘要】
1.一种基于改进CondInst的砂石骨料图像的分割处理方法，其特征在于，包括以下步骤：1)采集与标注砂石骨料图像，建立砂石骨料图像数据集；2)对所述砂石骨料图像数据集进行预处理，并划分训练集与测试集；3)搭建改进的CondInst实例分割模型；4)设置网络训练参数，利用改进的CondInst算法模型进行训练与测试；5)将相机新拍摄的砂石骨料图像输入训练完成的改进CondInst算法模型处理后得到砂石骨料图像分割结果。2.如权利要求1所述的基于改进CondInst的砂石骨料图像的分割处理方法，其特征在于，步骤1)中，采集砂石骨料图像时，包括：在不同的光照以及干湿度条件下将砂石骨料随意平铺于水平平台上，将工业相机固定于上方进行拍摄；拍摄完成后利用Labelme软件对骨料边缘进行标注，遮挡处圆滑过渡标注，建立砂石骨料图像数据集。3.如权利要求2所述的基于改进CondInst的砂石骨料图像的分割处理方法，其特征在于，步骤2)中，使用直方图均衡化以及Z
‑
score标准化方法对砂石骨料图像数据集进行预处理，并且按照9：1的比例随机划分训练集与测试集。4.如权利要求1所述的基于改进CondInst的砂石骨料图像的分割处理方法，其特征在于，步骤3)中，改进CondInst算法模型包括主干网络、分割掩膜生成分支以及损失函数，所述主干网络的特征提取部分基于原CondInst算法模型的特征提取部分，主干网络的特征提取包括：利用ResNet网络进行特征提取，其中，所述ResNet网络包含有五个阶段，相邻的两个阶段之间输出特征图尺寸缩小二分之一，利用ResNet网络得到输出特征图尺寸依次缩小的一个特征金字塔，取其后三个阶段的输出特征图进行进一步的特征融合，构成新的特征金字塔；将新的特征金字塔的各层输入共享头部网络，各层通过共享卷积层后输入到不同的输出层，包含分类预测层、边框预测层、中心度预测层以及动态卷积参数生成层；其中，分类预测层、边框预测层以及中心度预测层不变，对动态卷积参数生成层做出修改。5.如权利要求4所述的基于改进CondInst的砂石骨料图像的分割处理方法，其特征在于，分割掩膜生成分支，动态卷积参数生成层生成的参数矩阵通道数由169个修改为185个，改进后的CondInst算法模型利用特征金字塔的P3层来生成分割掩膜，还通过特征金字塔的P4层以及P5层来预测分割掩膜。6.如权利要求5所述的基于改进CondInst的砂石骨料图像的分割处理方法，其特征在于，分割掩膜生成分支时，改进后的CondInst算法模型对P3、P4、P5三层融合特征图均进行操作，操作步骤包括：利用卷积层缩小特征图的通道数以提取特征与减小计算量；将其输出与主干网络所得的正样本的长宽特征以及相...

【专利技术属性】
技术研发人员：叶铱源，吴栋，刘兵，梁筱，陈海宁，苏彬彬，王苗苗，
申请(专利权)人：杭州脉尖智能科技有限公司，
类型：发明
国别省市：