基于改进Mask_Rcnn的砂石骨料图像分割方法技术

本发明专利技术公开了一种基于改进Mask_Rcnn的砂石骨料图像分割方法。包括如下步骤：建立初始砂石骨料图像数据集；数据标注增强，获得增强砂石骨料图像数据集，合并建立扩展砂石骨料图像数据集；数据处理，划分为训练集和测试集；搭建改进Mask_Rcnn算法模型，并将训练集和测试集输入训练测试；将相机新拍摄的砂石骨料图像，输入到训练测试完成的改进Mask_Rcnn算法模型中，经处理后输出图像分割结果。本发明专利技术方法更好地保留了砂石骨料图像的边缘信息，利用改进Mask_Rcnn模型，进一步削弱骨料之间相互连接和遮挡以及部分骨料边缘不明确给分割带来的不利影响，提高了算法模型的分割速度与精度。度。度。

【技术实现步骤摘要】
基于改进Mask_Rcnn的砂石骨料图像分割方法


[0001]本专利技术涉及图像分割方法，具体涉及一种基于改进Mask_Rcnn的砂石骨料图像分割方法。

技术介绍

[0002]混凝土作为建筑行业最基本，最主要的原材料之一，其质量直接决定着整个建筑工程的质量。而砂石骨料作为混凝土的主要组成成分之一，其各方面的性能对混凝土有着直接的影响，其中以颗粒级配和最大粒径这两个参数对混凝土性能的影响最为显著，因此，对于砂石骨料粒径识别的研究对改善混凝土性能和提高建筑工程质量有着重要的实际意义。
[0003]传统砂石粒径检测方法，例如手工抽样测量，砂石筛分机筛分等的准确度和效率已无法满足当今社会的需求，而随着图像识别技术的快速发展，其逐渐被应用到了对砂石骨料粒径识别的研究中，其核心在于对砂石骨料图像的分割，但由于砂石骨料图像中骨料之间紧密相连，存在遮挡现象，且图像中两块骨料的像素点差异较小，传统的图像分割方法并不适用于对砂石骨料图像的分割，继续提高其分割准确度以及分割速度仍然是今后研究的目标。

技术实现思路

[0004]为了解决
技术介绍
中存在的问题，针对砂石骨料紧密相连和相互遮挡，且有时在图像中其边缘不明确导致其分割准确率难以上升的问题，本专利技术提供了一种基于改进Mask_Rcnn的砂石骨料图像分割方法。
[0005]本专利技术采用的技术方案是：
[0006]方法包括如下步骤：
[0007]1)利用相机采集初始砂石骨料图像，建立初始砂石骨料图像数据集。
[0008]2)将初始砂石骨料图像数据集依次进行数据标注与数据增强，获得增强砂石骨料图像数据集，将增强砂石骨料图像数据集加入初始砂石骨料图像数据集中建立扩展砂石骨料图像数据集。
[0009]3)对扩展砂石骨料图像数据集依次采用直方图均衡化、梯度域引导滤波与Z
‑
score标准化等方法进行数据的处理，获得归一化滤波输出图数据集，并划分为训练集和测试集。
[0010]4)在原Mask_Rcnn算法模型的主干特征提取网络的ResNet网络中和FPN网络后，分别融入MAC模块和添加SA注意力机制模块。
[0011]将原Mask_Rcnn算法模型的候选区域提取网络RPN网络，替换为R
‑
RPN网络。
[0012]进而搭建改进Mask_Rcnn算法模型，并将训练集和测试集输入改进Mask_Rcnn算法模型中进行训练和测试。
[0013]5)利用相机采集待处理的砂石骨料图像，将砂石骨料图像输入到训练测试完成的
改进Mask_Rcnn算法模型中，经处理后输出砂石骨料图像的图像分割结果。
[0014]所述步骤1)中，采集初始砂石骨料图像时，将相机固定于拍摄区域上方支架上，并且调整相机焦距直至显示清晰；将不同尺寸的砂石平铺在拍摄区域内，在拍摄过程中，调整砂石的位置和形态，同时改变砂石的干湿度和光照强度等条件，进行多次拍摄，采集若干张初始砂石骨料图像，初始砂石骨料图像为灰度图像；具体实施中采集到120张不同的初始砂石骨料图像并建立初始砂石骨料图像数据集；改变砂石的状态和拍摄条件以获得更加丰富的砂石骨料图像数据集，使用该数据集训练出的算法模型具有更高的鲁棒性。
[0015]所述步骤2)中，进行数据标注时，采用labelme标注工具，使用多边形线段将每张初始砂石骨料图像中的每一块砂石的轮廓进行标注；对于初始砂石骨料图像中被遮挡的砂石，将被遮挡的部分进行圆滑过渡标注，使得每个砂石标注的轮廓形成闭合区域。
[0016]数据标注完成后，采用数据增强工具Augmentor，对初始砂石骨料图像分别进行旋转、镜像、裁剪和放大缩小等操作，增强标注的数据，以达到数据增强的目的，获得增强砂石骨料图像，从而建立扩展砂石骨料图像数据集。
[0017]所述步骤3)中，具体步骤如下：
[0018]3.1)将扩展砂石骨料图像数据集进行直方图均衡化处理：
[0019]针对每张扩展砂石骨料图像，均进行以下操作：
[0020]获取扩展砂石骨料图像中的每个像素值，计算每种像素值的出现概率，利用出现概率计算每种像素值的向该种像素值更小方向包含的累积概率：
[0021]针对其中一种像素值，将比该种像素值小的其他所有种像素值的出现概率和该种像素值的出现概率相加，即得到该种像素值的累积概率。
[0022]将每种像素值所对应的累积概率与最大灰度值255相乘获得替换像素值，将每个像素值替换为对应于该像素值的替换像素值，从而替换扩展砂石骨料图像中的所有像素值；将每个像素值均被替换完成的扩展砂石骨料图像作为导向图，各个导向图组成导向图数据集。
[0023]3.2)将导向图数据集进行梯度域引导滤波处理：
[0024]将导向图数据集使用梯度域引导滤波进行滤波处理，即将导向图数据集中的每张导向图进行滤波处理，滤波处理完成的导向图数据集作为滤波输出图数据集。
[0025]针对导向图中的每一个像素点，像素点的导向图与像素点经梯度域引导滤波处理的滤波输出图之间为线性关系，公式如下：
[0026][0027]其中，代表p像素点的滤波输出图，G
(p)
代表p像素点的导向图，代表以
p
'像素点为中心，以ζ1为半径的窗口；和代表p像素点的第一、第二平均滤波参数，假定在窗口内为常值。
[0028]第一、第二平均滤波参数和公式如下：
[0029][0030][0031]其中，代表以
p
'像素点为中心，以ζ1为半径的包含p像素点的所有窗口；代表的个数；a
p'
和b
p'
代表中的p像素点的第一、第二最佳滤波参数，假定在窗口内为常值。
[0032]由于一个像素点会被多个窗口覆盖，因此在求解该像素点的滤波参数时，需要将该像素点在每个窗口中的滤波参数进行分别求解，然后将该像素点求解出的所有滤波参数取平均值，获取的平均值即为该像素点最终的滤波参数。
[0033]针对中的每个窗口中的p像素点的第一、第二最佳滤波参数
ap'
和b
p'
，均利用线性回归求得，公式如下：
[0034][0035][0036]其中，
⊙
代表两个矩阵的点乘，代表导向图G与扩展砂石骨料图像X的点乘结果在以p'像素点为中心，以ζ1为半径的窗口中的平均值；代表导向图G在以p'像素点为中心，以ζ1为半径的窗口中的平均值；代表扩展砂石骨料图像X在以p'像素点为中心，以ζ1为半径的窗口中的平均值；λ代表正则化参数，Γ
G
(p')和γ
p'
代表导向图G以p'像素点为中心的第一、第二边缘感知因素；代表导向图
G
在以
p
'像素点为中心，以ζ1为半径的窗口中的方差。
[0037]第一、第二最佳滤波参数
ap'
和b
p'
均通过最小化添加了第一、第二边缘感本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于改进Mask_Rcnn的砂石骨料图像分割方法，其特征在于：方法包括如下步骤：1)利用相机采集初始砂石骨料图像，建立初始砂石骨料图像数据集；2)将初始砂石骨料图像数据集依次进行数据标注与数据增强，获得增强砂石骨料图像数据集，将增强砂石骨料图像数据集加入初始砂石骨料图像数据集中建立扩展砂石骨料图像数据集；3)对扩展砂石骨料图像数据集依次采用直方图均衡化、梯度域引导滤波与Z
‑
score标准化方法进行数据的处理，获得归一化滤波输出图数据集，并划分为训练集和测试集；4)在原Mask_Rcnn算法模型的主干特征提取网络的ResNet网络中和FPN网络后，分别融入MAC模块和添加SA注意力机制模块；将原Mask_Rcnn算法模型的候选区域提取网络RPN网络，替换为R
‑
RPN网络；进而搭建改进Mask_Rcnn算法模型，并将训练集和测试集输入改进Mask_Rcnn算法模型中进行训练和测试；5)利用相机采集待处理的砂石骨料图像，将砂石骨料图像输入到训练测试完成的改进Mask_Rcnn算法模型中，经处理后输出砂石骨料图像的图像分割结果。2.根据权利要求1所述的一种基于改进Mask_Rcnn的砂石骨料图像分割方法，其特征在于：所述步骤1)中，采集初始砂石骨料图像时，将相机固定于拍摄区域上方支架上，并且调整相机焦距直至显示清晰；将不同尺寸的砂石平铺在拍摄区域内，在拍摄过程中，调整砂石的位置和形态，同时改变砂石的干湿度和光照强度条件，进行多次拍摄，采集若干张初始砂石骨料图像，初始砂石骨料图像为灰度图像。3.根据权利要求1所述的一种基于改进Mask_Rcnn的砂石骨料图像分割方法，其特征在于：所述步骤2)中，进行数据标注时，使用多边形线段将每张初始砂石骨料图像中的每一块砂石的轮廓进行标注；对于初始砂石骨料图像中被遮挡的砂石，将被遮挡的部分进行圆滑过渡标注，使得每个砂石标注的轮廓形成闭合区域；数据标注完成后，对初始砂石骨料图像分别进行旋转、镜像、裁剪和放大缩小操作，增强标注的数据，获得增强砂石骨料图像，从而建立扩展砂石骨料图像数据集。4.根据权利要求1所述的一种基于改进Mask_Rcnn的砂石骨料图像分割方法，其特征在于：所述步骤3)中，具体步骤如下：3.1)将扩展砂石骨料图像数据集进行直方图均衡化处理；针对每张扩展砂石骨料图像，均进行以下操作：获取扩展砂石骨料图像中的每个像素值，计算每种像素值的出现概率，利用出现概率计算每种像素值的向该种像素值更小方向包含的累积概率；针对其中一种像素值，将比该种像素值小的其他所有种像素值的出现概率和该种像素值的出现概率相加，即得到该种像素值的累积概率；将每种像素值所对应的累积概率与最大灰度值255相乘获得替换像素值，将每个像素值替换为对应于该像素值的替换像素值，从而替换扩展砂石骨料图像中的所有像素值；将每个像素值均被替换完成的扩展砂石骨料图像作为导向图，各个导向图组成导向图数据集；
3.2)将导向图数据集进行梯度域引导滤波处理；将导向图数据集使用梯度域引导滤波进行滤波处理，即将导向图数据集中的每张导向图进行滤波处理，滤波处理完成的导向图数据集作为滤波输出图数据集；针对导向图中的每一个像素点，像素点的导向图与像素点经梯度域引导滤波处理的滤波输出图之间为线性关系，公式如下：其中，代表p像素点的滤波输出图，G(p)代表p像素点的导向图，代表以p'像素点为中心，以ζ1为半径的窗口；和代表p像素点的第一、第二平均滤波参数，在窗口内为常值；第一、第二平均滤波参数和公式如下：公式如下：其中，代表以p'像素点为中心，以ζ1为半径的包含p像素点的所有窗口；代表的个数；a
p'
和b
p'
代表中的p像素点的第一、第二最佳滤波参数，在窗口内为常值；针对中的每个窗口中的p像素点的第一、第二最佳滤波参数a
p'
和b
p'
，均利用线性回归求得，公式如下：回归求得，公式如下：其中，
⊙
代表两个矩阵的点乘，代表导向图G与扩展砂石骨料图像X的点乘结果在以p'像素点为中心，以ζ1为半径的窗口中的平均值；代表导向图G在以p'像素点为中心，以ζ1为半径的窗口中的平均值；代表扩展砂石骨料图像X在以p'像素点为中心，以ζ1为半径的窗口中的平均值；λ代表正则化参数，Γ
G
(p')和γ
p'
代表导向图G以p'像素点为中心的第一、第二边缘感知因素；代表导向图G在以p'像素点为中心，以ζ1为半径的窗口中的方差；3.3)将滤波输出图数据集进行Z
‑
score标准化处理：针对每张滤波输出图，均进行以下操作：对滤波输出图中的所有像素值进行归一化，将滤波输出图的所有像素值分别减去所有
像素值的均值后，再除以所有像素值的标准差，使得滤波输出图中的所有像素值归到均值为0，方差为1的分布中；处理完成后获得归一化滤波输出图，各个归一化滤波输出图组成归一化滤波输出图数据集；最后，将归一化滤波输出图数据集按照4：1的比例划分为训练集和测试集。5.根据权利要求1所述的一种基于改进Mask_Rcnn的砂石骨料图像分割方法，其特征在于：所述步骤4)中，改进原Mask_Rcnn算法模型的方法具体如下：a)主干特征提取网络在ResNet网络中融入MAC模块，将ResNet网络的所有残差结构中的中间位置的3
×
3卷积层替换为MAC模块，获得改进残差结构，改进残差结构包括依次连接的第一1
×
1卷积层、MAC模块和第二1
×
1卷积层；所述的MAC模块具体包括第一1
×
3卷积层、第二1
×
3卷积层、第一3
×
1卷积层和第二3
×
1卷积层；由MAC模块的输入分别输入到第一1
×
3卷积层、第二1
×
3卷积层和第一3
×
1卷积层中，第一1
×
3卷积层的输出再经第二3
×
1卷积层处理，最后由第二3
×
1卷积层、第二1
×
3卷积层和第一3
×
1卷积层的最终输出进行加权，加权结果全部相加，作为MAC模块的输出；在FPN网络后添加SA注意力机制模块，即直接将SA注意力机制模块添加到主干特征提取网络中；所述的SA注意力机制模块包...

【专利技术属性】
技术研发人员：吴化平，陈海宁，苏彬彬，
申请(专利权)人：浙江工业大学，
类型：发明
国别省市：