基于MaskRCNN实例分割的SEM图像分子筛粒径统计方法和系统技术方案

本发明专利技术公开了一种基于Mask RCNN实例分割的SEM图像分子筛粒径统计方法和系统，提升分子筛粒径统计效率。其技术方案为：获取扫描电子显微镜图像，即SEM图像，以及相应的操作文件，构建相应的SEM图像样本库；对构建的SEM图像样本库中的原始图像进行实例分割标注，构建SEM图像实例分割数据集；构建Mask RCNN实例分割模型；利用得到的SEM图像实例分割数据集对构建的Mask RCNN实例分割模型进行训练及参数调整；利用训练后的Mask RCNN实例分割模型完成对SEM图像样本的分子筛实例分割；根据得到的SEM图像分子筛实例分割的结果计算SEM图像中分子筛粒径大小，从而实现对分子筛粒径的统计。计。计。

【技术实现步骤摘要】
基于Mask RCNN实例分割的SEM图像分子筛粒径统计方法和系统


[0001]本专利技术涉及分子筛催化剂工艺改进领域，具体涉及一种基于Mask RCNN实例分割的扫描电子显微镜(Scanning Electron Microscope，SEM)图像分子筛粒径统计方法和系统。

技术介绍

[0002]分子筛粒径统计在材料、化工等相关合成领域具有重要意义，是评判分子筛合成效果的重要指标。传统的分子筛粒径统计方法通过扫描电子显微镜(SEM)获取相应的图像样本后进行人工测量与统计，需要耗费较多的时间和人力成本，同时人工统计不可避免地存在误检、漏检的情况，且无法实施，不间断工作。
[0003]近年来的图像识别技术在各个领域的识别检测得到广泛应用，图像处理技术也有了充分的发展。传统的统计方法中所涉及的扫描电子显微镜(SEM)图像包含丰富的信息，结合相关的操作文件便可方便的获取SEM图像中分子筛的实际尺度信息。
[0004]因此，如何将图像识别技术应用于分子筛粒径统计方法，成为目前业界亟待解决的问题。

技术实现思路

[0005]以下给出一个或多个方面的简要概述以提供对这些方面的基本理解。此概述不是所有构想到的方面的详尽综览，并且既非旨在指认出所有方面的关键性或决定性要素亦非试图界定任何或所有方面的范围。其唯一的目的是要以简化形式给出一个或多个方面的一些概念以为稍后给出的更加详细的描述之序。
[0006]本专利技术的目的在于解决上述问题，提供了一种基于Mask RCNN实例分割的SEM图像分子筛粒径统计方法和系统，利用获取的SEM图像构建实例分割数据集，训练Mask RCNN实例分割模型实现对SEM图像中分子筛的实例分割，进而利用分割结果进行分子筛粒径的统计，提升分子筛粒径统计效率。
[0007]本专利技术的技术方案为：本专利技术揭示了一种基于Mask RCNN实例分割的SEM图像分子筛粒径统计方法，方法包括：
[0008]步骤一：获取扫描电子显微镜图像，即SEM图像，以及相应的操作文件，构建相应的SEM图像样本库；
[0009]步骤二：对步骤一构建的SEM图像样本库中的原始图像进行实例分割标注，构建SEM图像实例分割数据集；
[0010]步骤三：构建Mask RCNN实例分割模型；
[0011]步骤四：利用步骤二得到的SEM图像实例分割数据集对步骤三构建的Mask RCNN实例分割模型进行训练及参数调整；
[0012]步骤五：利用步骤四训练后的Mask RCNN实例分割模型完成对SEM图像样本的分子
筛实例分割；
[0013]步骤六：根据步骤五得到的SEM图像分子筛实例分割的结果计算SEM图像中分子筛粒径大小，从而实现对分子筛粒径的统计。
[0014]根据本专利技术的基于Mask RCNN实例分割的SEM图像分子筛粒径统计方法的一实施例，步骤一进一步包括：
[0015]先将SEM图像以及相应的操作文件按照实验批次整理到相应文件夹下，再对整理结果做简单筛选，包括剔除图像信息缺失或操作文件信息缺失的样本；
[0016]其中SEM图像及相应的操作文件产生于对相关分子筛的扫描电子显微镜操作过程，SEM图像以灰度图像为主但不限于灰度图像，操作文件中具有相应的比例尺信息。
[0017]根据本专利技术的基于Mask RCNN实例分割的SEM图像分子筛粒径统计方法的一实施例，步骤二进一步包括：
[0018]首先，在步骤一所构建的SEM图像样本库中，随机选取用于构建有标签的样本，将所有样本分为训练集和测试集；
[0019]然后，对SEM图像中的分子筛采用多边形的方式标注其轮廓，在标注过程中对SEM中分子筛进行分类；
[0020]最后，完成实例分割标注的标签存储为json文件且以图片为基准，将所有图片的json文件统一转化成为COCO数据集格式的json文件并与对应的SEM图像对应归置。
[0021]根据本专利技术的基于Mask RCNN实例分割的SEM图像分子筛粒径统计方法的一实施例，步骤三构建的模型中设置的多分支神经网络包括带有特征金字塔网络的ResNet101特征提取网络、区域提议网络、感兴趣区域层、分类与边框分支、掩码分支，特征金字塔网络用于提高实例分割网络的整体分割精度。
[0022]根据本专利技术的基于Mask RCNN实例分割的SEM图像分子筛粒径统计方法的一实施例，主干特征提取网络采用ResNet101和特征金字塔网络相结合的形式，设置输出通道n维；其中ResNet101表示隐藏层数为101的残差神经网络且去掉全连接层，特征金字塔网络在ResNet101特征提取网络的各个阶段特征的基础上引入由高层特征下采样而得到的强语义信息，使得ResNet101网络的各个阶段特征在保留相应分辨率的基础上兼具有较强的语义信息；
[0023]区域提议网络与主干网络共享特征提取网络，添加全连接网络推断候选区域位置信息和前景背景分类，并采用非最大抑制去除重叠的区域提议；
[0024]感兴趣区域层采用ROI Align从主干特征提取网络和区域提议网络获取候选区域特征并向分类与边框分支输出7
×
7的采样特征，向掩码分支输出14
×
14的采样特征；
[0025]分类与边框分支由卷积神经网络实现，利用卷积神经网络对经过ROI Align处理后的候选区域进行分子筛类别分类与边框回归；
[0026]掩码分支由全卷积神经网络实现，利用全卷积神经网络对经过ROI Align处理后的候选区域进行掩码回归；
[0027]在图像预处理过程中将图像进行统一放缩。
[0028]根据本专利技术的基于Mask RCNN实例分割的SEM图像分子筛粒径统计方法的一实施例，步骤四进一步包括：
[0029]模型训练是采用从样本库中构建的SEM图像分子筛实例分割数据集，用端到端的
方式，主干特征提取网络采用ImageNet预训练模型参数固定最底两层进行微调；
[0030]在网络优化过程中，采用随机梯度下降，对多任务损失函数L进行优化
[0031]L＝L
cls
+L
box
+L
mask
[0032]其中，L
cls
是分类损失，L
box
是边框损失,L
mask
是掩码损失，在网络优化中引入两阶段的学习率调整策略。
[0033]根据本专利技术的基于Mask RCNN实例分割的SEM图像分子筛粒径统计方法的一实施例，在步骤五中，训练后的Mask RCNN实例分割模型具有可以实现其对应的分类分支与边框分支和掩码分分支的预测，将SEM图像样本库中的SEM图像样本全部作为Mask RCNN实例分割模型的输入，得到相应的分子筛实例分割输出以及相关的分类信息。
[0034]根据本专利技术的基于Mask RCNN实例分割的SEM图像分子筛粒径统计方法的一实施例，步骤六进一步包括：<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于Mask RCNN实例分割的SEM图像分子筛粒径统计方法，其特征在于，方法包括：步骤一：获取扫描电子显微镜图像，即SEM图像，以及相应的操作文件，构建相应的SEM图像样本库；步骤二：对步骤一构建的SEM图像样本库中的原始图像进行实例分割标注，构建SEM图像实例分割数据集；步骤三：构建Mask RCNN实例分割模型；步骤四：利用步骤二得到的SEM图像实例分割数据集对步骤三构建的Mask RCNN实例分割模型进行训练及参数调整；步骤五：利用步骤四训练后的Mask RCNN实例分割模型完成对SEM图像样本的分子筛实例分割；步骤六：根据步骤五得到的SEM图像分子筛实例分割的结果计算SEM图像中分子筛粒径大小，从而实现对分子筛粒径的统计。2.根据权利要求1所述的基于Mask RCNN实例分割的SEM图像分子筛粒径统计方法，其特征在于，步骤一进一步包括：先将SEM图像以及相应的操作文件按照实验批次整理到相应文件夹下，再对整理结果做简单筛选，包括剔除图像信息缺失或操作文件信息缺失的样本；其中SEM图像及相应的操作文件产生于对相关分子筛的扫描电子显微镜操作过程，SEM图像以灰度图像为主但不限于灰度图像，操作文件中具有相应的比例尺信息。3.根据权利要求1所述的基于Mask RCNN实例分割的SEM图像分子筛粒径统计方法，其特征在于，步骤二进一步包括：首先，在步骤一所构建的SEM图像样本库中，随机选取用于构建有标签的样本，将所有样本分为训练集和测试集；然后，对SEM图像中的分子筛采用多边形的方式标注其轮廓，在标注过程中对SEM中分子筛进行分类；最后，完成实例分割标注的标签存储为json文件且以图片为基准，将所有图片的json文件统一转化成为COCO数据集格式的json文件并与对应的SEM图像对应归置。4.根据权利要求1所述的基于Mask RCNN实例分割的SEM图像分子筛粒径统计方法，其特征在于，步骤三构建的模型中设置的多分支神经网络包括带有特征金字塔网络的ResNet101特征提取网络、区域提议网络、感兴趣区域层、分类与边框分支、掩码分支，特征金字塔网络用于提高实例分割网络的整体分割精度。5.根据权利要求4所述的基于Mask RCNN实例分割的SEM图像分子筛粒径统计方法，其特征在于，主干特征提取网络采用ResNet101和特征金字塔网络相结合的形式，设置输出通道n维；其中ResNet101表示隐藏层数为101的残差神经网络且去掉全连接层，特征金字塔网络在ResNet101特征提取网络的各个阶段特征的基础上引入由高层特征下采样而得到的强语义信息，使得ResNet101网络的各个阶段特征在保留相应分辨率的基础上兼具有较强的语义信息；区域提议网络与主干网络共享特征提取网络，添加全连接网络推断候选区域位置信息和前景背景分类，并采用非最大抑制去除重叠的区域提议；
感兴趣区域层采用ROI Align从主干特征提取网络和区域提议网络获取候选区域特征并向分类与边框分支输出7
×
7的采样特征，向掩码分支输出14
×
14的采样特征；分类与边框分支由卷积神经网络实现，利用卷积神经网络对经过ROIAlign处理后的候选区域进行分子筛类别分类与边框回归；掩码分支由全卷积神经网络实现，利用全卷积神经网络对经过ROI Align处理后的候选区域进行掩码回归；在图像预处理过程中将图像进行统一放缩。6.根据权利要求5所述的基于Mask RCNN实例分割的SEM图像分子筛粒径统计方法，其特征在于，步骤四进一步包括：模型训练是采用从样本库中构建的SEM图像分子筛实例分割数据集，用端到端的方式，主干特征提取网络采用ImageNet预训练模型参数固定最底两层进行微调；在网络优化过程中，采用随机梯度下降，对多任务损失函数L进行优化L＝L
cls
+L
box
+L
mask
其中，L
cls
是分类损失，L
box
是边框损失,L
mask
是掩码损失，在网络优化中引入两阶段的学习率调整策略。7.根据权利要求5所述的基于Mask RCNN实例分割的SEM图像分子筛粒径统计方法，其特征在于，在步骤五中，训练后的Mask RCNN实例分割模型具有可以实现其对应的分类分支与边框分支和掩码分分支的预测，将SEM图像样本库中的SEM图像样本全部作为Mask RCNN实例分割模型的输入，得到相应的分子筛实例分割输出以及相关的分类信息。8.根据权利要求1所述的基于Mask RCNN实例分割的SEM图像分子筛粒径统计方法，其特征在于，步骤六进一步包括：根据SEM图像分子筛实例分割中的掩码信息计算相应分子筛在SEM图像中的像素大小：area
mask
，其单位为像素个数；从SEM图像相应的操作文件中获取图像中比例尺scale，从SEM图像中获取实际比例尺在SEM图像中对应的像素大小scale
pixel
，从而将相应分子筛像素大小换算为实际大小：SEM图像中相应分子筛的实际大小即为其在扫描电子显微镜下的投影面积，并直接用该投影面积作为分子筛粒径的二阶表示并由此开展分子筛粒径的统计。9.一种基于Mask RCNN实例分割的SEM图像分子筛粒径统计系统，其特征在于，系统包括：样本库构建模块，配置为获取扫描电子显微镜图像，即SEM图像，以及相应的操作文件，构建相应的SEM图像样本库；分割标注模块，配置为对样本库构建模块所构建的SEM图像样本库中的原始图像进行实例分割标注，构建SEM图像实例分割数据集；模型构建模块，配置为构建Mask RCNN实例分割模型；模型训练模...

【专利技术属性】
技术研发人员：杜文莉，钱锋，彭鑫，钟伟民，杨明磊，
申请(专利权)人：华东理工大学，
类型：发明
国别省市：