基于改进U-net网络的金相图像的像素中小颗粒识别方法技术

本发明专利技术公开了基于改进U

【技术实现步骤摘要】
基于改进U
‑
net网络的金相图像的像素中小颗粒识别方法


[0001]本专利技术涉及金相图像分割
，特别是涉及基于改进U
‑
net网络的金相图像的像素中小颗粒识别方法。

技术介绍

[0002]微观组织分析是表征材料力学性能的关键，金相显微组织中不同相的比例决定了钢的性能。传统的图像处理方法很难对对比度低、边界模糊、结构复杂的金相图像进行精确分割，深度学习方法应用于微结构的图像分割中表现出了强大的性能。然而，由于金相显微组织存在对比度低、边缘信息不显著等特点，利用FCN做图像分割得到的结果还是不够精细，没有充分考虑像素与像素之间的关系，对图像中的细节不敏感，对细小相组织检测效果不佳并难以识别晶界附近和边界。U
‑
Net采用解码器
‑
编码器模型结构，前半部分进行特征提取，后半部分是上采样，其改进了FCN的缺陷，采用逐步上采样和特征拼接来修复物体的细节和空间维度，在分割效果上有不错的提升。但提取多尺度特征信息不足限制了模型对微小颗粒的像素分类，其次连续的下采样使特征图尺寸变小、分辨率降低，再进行下采样会丢失很多图像的空间细节信息、边缘特征以及上下文信息，虽然上采样可以恢复一些空间细节信息，但远远不够。以使得尤其是金相图像中微小颗粒的像素识别造成很大的精度不准确的问题。

技术实现思路

[0003]本专利技术旨在至少在一定程度上解决相关技术中的技术问题之一。
[0004]为此，本专利技术提出一种基于改进U
‑
net网络的金相图像的像素中小颗粒识别方法。解决U
‑
Net算法提取多尺度特征信息不足以及连续的下采样使得特征分辨率降低，不能使得分割的像素中小颗粒分类识别的精度问题。
[0005]本专利技术的另一个目的在于提出一种基于改进U
‑
net网络的金相图像的像素中小颗粒识别装置。
[0006]为达上述目的，本专利技术一方面提出一种基于改进U
‑
net网络的金相图像的像素中小颗粒识别方法，包括：
[0007]将待识别的金相图像输入至U
‑
Net网络分割模型中，以利用第一残差块对所述金相图像进行基于特征提取和最大池化的初始特征分类操作得到多个初始特征图；
[0008]利用第一残差U型块对提取的所述多个初始特征图的特征进行第一特征分类操作得到融合特征图，并利用ASPP空洞空间金字塔池化模块对提取的所述融合特征图的特征进行第二特征分类操作得到第一拼接特征图；其中，所述第一特征分类操作，包括对提取的所述多个初始特征图的特征进行基于空间细节信息特征融合；所述第二特征分类操作，包括对提取的所述融合特征图的特征进行基于多尺度语义信息的特征拼接；
[0009]利用第二残差U型块对所述第一拼接特征图进行第三特征分类操作得到第二拼接特征图，并通过第二残差块对所述第二拼接特征图和所述多个初始特征图进行上采样操作
得到最终特征图；其中，所述第三特征分类操作，包括对所述第一拼接特征图的特征进行基于局部细节信息和基于多尺度语义信息的特征拼接融合；
[0010]对所述最终特征图的每个特征通道的像素进行预测识别，根据像素预测结果得到所述待识别的金相图像中小颗粒的识别结果。
[0011]另外，根据本专利技术上述实施例的基于改进U
‑
net网络的金相图像的像素中小颗粒识别方法还可以具有以下附加的技术特征：
[0012]进一步地，在本专利技术的一个实施例中，所述第一残差块，包括第一子残差块、第二子残差块、第三子残差块、和第四子残差块；所述利用第一残差块对所述金相图像进行基于特征提取和最大池化操作的特征分类操作得到多个初始特征图，包括：
[0013]将所述待识别的金相图像输入至所述第一子残差块进行特征提取，并对提取的特征进行最大池化操作后得到第一特征图；
[0014]将所述第一特征图输入至所述第二子残差块进行特征提取，并对提取的特征进行最大池化操作后得到第二特征图；
[0015]将所述第二特征图输入至所述第三子残差块进行特征提取，并对提取的特征进行最大池化操作后得到第三特征图；
[0016]将所述第三特征图输入至所述第四子残差块进行特征提取得到第四特征图。
[0017]进一步地，在本专利技术的一个实施例中，所述利用第一残差U型块对提取的所述多个初始特征图的特征进行第一特征分类操作得到融合特征图，并利用ASPP空洞空间金字塔池化模块对提取的所述融合特征图的特征进行第二特征分类操作得到第一拼接特征图，包括：
[0018]将所述第四特征图输入至所述第一残差U型块进行特征提取得到局部特征和多尺度特征，对所述局部特征和多尺度特征进行融合连接得到融合特征图；其中，所述第一残差U型块采用3*3卷积和空洞率为1、3、5、3、1的空洞卷积；
[0019]将所述融合特征图输入至所述ASPP空洞空间金字塔池化模块中进行特征提取得到第五特征图；其中，所述ASPP采用空洞率为6、12、18、24的空洞卷积；
[0020]将所述第五特征图进行拼接得到第六特征图，并通过1*1卷积对所述第六特征图的通道数进行降低操作以得到所述第一拼接特征图。
[0021]进一步地，在本专利技术的一个实施例中，述第二残差块，包括第五子残差块、第六子残差块、第七子残差块和第八子残差块；所述通过第二残差块对所述第二拼接特征图和所述多个初始特征图进行上采样操作得到最终特征图，包括：
[0022]将所述第二拼接特征图与所述第四特征图进行拼接得到的第七特征图输入至所述第五子残差块提取得到的特征进行上采样操作得到第八特征图；
[0023]将所述第八特征图与所述第三特征图拼接后的特征图输入至所述第六子残差块提取得到的特征进行上采样操作得到第九特征图；
[0024]将所述第九特征图与所述第二特征图拼接后的特征图输入至所述第七子残差块提取得到的特征进行上采样操作得到第十特征图；
[0025]将所述第十特征图与所述第一特征图拼接后的特征图输入至所述第八子残差块提取得到所述最终特征图。
[0026]进一步地，在本专利技术的一个实施例中，对所述最终特征图的每个特征通道的像素
进行预测识别，根据像素预测结果得到所述待识别的金相图像中小颗粒的识别结果，包括：
[0027]通过1*1卷积对所述最终特征图的特征通道进行通道降低操作得到第十一特征图；
[0028]利用Sigmoid函数对所述第十一特征图的每个特征通道的像素逐次预测，以根据像素预测结果输出所述待识别的金相图像的图像识别结果；其中，所述图像识别结果，包括像素分割后的金相图像中的小颗粒图像的识别结果。
[0029]为达上述目的，本专利技术另一方面提出一种基于改进U
‑
net网络的金相图像的像素中小颗粒识别装置，包括：
[0030]初始特征分类模块，用于将待识别的金相图像输入至U
‑
Net网络分割模型中，以本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于改进U
‑
net网络的金相图像的像素中小颗粒识别方法，其特征在于，包括以下步骤：将待识别的金相图像输入至U
‑
Net网络分割模型中，以利用第一残差块对所述金相图像进行基于特征提取和最大池化的初始特征分类操作得到多个初始特征图；利用第一残差U型块对提取的所述多个初始特征图的特征进行第一特征分类操作得到融合特征图，并利用ASPP空洞空间金字塔池化模块对提取的所述融合特征图的特征进行第二特征分类操作得到第一拼接特征图；其中，所述第一特征分类操作，包括对提取的所述多个初始特征图的特征进行基于空间细节信息特征融合；所述第二特征分类操作，包括对提取的所述融合特征图的特征进行基于多尺度语义信息的特征拼接；利用第二残差U型块对所述第一拼接特征图进行第三特征分类操作得到第二拼接特征图，并通过第二残差块对所述第二拼接特征图和所述多个初始特征图进行上采样操作得到最终特征图；其中，所述第三特征分类操作，包括对所述第一拼接特征图的特征进行基于局部细节信息和基于多尺度语义信息的特征拼接融合；对所述最终特征图的每个特征通道的像素进行预测识别，根据像素预测结果得到所述待识别的金相图像中小颗粒的识别结果。2.根据权利要求1所述的方法，其特征在于，所述第一残差块，包括第一子残差块、第二子残差块、第三子残差块、和第四子残差块；所述利用第一残差块对所述金相图像进行基于特征提取和最大池化操作的特征分类操作得到多个初始特征图，包括：将所述待识别的金相图像输入至所述第一子残差块进行特征提取，并对提取的特征进行最大池化操作后得到第一特征图；将所述第一特征图输入至所述第二子残差块进行特征提取，并对提取的特征进行最大池化操作后得到第二特征图；将所述第二特征图输入至所述第三子残差块进行特征提取，并对提取的特征进行最大池化操作后得到第三特征图；将所述第三特征图输入至所述第四子残差块进行特征提取得到第四特征图。3.根据权利要求2所述的方法，其特征在于，所述利用第一残差U型块对提取的所述多个初始特征图的特征进行第一特征分类操作得到融合特征图，并利用ASPP空洞空间金字塔池化模块对提取的所述融合特征图的特征进行第二特征分类操作得到第一拼接特征图，包括：将所述第四特征图输入至所述第一残差U型块进行特征提取得到局部特征和多尺度特征，对所述局部特征和多尺度特征进行融合连接得到融合特征图；其中，所述第一残差U型块采用3*3卷积和空洞率为1、3、5、3、1的空洞卷积；将所述融合特征图输入至所述ASPP空洞空间金字塔池化模块中进行特征提取得到第五特征图；其中，所述ASPP采用空洞率为6、12、18、24的空洞卷积；将所述第五特征图进行拼接得到第六特征图，并通过1*1卷积对所述第六特征图的通道数进行降低操作以得到所述第一拼接特征图。4.根据权利要求3所述的方法，其特征在于，所述第二残差块，包括第五子残差块、第六子残差块、第七子残差块和第八子残差块；所述通过第二残差块对所述第二拼接特征图和所述多个初始特征图进行上采样操作得到最终特征图，包括：
将所述第二拼接特征图与所述第四特征图进行拼接得到的第七特征图输入至所述第五子残差块提取得到的特征进行上采样操作得到第八特征图；将所述第八特征图与所述第三特征图拼接后的特征图输入至所述第六子残差块提取得到的特征进行上采样操作得到第九特征图；将所述第九特征图与所述第二特征图拼接后的特征图输入至所述第七子残差块提取得到的特征进行上采样操作得到第十特征图；将所述第十特征图与所述第一特征图拼接后的特征图输入至所述第八子残差块提取得到所述最终特征图。5.根据权利要求4所述的方法，其特征在于，对所述最终特征图的每个特征通道的像素进行预测识别，根据像素预测结果得到所述待识别的金相图像中小颗粒的识别结果，包括：通过1*1卷积对所述最终特征图的特征通道进行通道降低操作得到第十一特征图；利用Sigmoid函数对所述第十一特征图的每个特征通道...

【专利技术属性】
技术研发人员：燕并男，王聪慧，吕坤珂，
申请(专利权)人：西安石油大学，
类型：发明
国别省市：