基于区域混淆机制神经网络的血细胞显微图像分类方法技术

本发明专利技术提出一种基于区域混淆机制神经网络的血细胞显微图像分类方法，对用于训练的血细胞显微图像进行预处理操作；将经过处理后的图像数据输入深度神经网络框架中的训练分支，在训练阶段引入区域混淆机制，将输入图像的全局结构打乱，迫使分类器对血细胞图像的局部精细特征进行提取，再通过对抗性学习网络对混淆后引入的噪声干扰进行消除，并通过混淆后图像与原图像的语义相关性，对图像的结构信息进行建模；通过上述分支提取出分类器的最优参数，并将最优参数直接赋予分类主干网络分支，进行最终的分类预测工作。

【技术实现步骤摘要】
基于区域混淆机制神经网络的血细胞显微图像分类方法
本专利技术属于图像识别、机器学习领域，尤其涉及一种基于区域混淆机制神经网络的血细胞显微图像分类方法。
技术介绍
随着生物医学的发展，医用显微图像技术已经非常成熟，并在医学领域得到了广泛的应用。同时，随着各种图像处理技术的发展，对医学图像的处理和分析研究也越来越多。而血细胞在人体健康中发挥着重要作用，具有防御和免疫功能，是人体免疫系统的重要组成部分。当血细胞的某些特征改变时，如数量和形状，这可能是某些疾病的前兆或症状。因此，分析各种血细胞的形态和数量亚型有助于帮助医生结合其疾病的诊疗方法做出正确的判断和选择合适的治疗方案。然而，手工分类和计数方法，如人工显微镜检查，需要专业的操作，并且工作量大、时间长，这可能会导致错误的判断，影响病人的治疗。因此，寻找一种自动检测和分类血细胞亚型的方法以帮助血液样本的识别和检测，对准确提取血液包含的生理信息具有重要的价值。目前，传统的血液细胞图像自动分类方法主要是利用图像分割算法分割细胞图像，然后手动设计特性来提取图像的特征信息，最后通过各种分类器分类，包括支持向量机、贝叶斯分类器、神经网络等等。然而，由于血液样本的颜色和光照条件不同，且血细胞图像往往包含复杂的背景，图像分割较为困难。此外，人工设计特征还具有随机性和不确定性，其效果受主观性的影响较大。而深度学习作为一种新兴的图像识别算法，与传统方法相比，避免了图像分割和手工特征设计等步骤，不需要先验知识。这样既减少了巨大的工作量，又避免了主观性和不确定性，分类效果更加理想。然而，这些方法都是基于图像全局结构的识别方法，从整个图像中提取特征。而血细胞图像数据集属于细粒度数据集，其特征是不同类别的图像之间存在细微差异。图像通常具有相同或相似的全局结构，只能通过一些局部特征来区分，属于细粒度图像识别问题。上述方法对于这些精细特征的提取效果并不够理想，往往很难达到收敛，分类效果较差。
技术实现思路
为了克服现有技术存在的缺陷和不足，本专利技术提出了一种基于区域混淆机制神经网络的血细胞显微图像分类方法，基于区域混淆机制，可有效解决血细胞图像中精细特征提取问题。该方法提出了一种基于区域混淆机制的深度神经网络框架。相较于一般的深度学习方法，在常规的卷积神经网络基础上，于训练阶段引入区域混淆分支，对输入图像进行随机置乱，迫使分类网络放弃全局信息，对局部特征信息进行学习，并通过构建对抗性损失函数消除噪声干扰以及利用区域对齐网络构建图像局部区域之间的语义相关性。通过这种机制结合主干分类网络，可有效提取血细胞图像中具有判别性的局部特征信息，达到良好的分类性能。本专利技术具体采用以下技术方案：一种基于区域混淆机制神经网络的血细胞显微图像分类方法，其特征在于：对用于训练的血细胞显微图像进行预处理操作；将经过处理后的图像数据输入深度神经网络框架中的训练分支，在训练阶段引入区域混淆机制，将输入图像的全局结构打乱，迫使分类器对血细胞图像的局部精细特征进行提取，再通过对抗性学习网络对混淆后引入的噪声干扰进行消除，并通过混淆后图像与原图像的语义相关性，对图像的结构信息进行建模；通过上述分支提取出分类器的最优参数，并将最优参数直接赋予分类主干网络分支，进行最终的分类预测工作。优选地，包括以下步骤：步骤S1：对图像数据进行预处理，进行数据增强；步骤S2：构建基于区域混淆机制的深度神经网络框架，在训练阶段引入区域混淆机制，将经过处理后的图像数据输入深度神经网络框架中的训练分支，对输入图像进行分割，打乱图像的全局结构，并对分割后图像的子区域进行重新布局，迫使分类器对血细胞图像的局部精细特征进行提取；步骤S3：对步骤S2操作中引入的噪声影响，采用对抗性学习网络根据原始图像与混淆后图像的提取特征进行判别，构建对抗性损失函数，消除噪声图像的影响，并通过混淆后图像与原图像的语义相关性，对图像的结构信息进行建模；步骤S4：将混淆后的图像与原始图像一起作为训练时分类器的输入，通过参数共享的联合训练提取出分类器的最优参数，并将最优参数直接赋予分类主干网络分支，进行最终的分类预测工作，实现血细胞图像的自动分类。优选地，步骤S1具体包括以下步骤：步骤S11：通过减去所有像素的均值，然后除以标准差，对每一幅图像进行标准化；步骤S12：对输入图像大小进行调整，利用双线性插值方法将图像尺寸大小缩放到指定尺寸；步骤S13：对于用于训练的图像数据，采用随机旋转、随机剪裁、水平翻转的方法进一步扩展图像数据，用于数据增强；步骤S14：对用于测试集的图像数据，只进行中心剪裁的操作。优选地，所述分类器包括分类主干网络、区域混淆网络、对抗性学习网络和区域对齐网络四部分；第一部分为分类主干网络：采用MobileNetV3作为血细胞分类器的主干网络，训练时对输入图像进行特征提取，学习得到分类器的最优参数；预测时分类器其他网络分支不起作用，通过分类主干网络对输入图像进行预测分类；第二部分为区域混淆网络：用以破坏图像的全局结构，将混淆后的图像与原始图像组合在一起引入分类主干网络；第三部分为对抗性学习网络：用以分辨从图像中学习到的是否为噪声特征，消除噪声的干扰；第四部分为区域对齐网络：用以对图像的结构信息进行建模，构建全局信息与局部信息的联系。优选地，所述分类器的训练阶段包括以下步骤：步骤C1：将步骤S1处理后的图像数据分为训练集样本、验证集样本与测试集样本；步骤C2：将训练样本经过区域混淆后的图像与样本原始图像组合作为分类器的输入对其进行训练；步骤C3:在训练过程中，经过若干个epoch后通过验证集验证模型效果，通过验证集的效果反馈，判断验证效果是否符合要求，若符合，则继续训练；否则更改超参之后再返回步骤C2；步骤C4:判断训练次数是否达到预设的最大训练次数，若是则进入步骤C4，否则采用Back-Propagation算法更新被激活的参数，并返回步骤C2；步骤C5:由损失函数判断训练误差是否符合预设的值，若是则进入步骤C5，否则返回步骤C2；步骤C6：获取一系列最优参数，赋予分类主干网络，采用测试集样本对分类器性能进行测试；判断测试集样本识别正确率是否符合预设要求，若符合，终止当前的模型训练；否则返回步骤C2；步骤C7：得到最终的最优参数，将其赋予分类器，对输入的血细胞显微图像进行自动分类。即在训练过程中，原始图像、混淆后图像以及它们对应的类别标签组合在一起作为输入沿神经网络信号传播方向计算出网络的输出值，并分别构建区域混淆损失函数、对抗性学习损失函数和区域对齐损失函数，将输出值与期望输出值作比较，若目标函数值不满足误差精度，则采用梯度下降法对网络权重参数进行修正，修正方向沿卷积神经网络传播的逆方向，并再次计算目标函数，循环直到满足误差要求；若满足误差要求，则结束循环，得到训练后的最优参数，赋予分类主干网络。并且上述的基于区域混淆机制的方法只应用于训练阶段，在预本文档来自技高网...

【技术保护点】
1.一种基于区域混淆机制神经网络的血细胞显微图像分类方法，其特征在于：对用于训练的血细胞显微图像进行预处理操作；将经过处理后的图像数据输入深度神经网络框架中的训练分支，在训练阶段引入区域混淆机制，将输入图像的全局结构打乱，迫使分类器对血细胞图像的局部精细特征进行提取，再通过对抗性学习网络对混淆后引入的噪声干扰进行消除，并通过混淆后图像与原图像的语义相关性，对图像的结构信息进行建模；通过上述分支提取出分类器的最优参数，并将最优参数直接赋予分类主干网络分支，进行最终的分类预测工作。/n

【技术特征摘要】
1.一种基于区域混淆机制神经网络的血细胞显微图像分类方法，其特征在于：对用于训练的血细胞显微图像进行预处理操作；将经过处理后的图像数据输入深度神经网络框架中的训练分支，在训练阶段引入区域混淆机制，将输入图像的全局结构打乱，迫使分类器对血细胞图像的局部精细特征进行提取，再通过对抗性学习网络对混淆后引入的噪声干扰进行消除，并通过混淆后图像与原图像的语义相关性，对图像的结构信息进行建模；通过上述分支提取出分类器的最优参数，并将最优参数直接赋予分类主干网络分支，进行最终的分类预测工作。


2.根据权利要求1所述的基于区域混淆机制神经网络的血细胞显微图像分类方法，其特征在于，包括以下步骤：
步骤S1：对图像数据进行预处理，进行数据增强；
步骤S2：构建基于区域混淆机制的深度神经网络框架，在训练阶段引入区域混淆机制，将经过处理后的图像数据输入深度神经网络框架中的训练分支，对输入图像进行分割，打乱图像的全局结构，并对分割后图像的子区域进行重新布局，迫使分类器对血细胞图像的局部精细特征进行提取；
步骤S3：对步骤S2操作中引入的噪声影响，采用对抗性学习网络根据原始图像与混淆后图像的提取特征进行判别，构建对抗性损失函数，消除噪声图像的影响，并通过混淆后图像与原图像的语义相关性，对图像的结构信息进行建模；
步骤S4：将混淆后的图像与原始图像一起作为训练时分类器的输入，通过参数共享的联合训练提取出分类器的最优参数，并将最优参数直接赋予分类主干网络分支，进行最终的分类预测工作，实现血细胞图像的自动分类。


3.根据权利要求2所述的基于区域混淆机制神经网络的血细胞显微图像分类方法，其特征在于，步骤S1具体包括以下步骤：
步骤S11：通过减去所有像素的均值，然后除以标准差，对每一幅图像进行标准化；
步骤S12：对输入图像大小进行调整，利用双线性插值方法将图像尺寸大小缩放到指定尺寸；
步骤S13：对于用于训练的图像数据，采用随机旋转、随机剪裁、水平翻转的方法进一步扩展图像数据，用于数据增强；
步骤S14：对用于测试集的图像数据，只进行中心剪裁的操作。


4.根据权利要求2所述的基于区域混淆机制神经网络的血细胞显微图像分类方法，其特征在于：
所述分类器包括分类主干网络、区域混淆网络、对抗性学习网络和区域对齐网络四部分；
第一部分为分类主干网络：采用MobileNetV3作为血细胞分类器的主干网络，训练时对输入图像进行特征提取，学习得到分类器的最优参数；预测时分类器其他网络分支不起作用，通过分类主干网络对输入图像进行预测分类；
第二部分为区域混淆网络：用以破坏图像的全局结构，将混淆后的图像与原始图像组合在一起引入分类主干网络；
第三部分为对抗性学习网络：用以分辨从图像中学习到的是否为噪声特征，消除噪声的干扰；
第四部分为区域对齐网络：用以对图像的结构信息进行建模，构建全局信息与局部信息的联系。


5.根据权利要求4所述的基于区域混淆机制神经网...

【专利技术属性】
技术研发人员：黄捷，吴泽钟，王武，蔡逢煌，柴琴琴，林琼斌，张岳鑫，
申请(专利权)人：福州大学，
类型：发明
国别省市：福建;35