一种针对免疫固定电泳的重点区域识别方法技术

一种针对免疫固定电泳的重点区域识别方法，属于医疗技术与深度学习领域技术领域，解决现有技术中可视化效果较粗糙，无法进行精确定位，且定位方法无法人为干预的问题。本发明专利技术依次包括：1)免疫固定电泳图像集的收集；2)将各电泳图像分割为多条电泳带；3)将各个电泳带分割为多个子条带；4)各条电泳带间进行相似度对比；5)设计神经网络的注意力模块；6)训练卷积神经网络；7)计算待识别的电泳图像相似度矩阵的显著图；8)计算待识别的电泳图像的显著图；9)可视化显示重点区域。本发明专利技术用于可视化显示电泳图像的关键区域。

【技术实现步骤摘要】
一种针对免疫固定电泳的重点区域识别方法
一种针对免疫固定电泳的重点区域识别方法，用于可视化显示电泳图像的关键区域，属于医疗技术与深度学习领域

技术介绍
在骨髓浆细胞恶性增殖疾病中，多发性骨髓瘤是较为常见的情况。该类型疾病通常会伴随着在患者体内产生大量的单克隆免疫球蛋白(MonoclonalProtein)，后续简称M蛋白。免疫固定电泳(ImmunofixationElectrophoresis，IFE)是一种基于电泳和沉淀反应的免疫化学分析技术，目前已经在临床上被广泛使用，用于检测免疫球蛋白的含量，同时该技术还能检验其具体的型别。一般而言，共可检测出8类多发性骨髓瘤病例，分别是lgG-KAP、IgG-LAM、IgA-KAP、IgA-LAM、IgM-KAP、IgM-LAM、KAP和LAM。如图1展示了8类疾病对应的免疫固定电泳图像。a)图为IgG-KAP类型，可观察到G电泳带与KAP电泳带同时出现了密集条带；b)图为IgG-LAM类型，可观察到G电泳带与LAM电泳带同时出现了密集条带；c)图为IgA-KAP类型，可观察到A电泳带与KAP电泳带同时出现了密集条带；d)图为IgA-LAM类型，可观察到A电泳带与LAM电泳带同时出现了密集条带；e)图为IgM-KAP类型，可观察到M电泳带与KAP电泳带同时出现了密集条带；f)图为IgM-LAM类型，可观察到M电泳带与LAM电泳带同时出现了密集条带；g)图为KAP类型，可观察到密集条带出现在KAP电泳带；h)图为LAM类型，可观察到密集条带出现在LAM电泳带。由于仅有少数医师具备专业的识别能力，大量的检测数量导致无法及时有效地获取精确的信息反馈。近些年来，出现了较多计算机辅助技术用于快速获取精确的信息反馈，但通常需要高精度以确保准确性，以及合理的推测理由帮助医师快速定位疾病成因。传统的机器学习方法虽然具备一定的准确率，但是不具备应对各类复杂图像的情况，如噪声干扰与染色严重等，且需要专业人员手动观察图像样本，设计图像特征。基于目标检测的深度学习方法能够达到相对较高的准确率，并提供关键位置的区域，但该方法需要大量的重点区域标记过的样本用于模型训练，在人力、物力、时间上耗费巨大。基于Grad-CAM可视化技术，能够显示卷积神经网络的重点关注区域，已经在大量研究中被用于评估模型效果，可在电泳图像中直观显示模型的判断依据。该方法避免了基于目标检测的方法所需要的高昂的标记代价，仅需要电泳图像的疾病类型，同时使模型具备高精度与可解释性的特点。但该技术存在的缺点是可视化效果较粗糙，无法进行精确定位，且定位方法无法人为干预。
技术实现思路
针对上述研究的问题，本专利技术的目的在于提供一种针对免疫固定电泳的重点区域识别方法，解决现有技术中可视化效果较粗糙，无法进行精确定位，且定位方法无法人为干预的问题。为了达到上述目的，本专利技术采用如下技术方案：一种针对免疫固定电泳的重点区域识别方法，包括：步骤1：获取已被标记为8类疾病样本或健康样本的免疫固定电泳图像集，其中，免疫固定电泳图像集包括健康的电泳图像和带疾病的电泳图像，各电泳图像为RGB格式；步骤2：将免疫固定电泳图像集中的各电泳图像进行分割，得到G、A、M、KAP、LAM对应的电泳带，并将分割后的电泳带缩放到统一尺度；步骤3：将缩后的各电泳带进行横向切割，获得多个子条带，并将各子条带在整个维度上展开成一维向量，获得各子条带向量；步骤4：将各电泳图像中的两两电泳带的子条带互相关联，并基于相关联后的子条带得到相似度矩阵；步骤5：将相似度矩阵输入具有注意力模块的卷积神经网络，并将免疫固定电泳图像集中8类疾病或健康的标记作为监督信息使用梯度下降的策略训练神经网络，得到训练后的卷积神经网络；步骤6：将待识别的电泳图像处理后得到待识别的相似度矩阵，再将待识别的相似度矩阵输入训练后的卷积神经网络，得到显著图As，其中，显著图As的整个区域代表了卷积神经网络在相似度矩阵上的重点关注区域；步骤7：将显著图As反向映射到待识别的电泳图像上，获得卷积神经网络在待识别的电泳图像上的显著图Ap，其中，显著图Ap与待识别的电泳图像的长宽一致；步骤8：将显著图Ap覆盖在待识别的电泳图像上，得到待识别的电泳图像的重点区域。进一步，所述步骤3的具体步骤为：将高为h、宽为w的各电泳带以宽度t沿高度方向进行切割，得到获得h/t个子条带；将各子条带在整个维度上展开成一维向量，即将各子条带在3通道上展开，获得长度为3wt的各子条带向量，其中，3通道是指R通道、G通道和B通道。进一步，所述步骤4的具体步骤为：将各电泳图像中的两两电泳带的所有子条带向量进行欧式距离或余弦距离的相似度计算，计算后，获得元素个数为h2/t2的10个矩阵；对10个矩阵在新的维度上堆叠在一起，获得元素个数为10h2/t2的相似度矩阵S，其中，矩阵的形状是(h/t，h/t)，10个合并后是(10，h/t，h/t)。进一步，所述步骤5中卷积神经网络基础结构采用ResNet18，注意力模块采用桥接方式连接加入在卷积神经网络的每层中，注意力模块具体为：由于电泳带密集区域通常出现在水平相近的区域，对应相似度矩阵S的对角线区域，注意力模块为基于高斯函数的矩阵M，矩阵M对角线上的值为高斯函数均值μ对应的值，并向另外两对角逐渐递减到最小为3σ对应的值，均值μ与标准差σ一起作为卷积神经网络训练的参数，矩阵M上位置(i，j)上的值具体公式为：其中，F为卷积神经网络的中间特征图，C为中间特征图F的通道维度，W×H为中间特征图的空间维度，W表示中间特征图的横向空间，H表示中间特征图的纵向空间，μ0、σ0为常数，分别表示初始高斯函数均值和标准差，分别采用0和1的取值，μ0、σ0是固定的常数，而μ与σ是卷积神经网络中影响矩阵M的参数，随卷积神经网络的训练不停地更新，M(i，j)表示矩阵M的i行j列的值，Xij表示i行j列与对角线在高斯函数上的横坐标距离。进一步，所述步骤6的具体步骤为：待识别的电泳图像处理后得到待识别的相似度矩阵，再将待识别的相似度矩阵输入训练后的卷积神经网络，得到神经网络的中间特征图F和神经网络的预测输出Y；基于预测输出Y对中间特征图F求偏导，得到该偏导的值记为该中间特征图F的权重k；将中间特征图F与对应的权重k相乘并缩放尺寸后，获得待识别的相似度矩阵S的显著图As，其中，显著图As的尺度与相似度矩阵S一致，显著图As展示了卷积神经网络在相似度矩阵S上的重点关注区域；权重k和显著图As的具体公式如下：其中，l表示中间特征图的第l个通道维度，C表示中间特征图的通道维度，Scale表示缩放尺寸。进一步，所述步骤7的具体步骤为：显著图As上的每个值代表了两个水平线的对应关系强烈程度，将显著图As上的值赋予对应的待识别的电泳图像的水平位置，获得与待识别的电泳图像P相同空间尺度的显著图A本文档来自技高网...

【技术保护点】
1.一种针对免疫固定电泳的重点区域识别方法，其特征在于，包括：/n步骤1：获取已被标记为8类疾病样本或健康样本的免疫固定电泳图像集，其中，免疫固定电泳图像集包括健康的电泳图像和带疾病的电泳图像，各电泳图像为RGB格式；/n步骤2：将免疫固定电泳图像集中的各电泳图像进行分割，得到G、A、M、KAP、LAM对应的电泳带，并将分割后的电泳带缩放到统一尺度；/n步骤3：将缩后的各电泳带进行横向切割，获得多个子条带，并将各子条带在整个维度上展开成一维向量，获得各子条带向量；/n步骤4：将各电泳图像中的两两电泳带的子条带互相关联，并基于相关联后的子条带得到相似度矩阵；/n步骤5：将相似度矩阵输入具有注意力模块的卷积神经网络，并将免疫固定电泳图像集中8类疾病或健康的标记作为监督信息使用梯度下降的策略训练神经网络，得到训练后的卷积神经网络；/n步骤6：将待识别的电泳图像处理后得到待识别的相似度矩阵，再将待识别的相似度矩阵输入训练后的卷积神经网络，得到显著图A

【技术特征摘要】
1.一种针对免疫固定电泳的重点区域识别方法，其特征在于，包括：
步骤1：获取已被标记为8类疾病样本或健康样本的免疫固定电泳图像集，其中，免疫固定电泳图像集包括健康的电泳图像和带疾病的电泳图像，各电泳图像为RGB格式；
步骤2：将免疫固定电泳图像集中的各电泳图像进行分割，得到G、A、M、KAP、LAM对应的电泳带，并将分割后的电泳带缩放到统一尺度；
步骤3：将缩后的各电泳带进行横向切割，获得多个子条带，并将各子条带在整个维度上展开成一维向量，获得各子条带向量；
步骤4：将各电泳图像中的两两电泳带的子条带互相关联，并基于相关联后的子条带得到相似度矩阵；
步骤5：将相似度矩阵输入具有注意力模块的卷积神经网络，并将免疫固定电泳图像集中8类疾病或健康的标记作为监督信息使用梯度下降的策略训练神经网络，得到训练后的卷积神经网络；
步骤6：将待识别的电泳图像处理后得到待识别的相似度矩阵，再将待识别的相似度矩阵输入训练后的卷积神经网络，得到显著图As，其中，显著图As的整个区域代表了卷积神经网络在相似度矩阵上的重点关注区域；
步骤7：将显著图As反向映射到待识别的电泳图像上，获得卷积神经网络在待识别的电泳图像上的显著图Ap，其中，显著图Ap与待识别的电泳图像的长宽一致；
步骤8：将显著图Ap覆盖在待识别的电泳图像上，得到待识别的电泳图像的重点区域。


2.根据权利要求1所述的一种针对免疫固定电泳的重点区域识别方法，其特征在于，所述步骤3的具体步骤为：
将高为h、宽为w的各电泳带以宽度t沿高度方向进行切割，得到获得h/t个子条带；
将各子条带在整个维度上展开成一维向量，即将各子条带在3通道上展开，获得长度为3wt的各子条带向量，其中，3通道是指R通道、G通道和B通道。


3.根据权利要求2所述的一种针对免疫固定电泳的重点区域识别方法，其特征在于，所述步骤4的具体步骤为：
将各电泳图像中的两两电泳带的所有子条带向量进行欧式距离或余弦距离的相似度计算，计算后，获得元素个数为h2/t2的10个矩阵；
对10个矩阵在新的维度上堆叠在一起，获得元素个数为10h2/t2的相似度矩阵S，其中，矩阵的形状是(h/t，h/t)，10个合并后是(10，h/t，h/t)。


4.根据权利要求3所述的一种针对免疫固定电泳的重点区域识别方法，其特征在于，所述步骤5中卷积神经网络基础结构采用ResNet18，注意力模块采用桥接方式连接加入在卷积神经网络的每层中，注意力模块具体为：
由于电泳带密集区域通常出现在水平相近的区域，对应相似度矩阵S的对角线区域，注意力模块为基于高斯函...

【专利技术属性】
技术研发人员：魏骁勇，张栩禄，杨震群，武永康，
申请(专利权)人：四川大学，
类型：发明
国别省市：四川;51