基于图神经网络和对比学习的磁共振影像辅助处理系统技术方案

本发明专利技术公开了一种基于图神经网络和对比学习的磁共振影像辅助处理系统，该系统包含依次连接的MRI影像数据预处理模块、图数据增广模块、对比学习模块以及迁移学习模块。本发明专利技术提出了一种基于自注意力的长短距离特征融合图神经网络LS

Magnetic resonance image assistant processing system based on graph neural network and contrast learning

【技术实现步骤摘要】
基于图神经网络和对比学习的磁共振影像辅助处理系统


[0001]本专利技术属于迁移学习、图像处理和计算机视觉领域，具体涉及一种基于图神经网络和对比学习的磁共振影像辅助处理系统。

技术介绍

[0002]精神疾病(Mental Disorder)是一类复杂性疾病，主要症状表现为认知、意志、情感和行为异常，精神疾病的发病率每年都在增加，这使其给当今社会带来的影响日益严重。当前精神疾病的主要临床分类方法建立在症状学基础上，这是一种基于量表评估的医生主观判断，相对缺乏客观性。基于计算机科学和神经影像学的辅助处理系统，尤其是基于磁共振成像(Magnetic Resonance Imaging,MRI)的分类方法具有一定的客观性，并取得了出色的成果，因此，基于客观影像的精神疾病辅助处理系统仍是当前的重要研究趋势。
[0003]基于MRI影像的精神疾病辅助处理系统，经历了从机器学习到深度学习的发展，与之匹配的数据预处理方法也从人工定义特征发展到个体化结构脑网络。当前基于个体化结构脑网络和深度学习的研究方法，主要以有监督学习为主，通过构建分类、聚类模型，用人工标签和预测值构造损失函数，通过梯度反向传播更新模型参数。
[0004]Wang等人通过计算结构磁共振成像(sMRI)数据脑区间灰质体积的分布相似性，构建了个体化形态学脑网络(见图1)。通过个体化结构脑网络，能够获得大脑的全局共变信息，并组建大脑的结构网络数据，通过深度学习对大脑结构网络研究，取得了出色的成果。
[0005]在文献“Multisite Autism Spectrum Disorder Classification Using Convolutional Neural Network Classifier and Individual Morphological Brain Networks”[J].Gao J,Chen M,Li Y,et al.,Frontiers in Neuroscience,2021,14:1473中，Gao等人通过卷积神经网络实现了自闭症谱系障碍多站点数据集的高性能分类，并通过Grad
‑
CAM方法实现了个体级别的模型解释(其模型图见图2)。在ABIDE I数据集中，该方法取得了多站点数据分类的最佳性能，分类准确率(Accuracy)高达0.718。在文献“Autistic Spectrum Disorder Detection and Struct ural Biomarker Identification Using Self
‑
Attention Model and Individual
‑
Level MorphologicalCovariance Brain Networks”[J].Wang Z,Peng D,Shang Y,et al.,Frontiers in Neuroscie nce,2021:1268中，Wang等人使用自注意力机制构建特征提取网络，刷新了ABIDE I数据集的分类性能，使分类准确率达到0.725，并通过注意力图可视化的方法进行了可靠的模型解释(其模型图见图3)。
[0006]基于深度学习和个体化脑网络进行辅助研究，实现了精神疾病患者与对照组的高性能分类，但是该方法仍然存在两个问题。一是模型缺乏对特征的通用表示能力，通过监督学习得到的模型具有很强的正负样本分类能力，但是在研究聚类问题时，模型性能不佳；二是方法基于监督学习，但标签来源于人工经验标注，在精神疾病领域，医生的主观判断仍存在错误的可能，可能错误的人工标签指导监督模型训练，会影响模型的特征提取能力。
[0007]在公开号为CN113723519A的专利技术专利中，专利技术人提出一种基于对比学习的心电数
据处理方法，通过构建无标签心电图的正负样本，训练一个心电特征提取器，再通过多层感知机模型实现心电图的分类。基于对比学习的方法，可以使用无标签数据及其增广数据训练模型，充分利用医学中大量存在的无标签数据。
[0008]在公开号为CN113903031A的专利技术专利中，作者基于图卷积神经网络和对比学习，提出了一种跨域语义分割方法，通过结合迁移学习和图神经网络的强特征提取能力，在主观和客观评价上都取得了更优的评估结果。基于对比学习，该方法实现了模型的通用特征表示。

技术实现思路

[0009]本专利技术属于医学影像处理和计算机视觉领域，是一种基于对比学习和图神经网络的精神疾病MRI影像辅助处理系统，涉及迁移学习、个体化结构脑网络、深度学习的图神经网络、自监督学习中的对比学习等一系列方法。
[0010]本专利技术提出了一种基于图神经网络和对比学习的磁共振影像辅助处理系统，该系统包含依次连接的MRI影像数据预处理模块、将图数据进行大量扩增的图数据增广模块、对图数据对进行对比学习并获得预训练特征提取模型的对比学习模块和将预训练特征提取模型进行迁移的迁移学习模块；
[0011]其中，所述MRI影像数据预处理模块，输入核磁共振成像仪采集的MRI影像，采集的MRI影像通过预处理后，输出大脑图结构数据，具体包括：
[0012]S11)通过核磁共振成像仪采集大脑的MRI影像，使用标准脑模板对采集的每一幅大脑的MRI影像进行脑区划分；
[0013]S12)将进行脑区划分后的每一幅大脑的MRI影像通过预处理得到一个原始图数据G0＝(N,E,F0)，其中G0为有向图，N为节点集合，E为边集合，F0为节点特征集合；
[0014]所述图数据增广模块，输入MRI影像数据预处理模块得到的每一个原始图数据，通过对原始图数据G0＝(N,E,F0)的E和F0施加随机扰动进行增广，输出为每一个原始图数据的增广图集合，具体包括
[0015]S21)通过扰动的方法将原始图数据G0＝(N,E,F0)进行增广，每个原始图数据通过公式(1)的增广函数随机得到M个增广图数据{G1,G2,...,G
M
}；
[0016]G
k
′
＝Augmentation(G0)
ꢀꢀꢀꢀꢀꢀ
(1)
[0017]其中，Augmentation(
·
)表示随机扰动，k
′
＝1,2,...,M；
[0018]S22)将每个原始图数据及其M个增广图数据构成一个增广图集合G＝(G0,G1,...,G
M
)；
[0019]所述对比学习模块由图对比深度学习模型SimGCLR构成，输入为图数据增广模块得到的增广图集合，输出为预训练特征提取模型；SimGCLR由孪生结构构成，其中的两个基于自注意力的长短距离特征融合图神经网络LS
‑
GNN之间共享权值、两个投影头之间也共享权值，采样的每个图数据对会分别输入孪生结构中，每个图数据将先通过LS
‑
GNN进行特征提取，然后通过投影头进行空间映射，最后通过相似性损失和对比损失对SimGCLR模型进行优化本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于图神经网络和对比学习的磁共振影像辅助处理系统，其特征在于，该系统包含依次连接的MRI影像数据预处理模块、将图数据进行大量扩增的图数据增广模块、对图数据对进行对比学习并获得预训练特征提取模型的对比学习模块和将预训练特征提取模型进行迁移的迁移学习模块；其中，所述MRI影像数据预处理模块，输入核磁共振成像仪采集的MRI影像，并将采集的MRI影像通过预处理后，输出大脑图结构数据，具体包括：S11)通过核磁共振成像仪采集大脑的MRI影像，使用标准脑模板对采集的每一幅大脑的MRI影像进行脑区划分；S12)将进行脑区划分后的每一幅大脑的MRI影像通过预处理得到一个原始图数据G0＝(N,E,F0)，其中G0为有向图，N为节点集合，E为边集合，F0为节点特征集合；所述图数据增广模块，输入MRI影像数据预处理模块得到的每一个原始图数据，通过对原始图数据G0＝(N,E,F0)的E和F0施加随机扰动进行增广，输出为每一个原始图数据的增广图集合，具体包括S21)通过扰动的方法将原始图数据G0＝(N,E,F0)进行增广，每个原始图数据通过公式(1)的增广函数随机得到M个增广图数据{G1,G2,...,G
M
}；G
k
′
＝Augmentation(G0)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)其中，Augmentation(
·
)表示随机扰动，k
′
＝1,2,...,M；S22)将每个原始图数据及其M个增广图数据构成一个增广图集合G＝(G0,G1,...,G
M
)；所述对比学习模块由图对比深度学习模型SimGCLR构成，输入为图数据增广模块得到的增广图集合，输出为预训练特征提取模型；SimGCLR由孪生结构构成，其中的两个基于自注意力的长短距离特征融合图神经网络LS
‑
GNN之间共享权值、两个投影头之间也共享权值，采样的每个图数据对会分别输入孪生结构中，每个图数据将先通过LS
‑
GNN进行特征提取，然后通过投影头进行空间映射，最后通过相似性损失和对比损失对SimGCLR模型进行优化；所述对比学习模块的工作过程包括：S31)在每个增广图集合内随机采样两个图数据，得到图数据G
i
和图数据G
j
，其中i,j＝0,1,2,...,M，且i≠j；S32)将图数据G
i
和图数据G
j
成对输入对比深度学习模型SimGCLR，通过两个权值共享的LS
‑
GNN分别对G
i
和G
j
进行特征提取，分别得到G
i
和G
j
的图结构特征H
i
＝(N
i
,E
i
,F
i
)和H
j
＝(N
j
,E
j
,F
j
)；其中，每个基于自注意力的长短距离特征融合图神经网络LS
‑
GNN包括依次连接的1个自注意力特征提取模块和1个特征融合模块；每一个自注意力特征提取模块由M
′
个并联的基于多头自注意力的不同距离的特征提取子网络SA组成，每个特征提取子网络SA由H头自注意力模型构成；S33)将图结构特征H
i
＝(N
i
,E
i
,F
i
)和H
j
＝(N
j
,E
j
,F
j
)分别输入两个相同的投影头中，通过L层多层感知机MLP对节点特征F
i
和F
j
进行非线性变换，将其分别投影为节点特征集合Z
i
和Z
j
，如公式(2)所示，其中L为可调节的超参数，ReLu表示ReLu激活函数，W
l
，l＝1,2,...,L表示MLP中第l层的权重；
S34)用节点特征集合Z
i
和Z
j
将图结构特征H
i
＝(N
i
,E
i
,F
i
)和H
j
＝(N
j
,E
j
,F
j
...

【专利技术属性】
技术研发人员：王正宁，高婧婧，彭大伟，吴岳潼，徐宇航，商勇彬，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：