基于结构-功能脑网络的精神疾病识别方法技术

本发明专利技术提供了基于结构

【技术实现步骤摘要】
基于结构
‑
功能脑网络的精神疾病识别方法


[0001]本专利技术涉及医学信息智能诊断
，尤其涉及基于结构
‑
功能脑网络的精神疾病识别方法。

技术介绍

[0002]在医学上，精神疾病会造成思想、感觉、情绪和行为的改变，进而导致患者无法正常工作和学习，严重影响其社会功能，进而增加患者家庭以及社会的负担。精神疾病在我国相当普遍，中国疾控中心在2019年发布的报告中指出我国七分之一的居民在一生中发生过至少一种精神障碍疾病。
[0003]目前常见的多模态脑网络融合方式有决策层融合和前期融合两种。常见的决策融合方式有拼接融合、多核融合和多视图融合，然而，决策层融合在处理多模态脑网络数据时，有其天然的缺陷，即仅使用了结构脑网络和功能脑网络的互补信息，而忽略了结构脑网络和功能脑网络之间的关联信息。前期融合主要可分为两类，其一，融合结构和功能两种模态的信息构建脑网络，常见的有根据功能脑网络辅助结构脑网络中白质纤维的追踪,或者在构建功能脑网络时考虑结构脑网络信息，从而增加空间约束；其二，是通过建立一个统一的模型联合使用结构和功能脑网络。相比决策层融合方法，前期融合同时使用了结构脑网络和功能脑网络的互补信息和关联信息，可以一定程度地提高疾病的识别准确率。
[0004]脑网络可以根据构建时所用的影像数据类别分为结构脑网络和功能脑网络两类。其中结构脑网络多使用弥散张量数据构建，其连接信息主要反映脑区之间的白质纤维连接，功能脑网络多使用功能磁共振成像数据构建，其连接信息主要反映脑区之间的活动一致性。这两类脑网络可以从不同视角反映精神疾病引起的脑部异常，其既有特异性又有互补性。目前已有的多模态融合方法并未充分利用两类脑网络的互补性和特异性，特别是没有在特征学习过程中考虑结构和功能之间复杂的联系。
[0005]因此，联合使用结构脑网络和功能网络，开展多模态脑网络特征融合研究，可以辅助医生诊断精神疾病，从而提高疾病诊断的准确率。

技术实现思路

[0006]本专利技术的目的在于提供一种基于结构
‑
功能脑网络的精神疾病识别方法，提高精神疾病识别准确率。
[0007]为了更好地实现上述专利技术目的，本专利技术通过以下的技术方案实现：基于结构
‑
功能脑网络的精神疾病识别方法，具体步骤如下：
[0008]A、结构
‑
功能特征深度融合中对于功能脑网络和结构脑网络特征的提取，令A
F
∈R
N
×
N
为功能脑网络的连接矩阵，A
S
∈R
N
×
N
为结构脑网络的连接矩阵(N为脑网络节点的个数)，为从连接矩阵中获取脑网络的深度特征，使用由Kawahara等人提出的边到边卷积(E2E)，边到节点卷积(E2N)，节点到图卷积(N2G)获取每一步的特征图。分别记结构脑网络和功能脑网络经过E2E卷积后的特征为S
E
∈R
N
×
N
×
C1
′
，F
E
∈R
N
×
N
×
C1
，其中C1和C1
′
为特征的通道数；
[0009]B、在特征学习过程中，添加深度融合模块，用以在特征学习过程中融合两类脑网络特征，该模块主要有四个步骤：压缩信息、多模态信息融合、生成通道激励信号和重构特征图。在本方法中，使用了两个深度融合模块用以重构结构脑网络和功能脑网络的连接边层和节点层的特征图；
[0010]C、在最终识别阶段，对于全图层的特征图，该层的特征图可以看成是向量，通过多模态分解双线性池化，用来融合结构和功能脑网络信息获取一个最终输入分类层的多模态脑网络联合表示；
[0011]D、输入到分类层,通过Softmax函数获得疾病识别结果，并将预测标签与真实标签的交叉熵损失作为损失函数进行训练，以获得一个可以深度融合多模态脑网络特征准确识别精神疾病的模型；
[0012]作为本专利技术提供的基于结构
‑
功能脑网络的精神疾病识别方法，所述步骤B的具体步骤如下：
[0013]a、压缩信息，其目的在于将特征的所有信息压缩到通道层，其可以使用最为常见的全局平均池化完成，公式如下：
[0014][0015][0016]其中，和为结构特征图S
E
和功能特征图F
E
在通道c处节点i与节点j的连接特征值，N为脑网络节点的个数，LS
E
,LF
E
分别为结构脑网络和功能脑网络压缩信息后得到的特征图；
[0017]b、多模态信息融合，使用一个线性模型融合结构和功能脑网络的压缩信息并生成一个融合后的表示Z，其公式如下：
[0018]Z＝W[LS
E
,LF
E
]+b
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(13)
[0019]其中，W和b是可学习的参数，分别表示权重和偏差值；
[0020]c、生成通道激励信号，根据上一步融合的多模态信息生成对结构脑网络和功能脑网络特征图各自的通道激励信号，其公式如下：
[0021]ES
E
＝W
S
Z+b
S
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(14)
[0022]EF
E
＝W
F
Z+b
F
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(15)
[0023]其中，W
S
和W
F
为权重参数，b
S
，b
F
为全连接层的偏差参数，ES
E
和EF
E
分别为结构脑网络和功能脑网络特征图各自的通道激励信号；
[0024]d、重构原始特征图，其主要基于通道激励信号重构两个模态的原始特征图，公式如下：
[0025][0026][0027]其中，σ为非线性激活函数，
⊙
为通道层的积运算，和分别为结构脑网络和功能脑网络重构后的原始特征图；
[0028]作为本专利技术提供的基于结构
‑
功能脑网络的精神疾病识别方法，所述步骤C的具体步骤如下：
[0029]a、结构脑网络和功能脑网络的全图层的特征向量分别S
G
∈R
C3
′
，F
G
∈R
C3
，当使用简单的双线性池化时，其公式为：
[0030]q＝(S
G
)
T
W
SF
F
G
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(18)
[0031]其中，W
SF
∈R
C3本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于结构
‑
功能脑网络的精神疾病识别方法，其特征在于，包括以下步骤：S1、结构
‑
功能特征深度融合中对于功能脑网络和结构脑网络特征的提取，令A
F
∈R
N
×
N
为功能脑网络的连接矩阵，A
S
∈R
N
×
N
为结构脑网络的连接矩阵，N为脑网络节点的个数，为从连接矩阵中获取脑网络的深度特征，使用由Kawahara提出的边到边卷积E2E，边到节点卷积E2N，节点到图卷积N2G获取每一步的特征图，分别记结构脑网络和功能脑网络经过E2E卷积后的特征为S
E
∈R
N
×
N
×
C1
′
，F
E
∈R
N
×
N
×
C1
，其中C1和C1
′
为特征的通道数；S2、在特征学习过程中，添加深度融合模块，用以在特征学习过程中融合两类脑网络特征，该模块主要有四个步骤：压缩信息、多模态信息融合、生成通道激励信号和重构特征图，在该识别方法中，使用了两个深度融合模块用以重构结构脑网络和功能脑网络的连接边层和节点层的特征图；S3、在最终识别阶段，对于全图层的特征图，该层的特征图看成是向量，通过多模态分解双线性池化，用来融合结构和功能脑网络信息获取一个最终输入分类层的多模态脑网络联合表示；S4、输入到分类层,通过Softmax函数获得疾病识别结果，并将预测标签与真实标签的交叉熵损失作为损失函数进行训练，获得一个深度融合多模态脑网络特征准确识别精神疾病的模型。2.根据权利要求1所述的基于结构
‑
功能脑网络的精神疾病识别方法，其特征在于，步骤S2所中特征学习过程中深度融合的具体步骤如下：S21、压缩信息，其目的在于将特征的所有信息压缩到通道层，其可以使用最为常见的全局平均池化完成，公式如下：全局平均池化完成，公式如下：其中，和为结构特征图S
E
和功能特征图F
E
在通道c处节点i与节点j的连接特征值，N为脑网络节点的个数，LS
E
,LF
E
分别为结构脑网络和功能脑网络压缩信息后得到的特征图；S22、多模态信息融合，使用一个线性模型融合结构和功能脑网络的压缩信息并生成一个融合后的表示Z，其公式如下：Z＝W[LS
E
,LF
E
]+b
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(3)其中，W和b分别为权...

【专利技术属性】
技术研发人员：黄嘉爽，戚晓雨，程学云，鞠恒荣，曹金鑫，丁卫平，
申请(专利权)人：南通大学，
类型：发明
国别省市：