一种基于3D注意力卷积与自监督学习的脑疾病分类方法技术

本发明专利技术公开了一种基于3D注意力卷积与自监督学习的脑疾病分类方法，属于脑科学研究领域。具体包括以下步骤：获取静息态fMRI数据并预处理；构建基于fMRI全脑体素的功能连接数据；数据集划分；基于注意力卷积与自监督学习的脑疾病分类。本发明专利技术所述方法利用注意力机制的3DCNN从fMRI数据中提取全脑体素的空间特征,同时利用自监督学习使3DCNN挖掘到更有意义的表征.最后对分类任务和自监督辅助任务进行联合训练来优化参数。本发明专利技术所述方法可以更好的探索大脑的空间信息与挖掘数据隐含的特征，从而提升分类效果，且该方法合理可靠。且该方法合理可靠。且该方法合理可靠。

【技术实现步骤摘要】
一种基于3D注意力卷积与自监督学习的脑疾病分类方法


[0001]本专利技术属于脑科学研究领域，具体地说，本专利技术涉及一种基于3D注意力卷积与自监督学习的脑疾病分类方法。

技术介绍

[0002]人脑是人体一个高度复杂的系统，包含了大量的神经元细胞。通过多个神经元、神经元集群或者多个脑区之间的相互作用，人脑能够完成各种复杂的任务。人脑的结构和功能非常复杂，远远超出我们当前的认知能力。因此，探索并理解人类大脑的工作机制，揭开大脑之谜，无疑是非常有意义的事情。基于fMRI数据的脑疾病分类是脑科学领域中重要的研究方向，分析fMRI数据有助于理解自闭症谱系障碍(Autism spectrum disorder,ASD)、注意缺陷多动障碍(Attention deficit hyperactivity disorder,ADHD)和阿尔兹海默症(Alzheimer's disease,AD)等脑疾病的发病机理，具有十分重要的现实意义。
[0003]目前脑疾病分类方法主要分为两种：基于脑区划分的方法和基于体素分类的方法。基于脑区划分的方法大多通过对大脑进行分区来构建功能连接，这种方法虽然可以降低fMRI数据的维度，但是却忽略了原始fMRI数据中每个体素点的信息和体素之间的空间位置。基于体素分类的方法可以保留所有体素的信息以及它们之间的空间关系，表现出较好的效果。
[0004]基于体素的分类方法主要包括全连接神经网络(Fully connected neural network,FCNN)和三维卷积神经网络(3/>‑
Dimensional convolutional neural network,3DCNN)。其中，FCNN方法需要将体素数据转化为一维，从而进行特征学习与分类。但是，一维数据不能体现出体素数据的空间关系，而3DCNN可以处理具有空间性的数据。但是，人脑数据存在样本量小，特征维数高等特点，3DCNN不能考虑到每个体素的重要性，难以从高维数据中挖掘出内在的信息，基于3DCNN来对体素数据分类有待进一步提升。

技术实现思路

[0005]本专利技术针对上述现有方法存在的问题，提出一种基于3D注意力卷积与自监督学习的脑疾病分类方法(Brain Disease Classification Method Based on 3D Attention Convolutional Neural Network and Self
‑
Supervised Learning,3D
‑
SACNN)。本专利技术所述方法构建全脑体素的功能连接数据，利用具有注意力机制的3DCNN来提取fMRI数据的特征，并且利用自监督学习使3DCNN学习到更多的隐含信息。最后对分类任务和自监督辅助任务进行联合训练来优化参数。
[0006]为实现上述目的，本专利技术采用的技术方案为一种基于注意力卷积与自监督学习的脑疾病分类方法。
[0007]步骤(1)获取静息态fMRI数据并预处理：
[0008]步骤(1.1)静息态fMRI数据获取；
[0009]步骤(1.2)数据预处理：包括层间时间校正、头动校正、全局平均强度归一化、干扰
信号回归、带通滤波和空间配准步骤；
[0010]步骤(1.3)构建全脑体素的功能连接数据：
[0011]步骤(1.3.1)初始的三维fMRI数据表示为R，其中代表全体实数集合，T代表时间序列长度，D1、D2、D3分别代表fMRI数据的三个维度，体素总数为D；使用CC200脑图谱对fMRI数据按脑区进行划分，从而将大脑分为M个区域；由划分后的数据计算每个脑区的平均时间序列为每个体素的时间序列为最后，给定时间序列u＝[u1,u1,...,u
T
]，v＝[v1,v1,...,v
T
]，u与v之间的皮尔森相关系数(Pearson correlation coefficients,PCC)表示为：
[0012][0013]其中,为u的平均值，为v的平均值；由此,通过每个体素的时间序列与每个脑区中的平均时间序列得到每个脑区与每个体素之间的相关系数接下来将相关系数P还原为M个立方体，此处的M与前面的M个区域为相同的数值，每个立方体的维度为D，立方体中的每个元素代表当前体素与脑区之间的相关性，可将其表示为
[0014]包含N个样本的fMRI数据集表示为{(G
(1)
,y
(1)
),
……
,(G
(N)
,y
(N)
)}；其中，y
(n)
∈{0，1}，0表示对照组受试者，1表示ASD组受试者，G
(N)
表示第N个样本的fMRI数据；
[0015]步骤(2)数据集划分：将ABIDE
‑
I和ABIDE
‑
II数据集按照8：1：1的比例划分为训练集、验证集和测试集；其中，训练集用于学习神经网络的参数；验证集用于确定网络结构和超参数；测试集用于验证神经网络分类效果；
[0016]步骤(3)基于注意力卷积与自监督学习的脑疾病分类：
[0017]步骤(3.1)将ABIDE
‑
I和ABIDE
‑
II数据集或对应的训练集、验证集作为神经网络的输入；
[0018]步骤(3.2)构建一个包含3D注意力卷积模块、分类模块与基于3D空间信息的自监督学习模块的神经网络；3D注意力卷积模块包含三个卷积层，卷积核大小为3
×3×
3，步长为1，计算空间注意力的3D卷积采用一个卷积层，卷积核大小为5
×5×
5，步长为1；其中，分类模块输入全脑体素功能连接特征，而自监督学习模块输入掩蔽后的全脑体素功能连接特征，分类模块与自监督学习模块都经过3D注意力卷积模块来得到隐层特征，再输入到两个模块中获得最终的结果；在训练过程中，分类任务与自监督辅助任务采用联合训练的方式进行参数优化；
[0019]步骤(3.2.1)输入层:为全脑体素功能连接特征，除此之外，需要将全脑体素功能连接特征进行随机掩蔽；首先根据掩蔽的比率α∈[0,1]确定每个体素是否被掩蔽；然后，生成一个掩码[0,1]确定每个体素是否被掩蔽；然后，生成一个掩码来随机遮挡内容；最后，依靠掩码来生成掩蔽后的体素功能连接数据该过程表示为原始数据X与掩码I之间的运算：
[0020][0021]其中,
⊙
表示元素乘积；
[0022]步骤(3.2.2)3D注意力卷积模块：
[0023]步骤(3.2.2.1)以步骤(3.2.1)输出的特征图X作为3D注意力卷积模块中三维卷积的输入，设表示第l层的输入数据，M
(l)
表示第l层的通道数,分别表示第l层fMRI数据的三个维度，可见，H
(0)
＝X；根据式(3)完成三维卷积的计算，使其提取到三维数据的空间特征；
[0024][0本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于3D注意力卷积与自监督学习的脑疾病分类方法，其特征在于：步骤(1)获取静息态fMRI数据并预处理：步骤(1.1)获取静息态fMRI数据；步骤(1.2)数据预处理：包括层间时间校正、头动校正、全局平均强度归一化、干扰信号回归、带通滤波和空间配准步骤；步骤(1.3)构建全脑体素的功能连接数据；步骤(1.3.1)初始的三维fMRI数据表示为R，其中代表全体实数集合，T代表时间序列长度，D1、D2、D3分别代表fMRI数据的三个维度，体素总数为D；使用CC200脑图谱对fMRI数据按脑区进行划分，从而将大脑分为M个区域；由划分后的数据计算每个脑区的平均时间序列为每个体素的时间序列为最后，给定时间序列u＝[u1，u1，...，u
T
]，v＝[v1，v1，...，v
T
]，u与v之间的皮尔森相关系数(Pearson correlation coefficients，PCC)表示为：其中为u的平均值，为v的平均值；由此，通过每个体素的时间序列与每个脑区中的平均时间序列得到每个脑区与每个体素之间的相关系数接下来将相关系数P还原为M个立方体，此处的M与前面的M个区域为相同的数值，每个立方体的维度为D，立方体中的每个元素代表当前体素与脑区之间的相关性，可将其表示为包含N个样本的fMRI数据集表示为{(G
(1)
，y
(1)
)，......，(G
(N)
，y
(N)
)}；其中，y
(n)
∈{0，1}，0表示对照组受试者，1表示ASD组受试者，G
(N)
表示第N个样本的fMRI数据；步骤(2)数据集划分：将ABIDE
‑
I和ABIDE
‑
II数据集按照8∶1∶1的比例划分为训练集、验证集和测试集；其中，训练集用于学习神经网络的参数；验证集用于确定网络结构和超参数；测试集用于验证神经网络分类效果；步骤(3)基于注意力卷积与自监督学习的脑疾病分类：步骤(3.1)将ABIDE
‑
I和ABIDE
‑
II数据集或对应的训练集、验证集作为神经网络的输入；步骤(3.2)构建一个包含3D注意力卷积模块、分类模块与基于3D空间信息的自监督学习模块的神经网络；3D注意力卷积模块包含三个卷积层，卷积核大小为3
×3×
3，步长为1，计算空间注意力的3D卷积采用一个卷积层，卷积核大小为5
×5×
5，步长为1；其中，分类模块输入全脑体素功能连接特征，而自监督学习模块输入掩蔽后的全脑体素功能连接特征，分类模块与自监督学习模块都经过3D注意力卷积模块来得到隐层特征，再输入到两个模块中获得最终的结果；在训练过程中，分类任务与自监督辅助任务采用联合训练的方式进行参数优化；步骤(3.2.1)输入层：为全脑体素功能连接特征，除此之外，需要将全脑体素功能连接特征进行随机掩蔽；首先根据掩蔽的比率α∈[0，1]确定每个体素是否被掩蔽；然后，生成一个掩码来随机遮挡内容；最
后，依靠掩码来生成掩蔽后的体素功能连接数据该过程表示为原始数据X与掩码I之间的运算：其中，
⊙
表示元素乘积；步骤(3.2.2)3D注意力卷积模块：步骤(3.2.2.1)以步骤(3.2.1)输出的特征图X作为3D注意力卷积模块中三维卷积的输入，设表示第l层的输入数据，M
(l)
表示第l层的通道数，分别表示第l层fMRI数据的三个维度，可见，H
(0)
＝X；根据式(3)完成三维卷积的计算，使其提取到三维数据的空间特征；其中，表示第l层三维卷积的卷积核，t表示单个卷积核的大小，每个卷积核为一个立方体，表示K
(l)
的输入通道，表示K
(1)
的输出通道，B
(l)
表示相应的偏置，表示第l+1层所有通道的输出数据，σ(
·
)表示非线性激活函数；步骤(3.2.2.2)根据式(4)完成空间注意力系数的计算，使其关注到空间中含有...

【专利技术属性】
技术研发人员：冀俊忠，于乐，雷名龙，
申请(专利权)人：北京工业大学，
类型：发明
国别省市：