一种基于时空图卷积模型的脑效应连接网络学习方法技术

一种基于时空图卷积模型的脑效应连接网络学习方法，属于深度学习算法、脑科学和人工智能应用领域。具体包括以下步骤：参数设置，时间卷积网络提取fMRI数据的时间特征，图卷积网络提取fMRI数据的空间特征以及在最小化联合损失函数的训练过程中学习脑效应连接网络。本发明专利技术利用时间卷积网络和图卷积网络特征学习能力强和模型泛化性好的优势，有效地提取了fMRI数据深层的时间和空间特征，使模型在对脑区时间序列预测的过程中准确地、自动地学习了效应连接网络。因此，本发明专利技术提供的方法具有特征提取能力强、准确性高，模型泛化能力好等优势，可以有效地缓解以往脑效应连接网络学习方法中出现的问题。法中出现的问题。法中出现的问题。

【技术实现步骤摘要】
一种基于时空图卷积模型的脑效应连接网络学习方法


[0001]本专利技术属于脑科学研究、神经网络深度学习理论与应用研究领域，具体来说，是涉及一种基于时空图卷积模型的脑效应连接学习方法。

技术介绍

[0002]人脑连接组研究试图从多层次建立刻画不同活体人脑功能、结构的脑网络组图谱；脑效应连接网络是一种由节点和有向边构成的图模型，其中节点通常被定义为脑区，有向边刻画了一个脑区施加于另一个脑区神经活动的因果效应。目前，利用计算方法从人脑功能磁共振成像(functional magnetic resonance imaging,fMRI)数据中进行脑效应连接网络的学习已成为该项研究中的一个前沿热点。
[0003]近年来，随着信息科学和神经科学的不断融合，许多传统的机器学习和数据挖掘方法被成功地用于脑效应连接网络的学习。根据所采用的计算模型和学习机理的不同，这些方法可大致分为两大类：基于模型驱动的方法和基于数据驱动的方法。
[0004]基于模型驱动的方法利用已知模型来描述脑区间神经活动的因果效应，通过模型选择从相互竞争的假设模型获得一个与数据最匹配的模型。此类方法的代表性算法是结构方程模型和动态因果模型。研究表明，此类方法通常用于学习小规模的脑效应连接网络，且在缺乏先验模型时难以获得良好的学习性能。而基于数据驱动的方法不需要先验知识和假设，能够直接从fMRI数据中学习脑效应连接网络。此类方法主要包括基于格兰杰因果的方法、基于线性非高斯无环模型的方法和Patel条件依赖性度量的方法。但这些方法仍然难以克服fMRI数据维度高、样本量小和信号非平稳等缺陷。
[0005]由此可见，虽然传统的机器学习方法在学习脑效应连接网络方面发挥了重要作用，但受到浅层模型及学习机理的制约，这些方法通常难以克服fMRI数据的固有缺陷对学习性能造成的不良影响。
[0006]伴随着深度学习的蓬勃发展及其在图像、语音等诸多领域获得的巨大成功，一些深度学习方法已被探索性地用于从fMRI数据中学习脑效应连接网络。然而，目前的这些方法未能充分提取fMRI数据的时间和空间特征，极大地制约了模型学习的准确性。

技术实现思路

[0007]本专利技术针对上述脑效应连接网络学习所面临的挑战，提出了一种基于时空图卷积模型的脑效应连接网络学习方法。该方法充分考虑了fMRI数据的时序特征和脑区之间的空间拓扑关系，能够从时间和空间两个维度提取fMRI数据中的深层特征，并在对脑区时间序列进行预测的过程中自适应地学习脑区间的效应连接网络。
[0008]为了实现上述目的，本专利技术采用的技术方案是一种基于时空图卷积模型的脑效应连接网络学习方法。该方法首先利用时间卷积网络学习各个脑区的fMRI数据的时序特征，然后通过图卷积网络聚合邻居脑区的信息来更新每个脑区的特征。最终，基于所学到的每个脑区的特征，在预测脑区时间序列的过程中可以学习到一个最优的脑效应连接网络。
[0009]一种基于时空图卷积模型的脑效应连接网络学习方法，其特征在于，在计算机上依次按照以下步骤实现：
[0010](1)：参数设置：包括时间卷积网络的相关参数和图卷积网络的相关参数。其中，时间卷积网络的相关参数包括脑区个数n,时间卷积网络的层数m,每层时间卷积网络的块数B，扩张因子β,卷积核大小K，图卷积网络的相关参数包括脑效应连接参数矩阵A初始化(通过计算脑区间的皮尔逊相关系数构建初始化的脑效应连接矩阵),图卷积网络的层数e,每个脑区自身特征的调节系数ρ，调节网络结构复杂度的参数γ，预测损失函数的超参数λ1和图正则化损失函数的超参数λ2。
[0011](2)：时间卷积网络提取fMRI数据的时间特征：首先利用扩张卷积网络学习fMRI数据的时间特征，然后通过一个门控机制提取所需要的时间特征。时间卷积网络提取fMRI时间特征的具体步骤如下：
[0012]①
在扩张卷积网络中的每个卷积块中，利用一维卷积核提取每个脑区fMRI的时间特征,如下所示：
[0013][0014]其中，X
i
表示脑区i的fMRI时间序列，表示脑区i第b个卷积块在t时刻学习到的时间特征，β表示扩张卷积网络的扩张因子，取值为2，K表示卷积核的大小，取值为3；F表示一个维度为1
×
K的卷积核。
[0015]②
通过跳连接操作将不同卷积块所提取的时间特征聚合起来，并在跳连接操作完成后，通过一个ReLU激活函数层对所得的聚合特征进行标准化，其公式如下：
[0016][0017]其中，B表示时间卷积网络的块数，取值为4；ReLU表示激活函数。
[0018]③
设计了一个由tanh激活函数层和sigmoid激活函数层构成的门控网络，并将步骤
②
输出的时间特征作为该门控网络的输入，通过门控网络的调节和控制作用，可以获得传递到空间卷积模块的脑区时间特征，其表达式如下：
[0019][0020]其中，h表示经过门控网络所提取到的脑区时间特征，g表示双曲正切激活函数；σ表示Sigmoid激活函数；W1和W2是模型在进行门控卷积操作时所学习到的网络权重系数；表示进行element
‑
wise product逐元素乘法。
[0021]步骤(3)：图卷积网络提取脑区fMRI数据的空间特征。图卷积网络通过脑区间的邻接矩阵为每个脑区聚合邻居脑区的特征，以获取每个脑区的新的特征，其具体步骤如下：
[0022]步骤(3.1)：构建一个脑区间的邻接矩阵，该邻接矩阵由一个效应连接参数矩阵和一个调节矩阵构成。它的表达式定义如下：
[0023]A
g
＝A+ρ*I
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(4)
[0024]其中，A
g
表示脑区间的邻接矩阵；A表示脑效应连接网络参数矩阵，通过计算脑区间的皮尔逊相关系数可对A进行初始化；ρ表示每个脑区自身特征的调节系数，取值为0.083；I表示n
×
n的单位矩阵。
[0025]步骤(3.2)：根据步骤(3.1)的邻接矩阵，采用图卷积网络为每个脑区聚合邻居脑区的特征。对于任意一个脑区i来说，聚合其邻居脑区特征的表达式如下：
[0026][0027]其中，e表示图卷积网络的层数，表示脑区i在第e层聚合的邻居脑区的特征，f
agg
表示图卷积网络的聚合函数，表示脑区i的相邻脑区u在第e
‑
1层的空间特征，Δ(i)表示脑区i的邻居脑区的集合。
[0028]步骤(3.3)：对于任意一个脑区i来说，将邻居脑区的特征与自身特征相加，可得到该脑区的新的特征。时空图卷积网络所学习到的脑区i的特征表示如下：
[0029][0030]其中，表示脑区i在第e层的空间特征；f
upd
表示脑区i的特征更新函数，通过聚合邻居脑区的特征，脑区i获得了新的特征；ReLU表示激活函数，A
g
表示脑区间的邻接矩本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于时空图卷积模型的脑效应连接网络学习方法，其特征在于，包括以下步骤：(1)、参数设置：包括时间卷积网络的相关参数和图卷积网络的相关参数；其中，时间卷积网络的相关参数包括脑区个数n,时间卷积网络的层数m,每层时间卷积网络的块数B，扩张因子β,卷积核大小K，图卷积网络的相关参数包括脑效应连接参数矩阵A初始化(通过计算脑区间的皮尔逊相关系数构建初始化的脑效应连接矩阵),图卷积网络的层数e,每个脑区自身特征的调节系数ρ，调节网络结构复杂度的参数γ，预测损失函数的超参数λ1和图正则化损失函数的超参数λ2；(2)、时间卷积网络提取fMRI数据的时间特征：首先利用扩张卷积网络学习fMRI数据的时间特征，然后通过一个门控机制提取所需要的时间特征；时间卷积网络提取fMRI时间特征的具体步骤如下：
①
在扩张卷积网络中的每个卷积块中，利用一维卷积核提取每个脑区fMRI的时间特征,如下所示：其中，X
i
表示脑区i的fMRI时间序列，表示脑区i第b个卷积块在t时刻学习到的时间特征，β表示扩张卷积网络的扩张因子，取值为2；K表示卷积核的大小，取值为3；F表示一个维度为1
×
K的卷积核；
②
通过跳连接操作将不同卷积块所提取的时间特征聚合起来，并在跳连接操作完成后，通过一个ReLU激活函数层对所得的聚合特征进行标准化，其公式如下：其中，B表示时间卷积网络的块数，取值为4；ReLU表示激活函数；
③
设计了一个由tanh激活函数层和sigmoid激活函数层构成的门控网络，并将聚合特征进行标准化后输出的时间特征作为该门控网络的输入，通过门控网络的调节和控制作用，获得传递到空间卷积模块的脑区时间特征，其表达式如下：其中，h表示经过门控网络所提取到的脑区时间特征，g表示双曲正切激活函数；σ表示Sigmoid激活函数；W1和W2是模型在进行门控卷积操作时所学习到的网络权重系数；表示进行element
‑
wise product逐元素乘法；(3)、图卷积网络提取脑区fMRI数据的空间特征；图卷积网络通过脑区间的邻接矩阵为每个脑区聚合邻居脑区的特征，以获取每个脑区的新的特征，其具体步骤如下：
①
构建一个脑区间的邻接矩阵，该邻接矩阵由一个效应连接参数矩阵和一个调节矩阵构成；它的表达：A
g
＝A+ρ*I
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(4)其中，A
g
表示脑区间的邻接矩阵；A表示脑效应连接网络参数矩阵，通过计算脑区间的皮尔逊相关系数对A进行初始化；ρ表示每个脑区自身特征的调节系数，取值为0.083；I表示n
×
n的单位矩阵；
②
采用图卷积网络为每个脑区聚合邻居脑区的特征；对于任意一个脑区i来说，聚合其邻居脑区特征的表达式如下：其中，e表示图卷积网络的层数，表示脑区i在第e层聚合的邻居脑区的特征，f
agg
表示图卷积网络的聚合函数，表示脑区i的相邻脑区u在第e
‑
1层的空间特征，Δ(i)表示脑区i的邻居脑区的集合；
③
对于任意一个脑区i来说，将邻居脑区的特征与自身特征相加，得到该脑区的新的特征；时空图卷积网络所学习到的脑区i的特征表示如下：其中，表示脑区i在第e层的空间特征；f
upd
表示脑区i的特征更新函数，通过聚合邻居脑区的特征，脑区i获得了新的特征；ReLU表示激活函数，A
g
表示脑区间的邻接矩阵；W
ie
‑1是脑区i在第e
‑
1层时进行时空图卷积操作...

【专利技术属性】
技术研发人员：冀俊忠，邹爱笑，
申请(专利权)人：北京工业大学，
类型：发明
国别省市：