一种基于热力图解释多被试复数fMRI数据CNN分类结果的方法技术

技术编号:32671640 阅读:13 留言:0更新日期:2022-03-17 11:26
一种基于热力图解释多被试复数fMRI数据CNN分类结果的方法,属于生物医学信号处理领域。将单被试切片样本输入一个训练好的CNN模型,提取最后一个池化层输出的特征图;通过反向传播计算模型输出相对于特征图的梯度;将梯度加权后的特征图送入线性整流单元;经过上采样得到热力图,将模型的决策依据可视化,解释单被试分类结果。对于多个被试,将同类被试的热力图进行平均,得到组热力图,解释多被试分类结果。本发明专利技术分别计算精神分裂症患者和健康对照被试在两个CNN模型下的热力图。SSP图比SSM图给出了更完整的DMN区域以及更大的组间差异,提高了CNN分类的可信度。提高了CNN分类的可信度。提高了CNN分类的可信度。

【技术实现步骤摘要】
一种基于热力图解释多被试复数fMRI数据CNN分类结果的方法


[0001]本专利技术属于生物医学信号处理领域,涉及到一种基于热力图解释多被试复数fMRI(functional magnetic resonance imaging)数据CNN(Convolutional neural network)分类结果的方法。

技术介绍

[0002]近年来,深度学习在图像分类中展示出独特的优势。其中,CNN凭借其充分挖掘和利用输入图像相邻像素间关联性的特点,广泛应用于医学影像分类。然而,CNN模型具有“黑箱”属性,人们不能确定CNN预测结果源于何种因素的影响,或者说何种因素主导了分类结果。因此,CNN模型的可解释性研究已成为目前的热点问题。对于医学影像分类与计算机辅助诊断而言,提供CNN的分类证据尤为重要。
[0003]fMRI数据因其安全性高、非侵入及高达毫米级的空间分辨率等优势,常用于神经精神类脑疾病如精神分裂症的CNN分类。考虑到fMRI观测数据的信噪比极低,噪声严重,大多数CNN输入采用了降噪处理之后的fMRI数据,或者采用了从fMRI观测数据中提取的空时特征。作为一种数据驱动的盲源分离算法,独立成分分析(Independent Component Analysis,ICA)能够从复数fMRI数据中提取去噪的脑空间激活图,且能反映因脑功能改变而导致的空间激活变化,因此,ICA空间激活图是一种有效的CNN输入。例如,在现有ICA

CNN分类框架(专利申请号201910350137.2)中,ICA首先用于从复数fMRI观测数据中提取感兴趣成分复数空间激活图的幅值信息,即空间源幅值(Spatial Source Magnitude,SSM)图,建立SSM图样本集,然后送入2D

CNN对精神分裂症患者与健康对照被试进行分类。然而,已有研究表明,相比于SSM图,复数空间激活图的相位信息,即空间源相位(Spatial Source Phase,SSP)图,对精神分裂症患者组与健康对照组之间空间差异的敏感度高出SSM图数百倍。因此,SSP图在神经精神类脑疾病的辅助诊断中更具潜力。但是,在CNN的内部传递、决策过程中,SSP图有哪些独特优势,决策依据是否能够解释分类结果,目前并没有可解释方法。

技术实现思路

[0004]基于一个训练好的CNN模型和单被试三维SSP图沿z轴的切片样本,本专利技术首先提取CNN最后一个池化层输出的特征图,然后通过反向传播计算模型输出相对于特征图的梯度,接着将梯度加权后的特征图送入线性整流单元(Rectified Linear Unit,ReLU),目的是保留对输出类别的计算起正向作用的特征,最后经过上采样得到热力图,从而将模型的决策依据可视化,解释单被试分类结果。对于多个被试,将同类被试的热力图进行平均,得到组热力图,解释多被试分类结果。
[0005]本专利技术采用的技术方案如下(见图1):
[0006]第一步:将被试j的二维SSP切片样本输入一个训练好的2D

CNN模型。SSP切片表示为J是被试总数,X
×
Y为SSP切片的大小,x=1,

,X,y=
1,

,Y。训练好的2D

CNN模型表示为h(
·
)。
[0007]第二步:提取2D

CNN的特征图。从2D

CNN模型中提取最后一个池化层输出的特征图,表示为K为通道数,X
′×
Y

为特征图的大小,X'、Y'由对应层的卷积核尺寸决定,j=1,

,J。
[0008]第三步:输出SSP切片样本的预测结果。计算2D

CNN模型将I
(j)
(x,y)判断为健康对照被试和神经精神类脑疾病如精神分裂症患者的概率,即:
[0009][0010]其中预测的类别对应概率为
[0011]第四步:计算基于梯度的加权值。通过反向传播计算模型输出类别对应最后一个池化层输出的每个通道特征图的梯度,然后进行全局平均池化,如下:
[0012][0013]为第k个通道特征图的权重,k=1,

,K,j=1,

,J。
[0014]第五步:生成单被试热力图。将最后一个池化层输出的所有通道的特征图用对应的进行加权后求和,送入ReLU函数以保留对输出类别的计算有正向影响的特征,如下:
[0015][0016]对插值,使其与输入SSP切片样本大小X
×
Y相同,得到单被试热力图,表示为
[0017]第六步:生成多被试组热力图。将分类正确的同类被试的热力图进行平均得到组热力图,如下:
[0018][0019]式中,J

是同类被试总数。
[0020]本专利技术的有益效果:通过热力图将CNN模型的分类依据可视化,对分类结果进行事后解释。例如,从82个被试的复数静息态fMRI数据中提取默认网络(Default Mode Network,DMN)感兴趣成分之后,分别建立SSP图和SSM图的样本集,训练两个结构相同的2D

CNN模型,然后采用本专利技术给出的热力图可视化方法,分别计算精神分裂症患者和健康对照被试在两个CNN模型下的热力图,进行单被试、多被试分析,结果分别展示在图2、图3中。可以观察到,无论是健康对照被试还是精神分裂症患者,SSP图都比SSM图描绘了更完整的DMN区域,并且呈现相反的趋势,即健康对照被试的DMN区域为大值,而精神分裂症患者的DMN区域为小值。对于SSM图,健康对照被试没有定位DMN区域,精神分裂症患者主要定位在后扣带皮层区域,少部分位于顶下小叶区域。因此,SSP图生成的热力图相比于SSM图有更大的组间差异。这解释了SSP图较之SSM图CNN分类结果更好(切片级准确率提升9.72%,被试级准确
率提升15%)的原因,提高了CNN模型分类的可信度。
附图说明
[0021]图1为本专利技术生成单被试热力图的示意图。
[0022]图2为健康对照被试与精神分裂症患者的单被试热力图对比。
[0023]图3为健康对照被试与精神分裂症患者的多被试组热力图对比。
具体实施方式
[0024]下面结合技术方案详细叙述本专利技术的实施例。
[0025]现有J=82个被试的复数静息态fMRI数据,包括42名精神分裂症患者和40名健康对照被试。每个被试含有146次全脑扫描,每幅全脑扫描图共有X
×
Y
×
Z=53
×
63
×
46=153594体素的全脑数据,其中脑内有62336体素。
[0026]首先,获取感兴趣成分SSP图。设置模型阶数N=20,采用复数EBM(Entropy Bound Minimization)算法分离各本文档来自技高网
...

【技术保护点】

【技术特征摘要】
1.一种基于热力图解释多被试复数fMRI数据CNN分类结果的方法,首先将单被试切片样本输入一个训练好的CNN模型,提取最后一个池化层输出的特征图,然后通过反向传播计算模型输出相对于特征图的梯度用于加权特征图,经过线性整流单元处理后再上采样得到热力图,用于解释单被试分类结果;对于多个被试,将同类被试的热力图进行平均,得到组热力图,解释多被试分类结果;其特征在于,以下步骤:第一步:将被试j的二维SSP切片样本输入一个训练好的2D

CNN模型,SSP切片表示为J是被试总数,X
×
Y为SSP切片的大小,x=1,

,X,y=1,

,Y,训练好的2D

CNN模型表示为h(
·
);第二步:提取2D

CNN的特征图,从2D

CNN模型中提取最后一个池化层输出的特征图,表示为K为通道数,X
′×
Y

为特征图的大小,X'、Y...

【专利技术属性】
技术研发人员:林秋华牛妍炜
申请(专利权)人:大连理工大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1