System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 一种基于类激活图的自解释医学影像诊断系统技术方案_技高网
当前位置: 首页 > 专利查询>山东大学专利>正文

一种基于类激活图的自解释医学影像诊断系统技术方案

技术编号:41955487 阅读:5 留言:0更新日期:2024-07-10 16:41
本发明专利技术提出了一种基于类激活图的自解释医学影像诊断系统,涉及图像处理技术领域,包括:影像获取模块获取待诊断的医学影像;类别预测模块将预处理后的医学影像输入到CNN模型中进行前向传播,得到一组特征图及最终预测的疾病类别;梯度计算模块计算预测的疾病类别相对于每个特征图的梯度;图生成模块,结合梯度和特征图,生成每个目标卷积层的类激活图,融合不同层的类激活图,形成最终的类激活图;结果生成模块,将预测的疾病类别及类激活图作为最终的自解释医学影像诊断结果进行输出;本发明专利技术在进行医学影像诊断的同时,利用CNN模型的特征图和梯度信息,在不同的层级上生成多种分辨率的类激活图,满足对诊断结果的高分辨率解释需求。

【技术实现步骤摘要】

本专利技术属于图像处理,尤其涉及一种基于类激活图的自解释医学影像诊断系统


技术介绍

1、本部分的陈述仅仅是提供了与本专利技术相关的
技术介绍
信息,不必然构成在先技术。

2、近年来,随着人工智能(ai)技术的高速发展,卷积神经网络(convolutionalneural networks,cnn)在医学影像诊断等高风险领域中取得了显著成就;尽管在大多数情况下,cnn能够做出准确的预测,但其内部结构的复杂性使得它们在某些情况下仍然容易出错;由于cnn的工作原理通常不透明,当模型做出错误决策时,医疗专业人员可能难以及时发现并纠正,这可能导致灾难性的后果。

3、因此,在医学影像诊断等高风险领域,可解释人工智能的研究显得尤为重要,并受到广泛关注。为了提高cnn的可解释性,研究人员开发了多种特征归因方法,旨在为输入图像中的每个像素或区域赋予一个相关性分数;这些分数反映了图像中特定区域对模型预测的重要性;通过将这些分数可视化为显著图,可以揭示模型决策的依据。

4、在现有的特征归因方法中,基于类激活图的方法因其直观性和有效性而受到广泛关注。这些方法通过分析cnn最后一个卷积层的特征图,识别出对预测目标具有高度相关性的区域;然而,现有方法产生的类激活图分辨率较低,无法提供足够细致的解释;此外,如果将这些方法应用于较浅的卷积层,其准确性会大幅降低;在需要识别病变组织等小型物体的应用场景中,这种粗糙的解释是不够的;因此,现有的类激活图方法无法满足高分辨率解释的需求。


技术实现思路

1、为克服上述现有技术的不足,本专利技术提供了一种基于类激活图的自解释医学影像诊断系统,在进行医学影像诊断的同时,利用cnn的特征图和梯度信息,在不同的层级上生成多种分辨率的类激活图,满足对诊断结果的高分辨率解释需求。

2、为实现上述目的,本专利技术的一个或多个实施例提供了如下技术方案:

3、本专利技术第一方面提供了一种基于类激活图的自解释医学影像诊断系统。

4、一种基于类激活图的自解释医学影像诊断系统,包括:

5、影像获取模块,被配置为:获取待诊断的医学影像并进行预处理;

6、类别预测模块,被配置为:将预处理后的医学影像输入到cnn模型中进行前向传播,得到cnn模型中不同目标卷积层提取的一组特征图及最终预测的疾病类别;

7、梯度计算模块,被配置为:计算预测的疾病类别相对于每个特征图的梯度,用于评估特征图中每个元素对预测结果的贡献;

8、图生成模块,被配置为:结合梯度和特征图,生成每个目标卷积层的类激活图,融合不同层的类激活图,形成最终的类激活图;

9、结果生成模块,被配置为:将预测的疾病类别及类激活图作为最终的自解释医学影像诊断结果进行输出,其中,类激活图是对预测的疾病类别的进一步解释。

10、进一步的,所述预处理,包括中心化和标准化操作。

11、进一步的,所述cnn模型,由输入层、多个卷积层、池化层、全连接层和输出层组成;

12、其中,所述卷积层用于从输入的医学影像中提取不同粒度的特征图,从多个卷积层中选取一组卷积层作为不同目标卷积层,获取不同目标卷积层提取的一组特征图。

13、进一步的,所述输出层采用softmax函数进行疾病类别的概率分布预测,选择具有最大预测概率的疾病类别,作为最终预测的疾病类别。

14、进一步的,所述计算预测的疾病类别相对于每个特征图的梯度,基于梯度过滤算法,从softmax层开始的逐层反向传播计算梯度,直到完成所有梯度的反向传播计算,所述梯度过滤算法,具体为:

15、步骤(1):计算当前层梯度;

16、步骤(2):为relu激活函数层计算类激活图,衡量特征图的重要性;

17、步骤(3):使用类激活图的平均值识别病变位置,计算类激活图掩码;

18、步骤(4):使用类激活图掩码,过滤掉梯度中的噪声,得到去噪后的当前层梯度;

19、进一步的,所述为relu激活函数层计算类激活图,具体为:

20、在第l+1层为relu层的情况下,通过将特征图的每个向量与相应的梯度进行点乘求和,从梯度中识别并过滤掉不相关的梯度,得到第l+1层的类激活图ml+1,c。

21、进一步的,所述计算类激活图掩码,具体为:

22、使用类激活图的平均值作为阈值,对类激活图的每个空间位置进行判断,该位置的重要性分数至少等于阈值,则该位置为病变位置,其类激活图掩码为1,否则为不相关位置,其类激活图掩码为0。

23、进一步的,所述目标卷积层的类激活图,是将计算得到的特征图与梯度进行元素间点乘,然后按照通道维度求和后进行relu激活,保留大于零的部分,得到目标卷积层的类激活图。

24、本专利技术的第二个方面提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如下步骤:

25、获取待诊断的医学影像并进行预处理;

26、将预处理后的医学影像输入到cnn模型中进行前向传播,得到cnn模型中不同目标卷积层提取的一组特征图及最终预测的疾病类别;

27、计算预测的疾病类别相对于每个特征图的梯度,用于评估特征图中每个元素对预测结果的贡献;

28、结合梯度和特征图,生成每个目标卷积层的类激活图,融合不同层的类激活图,形成最终的类激活图;

29、将预测的疾病类别及类激活图作为最终的自解释医学影像诊断结果进行输出,其中,类激活图是对预测的疾病类别的进一步解释。

30、本专利技术的第三个方面提供了一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如下步骤:

31、获取待诊断的医学影像并进行预处理;

32、将预处理后的医学影像输入到cnn模型中进行前向传播,得到cnn模型中不同目标卷积层提取的一组特征图及最终预测的疾病类别;

33、计算预测的疾病类别相对于每个特征图的梯度,用于评估特征图中每个元素对预测结果的贡献;

34、结合梯度和特征图,生成每个目标卷积层的类激活图,融合不同层的类激活图,形成最终的类激活图;

35、将预测的疾病类别及类激活图作为最终的自解释医学影像诊断结果进行输出,其中,类激活图是对预测的疾病类别的进一步解释。

36、以上一个或多个技术方案存在以下有益效果:

37、本专利技术的创新之处在于提出了一种基于类激活图的自解释医学影像诊断系统,在进行医学影像诊断的同时,通过利用cnn模型的特征图和梯度信息,能够在不同的层级上生成多种分辨率的类激活图,这些类激活图不仅展示了cnn在各层级的行为模式,还为医疗专业人员提供了直观的视觉解释,帮助他们更深入地理解模型的决策过程。

38、本专利技术的另一个创新点为提出一种梯度过滤算法,利用深层类激活图的精准定位能力来过滤浅层本文档来自技高网...

【技术保护点】

1.一种基于类激活图的自解释医学影像诊断系统,其特征在于,包括:

2.如权利要求1所述的一种基于类激活图的自解释医学影像诊断系统,其特征在于,所述预处理,包括中心化和标准化操作。

3.如权利要求1所述的一种基于类激活图的自解释医学影像诊断系统,其特征在于,所述CNN模型,由输入层、多个卷积层、池化层、全连接层和输出层组成;

4.如权利要求3所述的一种基于类激活图的自解释医学影像诊断系统,其特征在于,所述输出层采用softmax函数进行疾病类别的概率分布预测,选择具有最大预测概率的疾病类别,作为最终预测的疾病类别。

5.如权利要求1所述的一种基于类激活图的自解释医学影像诊断系统,其特征在于,所述计算预测的疾病类别相对于每个特征图的梯度,基于梯度过滤算法,从softmax层开始的逐层反向传播计算梯度,直到完成所有梯度的反向传播计算,所述梯度过滤算法,具体为:

6.如权利要求5所述的一种基于类激活图的自解释医学影像诊断系统,其特征在于,所述为ReLU激活函数层计算类激活图,具体为:

7.如权利要求1所述的一种基于类激活图的自解释医学影像诊断系统,其特征在于,所述计算类激活图掩码,具体为:

8.如权利要求1所述的一种基于类激活图的自解释医学影像诊断系统,其特征在于,所述目标卷积层的类激活图,是将计算得到的特征图与梯度进行元素间点乘,然后按照通道维度求和后进行ReLU激活,保留大于零的部分,得到目标卷积层的类激活图。

9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如下步骤:

10.一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如下步骤:

...

【技术特征摘要】

1.一种基于类激活图的自解释医学影像诊断系统,其特征在于,包括:

2.如权利要求1所述的一种基于类激活图的自解释医学影像诊断系统,其特征在于,所述预处理,包括中心化和标准化操作。

3.如权利要求1所述的一种基于类激活图的自解释医学影像诊断系统,其特征在于,所述cnn模型,由输入层、多个卷积层、池化层、全连接层和输出层组成;

4.如权利要求3所述的一种基于类激活图的自解释医学影像诊断系统,其特征在于,所述输出层采用softmax函数进行疾病类别的概率分布预测,选择具有最大预测概率的疾病类别,作为最终预测的疾病类别。

5.如权利要求1所述的一种基于类激活图的自解释医学影像诊断系统,其特征在于,所述计算预测的疾病类别相对于每个特征图的梯度,基于梯度过滤算法,从softmax层开始的逐层反向传播计算梯度,直到完成所有梯度的反向传播计算,...

【专利技术属性】
技术研发人员:郭伟刘勇袺鹿旭东崔立真何伟闫中敏
申请(专利权)人:山东大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1