本发明专利技术涉及一种基于多模态多分支神经网络的乳腺癌NAC疗效预测方法，包括如下步骤：步骤S1，获取乳腺癌的两个NAC阶段的多模态超声图像并进行预处理；步骤S2，基于预处理后的各个NAC阶段多模态超声图像，利用本发明专利技术设计的一种预训练好的多模态多分支神经网络，在考虑不同NAC阶段图像间的相关性以及不同模态超声图像间的相关性的前提下，得到乳腺癌NAC疗效的预测结果。与现有技术相比，本发明专利技术能够有效捕获不同阶段之间的差异信息及单个阶段的更深层次特征，且充分考虑多模态之间的强相关性和互补性信息，更好地了解其特征表示对分类任务的贡献，提取模态间的相关性，从而提高预测准确性。
【技术实现步骤摘要】
本专利技术涉及医学图像处理，尤其是涉及一种基于多模态多分支神经网络的乳腺癌nac疗效预测方法。
技术介绍
1、新辅助化疗(neoadjuvant chemotherapy,nac)是乳腺癌系统性治疗的组成部分，它能降低乳腺癌的分期，减少复发和转移，提高保乳率。nac后能否达病理完全缓解(pathologic complete response,pcr)与患者的预后密切相关。但乳腺癌是高度异质性肿瘤，尽管化疗方案在不断优化和提升，目前pcr率仍然较低。如何利用无创的影像学方法客观有效的早期预测乳腺癌nac疗效，是当前研究热点，也是临床亟待解决的问题。
2、超声是乳腺癌nac期间常用的影像学检查方法，可在nac期间反映肿瘤的形态，监测肿瘤的变化。但超声检查的评估主要还是基于临床医生的主观视觉评估，尚缺少客观标准的评价体系，且观察者内部和观察者之间的差异较大。传统的基于影像学特征的机器学习方法属于特征工程，比较耗时耗力且准确度不高。近年来随着深度学习技术(deeplearning，dl)的不断发展，基于dl的超声图像因其在乳腺肿瘤的识别、鉴别诊断、疗效评估及预后预测等方面的突出表现而受到广泛关注。
3、目前基于超声图像早期预测乳腺癌nac疗效的dl系统多存在以下不足：首先，现有系统多仅分析了病灶的灰阶超声图像(gray scale us imaging，gusi)。其次，现有系统多只分析了病灶的单个切面的gusi，缺乏对整个病灶综合全面的评估。最后，现有系统没有对比分析化疗前和化疗早期肿瘤的特征变化。
<
p>4、综上，当前缺少一种乳腺癌nac疗效预测方法，以解决或部分解决前述问题。
技术实现思路
1、本专利技术的目的就是为了克服上述现有技术存在的缺陷而提供一种基于多模态多分支神经网络的乳腺癌nac疗效预测方法，以解决或部分解决当前nac疗效预测方案未充分考虑不同nac阶段之间以及不同模态特征之间的相关性的问题。
2、本专利技术的目的可以通过以下技术方案来实现：
3、本专利技术的一个方面，提供了一种基于多模态多分支神经网络的乳腺癌nac疗效预测方法，包括如下步骤：
4、步骤s1，获取乳腺癌的两个nac阶段的多模态超声图像并进行预处理；
5、步骤s2，基于预处理后的各个nac阶段多模态超声图像，利用预训练好的多模态多分支神经网络，在考虑不同nac阶段图像间的相关性以及不同模态超声图像间的相关性的前提下，得到乳腺癌nac疗效的预测结果。
6、作为优选的技术方案，所述的步骤s2中，利用预训练好的多模态多分支神经网络得到乳腺癌nac疗效的预测结果的过程包括：
7、步骤s201，针对预处理后的各个nac阶段的各类多模态超声图像使用resnext网络进行特征提取，得到各个nac阶段下的各类多模态超声图像对应的特征向量；
8、步骤s202，针对各个nac阶段下的各类多模态超声图像对应的特征向量，通过对比差异学习提取各类模态对应地两个nac阶段之间的差异特征以及各个nac阶段的深层特征，得到各类模态对应地两个阶段的差异对比特征向量；
9、步骤s203，将各类模态超声图像对应的差异对比特征向量进行融合，分别利用通道注意力、空间注意力和自我注意力得到对应的特征向量，通过拼接得到融合特征向量；
10、步骤s204，基于所述融合特征向量，得到乳腺癌nac疗效的二分类预测结果。
11、作为优选的技术方案，所述的差异对比特征向量采用下式获取：
12、
13、
14、
15、
16、
17、其中，和分别表示预处理后的nac0、nac2两个nac阶段的特征图，且特征图具有c个通道，尺寸为m×n，表示两个nac阶段在像素点(i，j)、c通道特征向量的余弦相似度，hstandard为归一化函数，为特征矩阵，为权重矩阵，fglobal为差异对比特征向量，conv(*)表示卷积操作，cat(*)表示通道方向上的串联操作，表示元素乘法。
18、作为优选的技术方案，所述的融合特征向量采用下式获取：
19、
20、wchannel＝σ(fc(globalaveragepooling(ffusion)))
21、wspatial＝σ(conv3×3(cat(averagepooling(ffusion)，maxpooling(ffusion)))
22、
23、ffinal＝cat(wchannel·ffusion，wspatial·ffusion，wself_att·ffusion·v)
24、其中，分别为灰阶超声模态图像、彩色多普勒超声模态图像和弹性超声模态图像对应的差异对比特征向量，globalaveragepooling为全局平均池化操作，fc为全连接层，σ为激活函数，averagepooling和maxpooling分别为平均池化和最大池化操作，conv3×3为3x3卷积层，q、k和v为通过线性变换得到的查询、键和值特征矩阵，dk为缩放因子，cat(*)表示通道方向上的串联操作。
25、作为优选的技术方案，所述的多模态超声图像包括灰阶超声图像、彩色多普勒超声图像和弹性超声图像。
26、作为优选的技术方案，所述的多模态多分支神经网络的训练过程包括：
27、步骤s001，获取经过标注和预处理后的数据集，并划分为多个子集，从所述子集中选取验证集和训练集；
28、步骤s002，使用训练集对单路径的特征提取网络进行最优性能训练，将获得的权值作为多分支神经网络的初始权值；
29、步骤s003，将每组训练集的多模态多阶段超声图像输入多模态多分支神经网络，通过计算损失函数进行训练；
30、步骤s004，使用验证集评估每次训练得到的网络的性能，记录每次训练的网络准确性、灵敏度和特异性指标，选择性能最优的网络作为最终网络。
31、作为优选的技术方案，所述的损失函数为加权焦点损失函数。
32、本专利技术的另一个方面，提供了一种基于多模态多分支神经网络的乳腺癌nac疗效预测系统，包括：
33、图像预处理模块，用于针对获取到的乳腺癌的两个nac阶段的多模态超声图像进行预处理；
34、多模态多分支神经网络，用于基于预处理后的各个nac阶段多模态超声图像，在考虑不同nac阶段图像间差异性和相似性的前提下，得到乳腺癌nac疗效的预测结果。
35、作为优选的技术方案，所述的多模态多分支神经网络包括：
36、特征提取模块，用于针对预处理后的各个nac阶段的多模态超声图像进行特征提取，得到各个nac阶段的特征向量；
37、两阶段对比差异学习模块，用于针对各个nac阶段对应的特征向量，通过对比差异学习提取不同nac阶段之间的差异特征以及各个nac阶段的深层特征本文档来自技高网
...
【技术保护点】
1.一种基于多模态多分支神经网络的乳腺癌NAC疗效预测方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的一种基于多模态多分支神经网络的乳腺癌NAC疗效预测方法，其特征在于，所述的步骤S2中，利用预训练好的多模态多分支神经网络得到乳腺癌NAC疗效的预测结果的过程包括：
3.根据权利要求2所述的一种基于多模态多分支神经网络的乳腺癌NAC疗效预测方法，其特征在于，所述的差异对比特征向量采用下式获取：
4.根据权利要求2所述的一种基于多模态多分支神经网络的乳腺癌NAC疗效预测方法，其特征在于，所述的融合特征向量采用下式获取：
5.根据权利要求2所述的一种基于多模态多分支神经网络的乳腺癌NAC疗效预测方法，其特征在于，所述的多模态超声图像包括灰阶超声图像、彩色多普勒超声图像和弹性超声图像。
6.根据权利要求1所述的一种基于多模态多分支神经网络的乳腺癌NAC疗效预测方法，其特征在于，所述的多模态多分支神经网络的训练过程包括：
7.根据权利要求6所述的一种基于多模态多分支神经网络的乳腺癌NAC疗效预测方法，其特征在于，所述的损失函数为加权焦点损失函数。
8.一种基于多模态多分支神经网络的乳腺癌NAC疗效预测系统，其特征在于，包括：
9.根据权利要求8所述的一种基于多模态多分支神经网络的乳腺癌NAC疗效预测系统，其特征在于，所述的多模态多分支神经网络包括：
10.根据权利要求8所述的一种基于多模态多分支神经网络的乳腺癌NAC疗效预测系统，其特征在于，在所述的多模态多分支神经网络的训练过程中，通过计算加权焦点损失实现训练。
...
【技术特征摘要】
1.一种基于多模态多分支神经网络的乳腺癌nac疗效预测方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的一种基于多模态多分支神经网络的乳腺癌nac疗效预测方法，其特征在于，所述的步骤s2中，利用预训练好的多模态多分支神经网络得到乳腺癌nac疗效的预测结果的过程包括：
3.根据权利要求2所述的一种基于多模态多分支神经网络的乳腺癌nac疗效预测方法，其特征在于，所述的差异对比特征向量采用下式获取：
4.根据权利要求2所述的一种基于多模态多分支神经网络的乳腺癌nac疗效预测方法，其特征在于，所述的融合特征向量采用下式获取：
5.根据权利要求2所述的一种基于多模态多分支神经网络的乳腺癌nac疗效预测方法，其特征在于，所述的多模态超声图像包括灰阶超声图像、彩色多普勒超...
【专利技术属性】
技术研发人员：蒋卓韵，姜立新，万财凤，聂生东，王毓群，李晓兵，
申请(专利权)人：上海理工大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。