一种基于注意力引导的COVID-19早筛和严重程度评估方法和系统技术方案

本发明专利技术公开了一种基于CT的注意力引导COVID‑19早筛和严重程度评估方法和系统。包括：对早筛和病变评估数据集中CT图像进行预处理；构建基于CT的COVID‑19早筛模型和严重程度评估模型，所述COVID‑19早筛模型和严重程度评估模型均包括特征提取模块、特征融合模块、分类模块三个部分；利用预处理后的早筛和病变评估数据集分别训练COVID‑19早筛模型和严重程度评估模型；对测试CT图像进行步骤1的预处理，然后输入到训练好的COVID‑19早筛模型，若检测为新冠，则输入到训练好的严重程度评估模型，评估新冠的严重程度。本发明专利技术在一定程度上降低了模型直接学习两个任务的复杂性，缓解了医学图像可用数据量少的问题，进一步提高了早筛和严重评估的精度。

【技术实现步骤摘要】
一种基于注意力引导的COVID-19早筛和严重程度评估方法和系统
本专利技术属于医学影像处理
，尤其涉及一种基于CT的注意力引导的COVID-19早筛和严重程度评估方法和系统。
技术介绍
COVID-19有着多个特点使得其难以控制：1)COVID-19是高度传染性的，可以通过直接传播，气溶胶传播和接触传播。一个新冠病人的传播力在3到4之间，面对着新冠病人的快速增长，任何国家的医疗系统都将会承受巨大的压力。2)医生几乎不可能仅通过临床特征(例如发烧，干咳和呼吸困难)将感染COVID-19的患者与由流感病毒，支原体，衣原体，呼吸道合胞病毒，细菌引起的间质性肺炎相区别。并且存在很多的无症状感染者。3)如果发生细胞因子风暴，病情将快速恶化。现有的人工病变评估的方式很难实时，这使得COVID-19病人很难被及时治疗。事实上，核酸检测是目前公认的鉴别COVID-19的金标准。但是，核酸检测却有着检测耗时和假阴性高的缺点。与之相比，CT则是一个受欢迎的，利用其详细的放射学表现，评估肺部疾病的模态,且COVID-19病人在肺部的CT影像上有着相应的放射学表现，所以利用CT的可快速获取的特点，进行COVID-19的早筛和病变评估，对于切断病毒传播链，降低病人的致死率有着重要的意义。随着计算机技术和人工智能的飞速发展，包括器官分割和图像增强与修复在内的各项数字图像处理技术已在医学领域得到广泛应用。其中，卷积神经网络等深度学习技术具有强大的非线性建模能力，在医学图像处理中也有广泛的应用，这些都为对抗COVID-19做出了积极贡献。与高度依赖人工的传统成像工作流程相比，人工智能可提供更安全，更准确和更高效的成像解决方案。在此背景下，利用人工智能技术，开发智能化的COVID-19早筛和病变评估系统，优化诊断工作流程，减轻医生负担，提升COVID-19筛查和病变评估的效率和敏感性，进而帮助控制病毒的传播和改善疾病的治疗水平尤为重要。但是在COVID-19的筛查和病变评估时，仍面临有诸多挑战1)如何智能化的快速筛查新冠疑似病人尽早隔离，打断新冠传播链。这对算法的效率、敏感性和特异性提出了很高的要求。2)怎样及时评估感染病人的病变程度，帮助医生快速判断病人的病变程度，这将能够帮助病人获得更好的治疗，降低病人的致死率。3)如何提高模型的可解释性。4)如何在疫情爆发初期，大量数据难以获取时，快速准确的构建早筛和严重程度评估系统。
技术实现思路
针对现有技术存在的不足，本专利技术提供了一种高精度、高效率的基于CT的注意力引导的COVID-19早筛和病变评估框架。该专利技术主要针对于新冠肺炎早筛和病变评估中面临的技术挑战开发，针对于疫情爆发初中期，CT数据很难获取到足量的训练样本，而仅有少量样本的问题，我们开发了一种可适用于少样本的新冠早筛和病变评估模型。该模型针对于少样本的问题，进行了一系列的设计，(1)首先为了减小模型的复杂性和参数量，进而减轻模型的过拟合，我们选择设计2D网络而非3D网络用于CT影像特征的提取，(2)在设计2D网络的过程中为了能够减少模型对于训练样本的需求量，我们采用迁移学习的思想，设计了可充分利用预训练权重的2D网络减少了对样本的需求量(3)利用设计的权重共享的2D网络，滑动提取CT切片的特征，权重共享的设计也减少了网络的参数，减弱了模型的过拟合现象。为了能够使模型能够自学习的关注到CT的病变区域用于早筛和病变评估，(1)该专利技术设计了切片内的注意力，使得我们的模型能够关注于CT单个切片上的病变区域(2)设计了切片间的注意力，将滑动得到的切片特征进行了加权融合，得到整个CT影像的特征，也使模型可以在学习的过程中更加关注于有病变的切片。网络学习的过程可以视为一种通过利用数据学习，建立约束，减少问题不确定性的问题。所以，可以通过人为将问题简化，将先验知识引入模型，可以提高模型的性能。所以我们设计了两种问题简化方式：(1)引入新冠在CT上的病变位于肺部的先验，我们在进行模型训练预处理前，先利用特征自监督网络提取除了CT上的肺部区域，对提取的肺部区域影像进行早筛和病变评估，降低了问题的复杂度，提升了性能。(2)将早筛和病变评估视为两个二分类问题，而不是直接视为三分类问题，降低了模型学习问题的复杂度。将上述
技术实现思路
，按照处理先后顺序，可得到如下技术方案：步骤1，对早筛和病变评估数据集中CT图像进行预处理；步骤2，构建基于CT的COVID-19早筛模型和严重程度评估模型；所述COVID-19早筛模型和严重程度评估模型均包括特征提取模块、特征融合模块、分类模块三个部分；其中，特征提取模块由共享权重的2D网络组成，利用权重共享的2D网络在CT的切片维度上逐切片滑动，提取得到CT切片的特征图，对得到的若干个通道的切片特征图进行全局平均池化，得到每次滑动的切片特征；然后通过特征融合模块将切片的特征进行融合得到整个病人CT的特征，所述特征融合模块的具体实现过程如下，wj＝f(Hjα)H是融合后的特征向量，wt是第t个切片对应的权重，Ht是第t个切片经过共享权重的2D网络所提取的特征向量，k为切片的个数，α为共享的权重；所述分类模块为两个全连接层和softmax输出层；步骤3，利用预处理之后的早筛和严重程度评估数据集分别训练COVID-19早筛模型和严重程度评估模型；步骤4，首先对测试CT图像进行步骤1的预处理，然后输入到训练好的COVID-19早筛模型，若检测为新冠，则输入到训练好的严重程度评估模型，评估新冠的严重程度。进一步的，步骤1中所述预处理具体包括如下步骤，步骤1.1，将不同格式的肺部CT图像进行统一格式处理并筛选；步骤1.2，构建特征自监督分割网络，并对特征自监督分割网络进行训练，用于提取肺部区域；步骤1.3，利用训练好的特征自监督分割网络，提取原始CT图像中的肺部区域图像；步骤1.4，对肺部区域图像进行像素范围截断及归一化。进一步的，步骤1.1具体包括，首先将不同格式的肺部CT图像统一为mhd文件格式，然后剔除掉影像采集时间与病人分型时间差距大的影像。进一步的，步骤1.2中的特征自监督分割网络包括两条路径：下采样路径和上采样路径；其中，下采样路径由一个卷积块、三个密集连接块和三个平均池化组层，其中池化层使用步长为2逐步缩减特征图的空间分辨率和增加其感受野；上采样路径包含3个去卷积层和3个密集连接块，去卷积层逐渐上采样特征图直至达到原始尺寸，每个额外的监督层被添加至每个去卷积层后面，总共有3个额外监督层，并且上采样路径中每个去卷积层后面连接1个注意力模块。进一步的，步骤1.3中肺部区域图像统一重采样至256×256×120分辨率。进一步的，步骤1.4中采用[-1000,400]对灰度值进行截断，只保留[-1000,400]之间的像素值，小于-1000的均设置为-1000，大于400的设置为400，同时进行归一化。进一步的，共享权本文档来自技高网...

【技术保护点】
1.一种基于注意力引导COVID-19早筛和严重程度评估方法，其特征在于，包括如下步骤：/n步骤1，对早筛和病变评估数据集中CT图像进行预处理；/n步骤2，构建基于CT的COVID-19早筛模型和严重程度评估模型；/n所述COVID-19早筛模型和严重程度评估模型均包括特征提取模块、特征融合模块、分类模块三个部分；其中，特征提取模块由共享权重的2D网络组成，利用权重共享的2D网络在CT的切片维度上逐切片滑动，提取得到CT切片的特征图，对得到的若干个通道的切片特征图进行全局平均池化，得到每次滑动的切片特征；然后通过特征融合模块将切片的特征进行融合得到整个病人CT的特征，所述特征融合模块的具体实现过程如下，/nw

【技术特征摘要】
1.一种基于注意力引导COVID-19早筛和严重程度评估方法，其特征在于，包括如下步骤：
步骤1，对早筛和病变评估数据集中CT图像进行预处理；
步骤2，构建基于CT的COVID-19早筛模型和严重程度评估模型；
所述COVID-19早筛模型和严重程度评估模型均包括特征提取模块、特征融合模块、分类模块三个部分；其中，特征提取模块由共享权重的2D网络组成，利用权重共享的2D网络在CT的切片维度上逐切片滑动，提取得到CT切片的特征图，对得到的若干个通道的切片特征图进行全局平均池化，得到每次滑动的切片特征；然后通过特征融合模块将切片的特征进行融合得到整个病人CT的特征，所述特征融合模块的具体实现过程如下，
wj＝f(Hjα)






H是融合后的特征向量，wt是第t个切片对应的权重，Ht是第t个切片经过共享权重的2D网络所提取的特征向量，k为切片的个数，α为共享的权重；
所述分类模块为两个全连接层和softmax输出层；
步骤3，利用早筛和严重程度评估数据集分别训练COVID-19早筛模型和严重程度评估模型；
步骤4，首先对测试CT图像进行步骤1的预处理，然后输入到训练好的COVID-19早筛模型，若检测为新冠，则输入到训练好的严重程度评估模型，评估新冠的严重程度。


2.如权利要求1所述的基于注意力引导的COVID-19早筛和严重程度评估方法，其特征在于：步骤1中所述预处理具体包括如下步骤，
步骤1.1，将不同格式的肺部CT图像进行统一格式处理并筛选；
步骤1.2，构建特征自监督分割网络，并对特征自监督分割网络进行训练，用于提取肺部区域；
步骤1.3，利用训练好的特征自监督分割网络，提取原始CT图像中的肺部区域图像；
步骤1.4，对肺部区域图像进行像素范围截断及归一化。


3.如权利要求2所述的基于注意力引导的COVID-19早筛和严重程度评估方法，其特征在于：步骤1.1具体包括，首先将不同格式的肺部CT图像统一为mhd文件格式，然后剔除掉影像采集时间与病人分型时间差距大的影像。


4.如权利要求2所述的基于注意力引导的COVID-19早筛和严重程度评估方法，其特征在于：步骤1.2中的特征自监督分割网络包括两条路径：下采样路径和上采样路径；其中，下采样路径由一个卷积块、三个密集连接块和三个平均池化层组成，其中池化层使用步长为2逐步缩减特征图的空间分辨率和增加其感受野；
上采样路径包含3个去卷积层和3个密集连接块，去卷积层逐渐上采样特征图直至达到原始尺寸，每个额外的监督层被添加至每个去卷积层后面，总共有3个额外监督层，并且上采样路径中每个去卷积层后面连接有1个注意力模块。


5.如权利要求2所述的基于注意力引导的COVID-19早筛和严重程度评估方法，其特征在于：步骤1.3中肺部区域图像统一重采样至256×256×120分辨率。


6.如权利要求2所述的基于注意力引导的COVID-19早筛和严重程度评估方法，其特征在于：步骤1.4中采用[-1000,400]对灰度值进行截断，只保留[-1000,400]之间的像素值，小于-1000的均设置为-1000，大于400的设置为400，同时进行归一化。


7.如权利要求1所述的基于注意力引导的COVID-19早筛和严重程度评估方法，其特征在于：共享权重的2D网络分为5个网络子块，共包含5个卷积块，3个切片内注意力模块，4个池化层；ConvB(n)表示由n层以Relu作为激活函数的卷积层所构成的卷积块，IntraAM表示切片内注意力模块，Pooling代表步长为2的最大池化，GAP代表全局平均池化层；第一网络子块结构为ConvB(2)+IntraAM+Pooling；第二网络子块结构为ConvB(2)+Pooling；第三网络子块结构为Con...

【专利技术属性】
技术研发人员：杜博，朱其奎，熊宇轩，李亚鹏，
申请(专利权)人：武汉大学，
类型：发明
国别省市：湖北;42