一种基于3D可变卷积和时序特征融合的医学征象检测方法、系统、终端及存储介质技术方案

本申请所提供的一种基于3D可变卷积和时序特征融合的医学征象检测方法、系统、终端及存储介质，所述方法包括：获取医疗影像的3D输入数据或伪3D输入数据；构建可变卷积网络模型，将标准医学征象检出数据输入至可变卷积神经网络进行训练，得到训练好的可变卷积神经网络模型；将所述医疗影像的3D输入数据或伪3D输入数据输入至训练好的可变卷积神经网络模型；将可变卷积神经网络模型输出的预测数据使用时序融合进行建模，形成基于不同尺度的融合时序特征的预测数据；将不同分辨率的融合时序特征的预测数据进行多尺度的金字塔渐进融合，得到医学征象的候选框；本申请解决了现有技术中3D网络的计算效率问题和伪3D的多层面相关信息丢失未充分利用的问题。

【技术实现步骤摘要】
一种基于3D可变卷积和时序特征融合的医学征象检测方法、系统、终端及存储介质
本申请医学影像和计算机辅助
，尤其是涉及一种基于3D可变卷积和时序特征融合的医学征象检测方法、系统、终端及存储介质。
技术介绍
医学征象的检出在疾病的诊断领域是一个很重要的问题。传统的疑似恶性区域的确诊需要把病人的组织从病灶中切割出来进行活检。但是该过程对切片的位置和角度都有着很高的要求，并且对患者的创伤程度也需要进行考量。随着许多医学成像技术的发展以及医疗设备的提高，为解决这个难题提供了一个契机。过去二十年来，计算机视觉和人工智能发展迅猛，已经有不少计算机辅助诊断系统在帮助医生做辅助诊断。而胸部CT由于具有较高的空间分辨率、扫描时间快、图像清晰以及可对病变完成三维立体重建等优点，受到患者及医生极大的肯定。对于CT图像，与一般意义上的图像处理比较，医学图像处理有其特殊性和不同的侧重点。对于自然图像，一般的深度学习技术都是基于2D的图像来解决相关问题。但是对于医学图像，不同层面实质上是同一个医学征象的不同切片，之间的信息具有高度的相关性和互补性，如果仅仅只在单个层面上进行图像的检出，图像的大部分信息并没有有效利用，不但造成了信息的浪费，并且会导致最终诊断结果出现偏差。随着深度学习技术的发展，现在已经有一系列的方法可以进行精准的3D目标检测。现有的医学征象检测通常可以分成两种常用的技术，第一种是直接对3D的输入以patch的形式进行切割，然后输入到3D网络当中进行判断，但是这种方式会对计算资源有较高的要求。第二种方式通常是将连续的多层拼接而成的伪3D输入到一个2D网络当中，该方法是在网络的早期对输入的层面进行融合，但是该方法由于同时对空间2D层面的x、y轴和时序不同层面的z轴同时建模，由于CT图像在重建的时候x、y轴的分辨率等方式和z轴不同，因此需要对两种维度的数据进行分别建模，且对于空间维度的x、y轴和时序维度的z轴应用相同的权重参数，使得网络难以学习到有效的不同分辨率之间的差异。此外，伪3D结构在输入之前对各个层面的权重进行学习，但是该权重信息只存在于网络的输入层面，在网络的后期就会造成伪3D的多层面相关信息(如高维序列数据中特有的特征模式)在后期丢失或不能充分利用。因此，亟需一种基于3D可变卷积和时序特征融合的医学征象检测方法、系统、终端及存储介质，以解决现有的3D医学征象检测中3D网络的计算效率问题和伪3D的多层面相关信息丢失未充分利用的问题。
技术实现思路
针对现有技术的不足，本申请提供一种基于3D可变卷积和时序特征融合的医学征象检测方法、系统、终端及存储介质，解决了现有技术中3D网络的计算效率问题和伪3D的多层面相关信息丢失未充分利用等问题。为解决上述技术问题，第一方面，本申请提供一种基于3D可变卷积和时序特征融合的医学征象检测方法，包括：获取医疗影像的3D输入数据或多个连续2D层面拼接而成的伪3D输入数据；构建可变卷积网络模型，将标准医学征象检出数据输入至可变卷积神经网络进行训练，得到训练好的可变卷积神经网络模型；将所述医疗影像的3D输入数据或多个连续2D层面拼接而成的伪3D输入数据输入至训练好的可变卷积神经网络模型；将可变卷积神经网络模型输出的预测数据使用时序融合进行建模，形成基于不同尺度的融合时序特征的预测数据；将不同分辨率的融合时序特征的预测数据进行多尺度的金字塔渐进融合，得到医学征象的候选框。可选的，所述获取医疗影像的3D输入数据或多个连续2D层面拼接而成的伪3D输入数据，包括：将医疗影像进行预处理得到3D输入数据；将医学图像扫描切分为2D层面图像，将多个连续的2D层面图像拼接得到伪3D输入数据。可选的，所述将所述医疗影像的3D输入数据或多个连续2D层面拼接而成的伪3D输入数据输入至训练好的可变卷积神经网络模型，包括：构建可变卷积网络模型；将标准医学征象检出数据输入至可变卷积神经网络进行训练；通过平行标准卷积神经网络计算得到偏移量参数，通过梯度反向传播将可变卷积神经网络进行端到端的学习得到训练好的可变卷积神经网络模型。可选的，所述将可变卷积神经网络模型输出的预测数据使用时序融合进行建模，形成基于不同尺度的融合时序特征的预测数据，包括：获取具有时序的预测数据的图像帧序列；从所述图像帧序列提取医学征象的特征，得到所述医学征象特征图；按所述时序融合各医学征象特征图得到基于不同尺度的融合时序特征的医学征象预测数据。可选的，所述将不同分辨率的融合时序特征的预测数据进行多尺度的金字塔渐进融合，得到医学征象的候选框，包括：通过将高层特征上采样，经过1*1的卷积核进行特征的相加，得到医学征象的候选框。可选的，所述方法还包括：根据所述医学征象候选框的类别设定医学征象候选框对应的阈值，将检测分数超过阈值的候选框输出，得到医学征象检出结果。可选的，所述方法还包括：将医学征象的候选框大小及输出的预测数据与对应的标准医学征象检出数据进行比对，计算得出医学征象的预测数据和实际数据之间的差异值；通过所述差异值对可变卷积神经网络模型进行损失的回传，优化可变卷积神经网络网络模型。第二方面，本申请还提供一种基于3D可变卷积和时序特征融合的医学征象检测系统，包括：数据获取单元，配置用于获取医疗影像的3D输入数据或多个连续2D层面拼接而成的伪3D输入数据；模型构建单元，配置用于构建可变卷积网络模型，将标准医学征象检出数据输入至可变卷积神经网络进行训练，得到训练好的可变卷积神经网络模型；数据输入单元，配置用于将所述医疗影像的3D输入数据或多个连续2D层面拼接而成的伪3D输入数据输入至训练好的可变卷积神经网络模型；时序特征融合单元，配置用于将可变卷积神经网络模型输出的预测数据使用时序融合进行建模，形成基于不同尺度的融合时序特征的预测数据；金字塔渐进融合单元，配置用于将不同分辨率的融合时序特征的预测数据进行多尺度的金字塔渐进融合，得到医学征象的候选框。可选的，所述数据获取单元具体用于：将医疗影像进行预处理得到3D输入数据；将医学图像扫描切分为2D层面图像，将多个连续的2D层面图像拼接得到伪3D输入数据。可选的，所述模型构建单元具体用于：构建可变卷积网络模型；将标准医学征象检出数据输入至可变卷积神经网络进行训练；通过平行标准卷积神经网络计算得到偏移量参数，通过梯度反向传播将可变卷积神经网络进行端到端的学习得到训练好的可变卷积神经网络模型。可选的，所述时序特征融合单元具体用于：获取具有时序的预测数据的图像帧序列；从所述图像帧序列提取医学征象的特征，得到所述医学征象特征图；按所述时序融合各医学征象特征图得到基于不同尺度的融合时序特征的医学征象预测数据。可选的，所述金字塔渐进融合单元具体用于：通过将高层特征上采样，本文档来自技高网...

【技术保护点】
1.一种基于3D可变卷积和时序特征融合的医学征象检测方法，其特征在于，包括：/n获取医疗影像的3D输入数据或多个连续2D层面拼接而成的伪3D输入数据；/n构建可变卷积网络模型，将标准医学征象检出数据输入至可变卷积神经网络进行训练，得到训练好的可变卷积神经网络模型；/n将所述医疗影像的3D输入数据或多个连续2D层面拼接而成的伪3D输入数据输入至训练好的可变卷积神经网络模型；/n将可变卷积神经网络模型输出的预测数据使用时序融合进行建模，形成基于不同尺度的融合时序特征的预测数据；/n将不同分辨率的融合时序特征的预测数据进行多尺度的金字塔渐进融合，得到医学征象的候选框。/n

【技术特征摘要】
1.一种基于3D可变卷积和时序特征融合的医学征象检测方法，其特征在于，包括：
获取医疗影像的3D输入数据或多个连续2D层面拼接而成的伪3D输入数据；
构建可变卷积网络模型，将标准医学征象检出数据输入至可变卷积神经网络进行训练，得到训练好的可变卷积神经网络模型；
将所述医疗影像的3D输入数据或多个连续2D层面拼接而成的伪3D输入数据输入至训练好的可变卷积神经网络模型；
将可变卷积神经网络模型输出的预测数据使用时序融合进行建模，形成基于不同尺度的融合时序特征的预测数据；
将不同分辨率的融合时序特征的预测数据进行多尺度的金字塔渐进融合，得到医学征象的候选框。


2.根据权利要求1所述的基于3D可变卷积和时序特征融合的医学征象检测方法，其特征在于，所述获取医疗影像的3D输入数据或多个连续2D层面拼接而成的伪3D输入数据，包括：
将医疗影像进行预处理得到3D输入数据；
将医学图像扫描切分为2D层面图像，将多个连续的2D层面图像拼接得到伪3D输入数据。


3.根据权利要求1所述的基于3D可变卷积和时序特征融合的医学征象检测方法，其特征在于，所述将所述医疗影像的3D输入数据或多个连续2D层面拼接而成的伪3D输入数据输入至训练好的可变卷积神经网络模型，包括：
构建可变卷积网络模型；
将标准医学征象检出数据输入至可变卷积神经网络进行训练；
通过平行标准卷积神经网络计算得到偏移量参数，通过梯度反向传播将可变卷积神经网络进行端到端的学习得到训练好的可变卷积神经网络模型。


4.根据权利要求1所述的基于3D可变卷积和时序特征融合的医学征象检测方法，其特征在于，所述将可变卷积神经网络模型输出的预测数据使用时序融合进行建模，形成基于不同尺度的融合时序特征的预测数据，包括：
获取具有时序的预测数据的图像帧序列；
从所述图像帧序列提取医学征象的特征，得到所述医学征象特征图；
按所述时序融合各医学征象特征图得到基于不同尺度的融合时序特征的医学征象预测数据。


5.根据权利要求1所述的基于3D可变卷积和时序特征融合...

【专利技术属性】
技术研发人员：马杰超，张树，俞益洲，
申请(专利权)人：杭州深睿博联科技有限公司，北京深睿博联科技有限责任公司，
类型：发明
国别省市：浙江;33