【技术实现步骤摘要】
本专利技术涉及图像处理，特别涉及一种医学视频感兴趣区域选取方法、电子设备和存储介质。
技术介绍
1、肝脏肿块的大小、类型与出现位置通常不定，常规检测手段为超声检测与造影检测相结合。基于肝脏肿块的上述特性，检测过程中可能出现肿块边界表现不清晰导致难以发现肿块或无法确定肿块类型的情况。
2、准确在肝脏造影视频与超声视频中选取感兴趣区域(roi)对肿块进行跟踪、定位，是对肝脏肿块进行精细分割并对患者进行后续诊断、治疗的重要前提。因此如何准确在肝脏造影视频与超声视频中选取感兴趣区域(roi)成为亟待解决的技术问题。
3、需要说明的是，公开于该专利技术
技术介绍
部分的信息仅仅旨在加深对本专利技术一般
技术介绍
的理解，而不应当被视为承认或以任何形式暗示该信息构成已为本领域技术人员所公知的现有技术。
技术实现思路
1、本专利技术的目的在于提供一种医学视频感兴趣区域选取方法、电子设备和存储介质，可以基于双模态下的医学视频准确地进行感兴趣区域的选取以定位目标组织所在位置，有助于减少医生的工作量。
2、为达到上述目的，本专利技术提供一种医学视频感兴趣区域选取方法，包括：
3、获取目标组织的第一模态医学视频和第二模态医学视频，其中，所述第一模态医学视频和所述第二模态医学视频通过同一医学影像设备在同一时间段内采集得到，所述第一模态医学视频为普通医学视频，所述第二模态医学视频为造影医学视频；
4、针对所述第一模态医学视频中的每一帧第一模态医学图像，将该
5、根据所述第一模态医学图像和对应帧的所述第二模态医学图像的信任系数，从所述第一模态医学视频中确定出第一关键帧，并从所述第二模态医学视频中确定出对应的第二关键帧；
6、根据所述第一关键帧与对应的所述第二关键帧的目标组织掩膜，确定所述第一模态医学视频和所述第二模态医学视频所对应的目标组织感兴趣区域。
7、可选的，所述根据所述第一模态医学图像和对应帧的所述第二模态医学图像的信任系数，从所述第一模态医学视频中确定出第一关键帧，并从所述第二模态医学视频中确定出对应的第二关键帧，包括：
8、若所述第一模态医学图像和对应帧的所述第二模态医学图像的信任系数大于预设阈值，则将该帧第一模态医学图像作为第一关键帧，并将该帧第二模态医学图像作为对应的第二关键帧。
9、可选的，所述根据所述第一关键帧与对应的所述第二关键帧的目标组织掩膜，确定所述第一模态医学视频和所述第二模态医学视频所对应的目标组织感兴趣区域，包括：
10、将所有组相对应的第一关键帧与第二关键帧的目标组织掩膜进行整合，以获取整合后的目标组织掩膜；
11、根据整合后的目标组织掩膜中的目标组织区域的最小外接矩形框确定所述第一模态医学视频和所述第二模态医学视频所对应的目标组织感兴趣区域。
12、可选的，所述神经网络模型包括多个并行设置的子神经网络模型，以实现同时对多组相对应的第一模态医学图像与第二模态医学图像进行目标组织的粗分割与信任系数的预测，其中，每一个子神经网络模型均包括特征提取网络、分割网络和信任系数预测网络，所述特征提取网络用于对所输入的所述第一模态医学图像和所述第二模态医学图像进行目标组织特征的提取，以获取目标组织特征提取结果，所述分割网络用于根据所述目标组织特征提取结果获取对应的目标组织掩膜，所述信任系数预测网络用于根据所述目标组织特征提取结果获取对应的信任系数。
13、可选的，所述信任系数预测网络包括压缩层、全连接层和sigmoid激活层，所述压缩层用于对所述特征提取网络所输出的目标组织特征提取结果进行压缩处理，所述全连接层用于对所述压缩层的输出结果进行线性变换，所述sigmoid激活层用于对所述全连接层的输出结果进行sigmoid函数激活操作，以获取对应的信任系数。
14、可选的，所述神经网络模型的训练过程包括：
15、获取包括多例训练样本的样本集，其中，每一例所述训练样本均包括一组相对应的第一模态医学训练图像与第二模态医学训练图像以及对应的目标组织掩膜标签；
16、根据所述样本集对所述神经网络模型进行预训练，以对所述特征提取网络和所述分割网络的网络参数进行调整，直至满足第一预设训练结束条件；
17、根据所述样本集对预训练后的所述神经网络模型进行终训练，并冻结所述特征提取网络和所述分割网络的网络参数，以对所述信任系数预测网络的网络参数进行调整，直至满足第二预设训练结束条件。
18、可选的，所述第一预设训练结束条件为第一损失函数值收敛至第一预设误差值，所述第一损失函数值的计算公式如下所示：
19、
20、其中，n为所述神经网络模型所包括的子神经网络模型的个数，li为第i个子神经网络模型输出的目标组织掩膜与对应的目标组织掩膜标签之间的损失。
21、可选的，所述第二预设训练结束条件为第二损失函数值收敛至第二预设误差值，所述第二损失函数值的计算公式如下所示：
22、
23、其中，n为所述神经网络模型所包括的子神经网络模型的个数，li为第i个子神经网络模型输出的目标组织掩膜与对应的目标组织掩膜标签之间的损失，ci为第i个子神经网络模型输出的信任系数。
24、可选的，所述获取包括多例训练样本的样本集，包括：
25、获取多组双模态医学训练视频，每一组所述双模态医学训练视频均包括第一模态医学训练视频和对应的第二模态医学训练视频；
26、从所述第一模态医学训练视频中选择预设数量的第一模态医学训练图像作为标注帧进行目标组织的标注，以获取对应的目标组织掩膜标签，其中，相邻的两所述标注帧的帧序号之差大于1；
27、针对每一标注帧，将该标注帧、所述第二模态医学训练视频中的对应的第二模态医学训练图像以及其所对应的目标组织掩膜标签组成第一训练样本；
28、针对位于相邻的两所述标注帧之间的每一帧非标注第一模态医学训练图像，根据该帧非标注第一模态医学训练图像的帧序号以及该相邻的两所述标注帧各自所对应的目标组织掩膜标签，获取该帧非标注第一模态医学训练图像的目标组织掩膜标签；
29、针对每一非标注第一模态医学训练图像，将该帧非标注第一模态医学训练图像、所述第二模态医学训练视频中的对应的第二模态医学训练图像以及其所对应的目标组织掩膜标签组成第二训练样本；
30、根据所述第一训练样本和所述第二训练样本，获取所述样本集。
31、可选的，所述根据该帧非标注第一模态医学训练图像的帧序号以及该相邻的两所述标注帧各自所对应的目标组织掩膜本文档来自技高网...
【技术保护点】
1.一种医学视频感兴趣区域选取方法，其特征在于，包括：
2.根据权利要求1所述的医学视频感兴趣区域选取方法，其特征在于，所述根据所述第一模态医学图像和对应帧的所述第二模态医学图像的信任系数，从所述第一模态医学视频中确定出第一关键帧，并从所述第二模态医学视频中确定出对应的第二关键帧，包括：
3.根据权利要求1所述的医学视频感兴趣区域选取方法，其特征在于，所述根据所述第一关键帧与对应的所述第二关键帧的目标组织掩膜，确定所述第一模态医学视频和所述第二模态医学视频所对应的目标组织感兴趣区域，包括：
4.根据权利要求1所述的医学视频感兴趣区域选取方法，其特征在于，所述神经网络模型包括多个并行设置的子神经网络模型，以实现同时对多组相对应的第一模态医学图像与第二模态医学图像进行目标组织的粗分割与信任系数的预测，其中，每一个子神经网络模型均包括特征提取网络、分割网络和信任系数预测网络，所述特征提取网络用于对所输入的所述第一模态医学图像和所述第二模态医学图像进行目标组织特征的提取，以获取目标组织特征提取结果，所述分割网络用于根据所述目标组织特征提取结果获取对应的
5.根据权利要求4所述的医学视频感兴趣区域选取方法，其特征在于，所述信任系数预测网络包括压缩层、全连接层和sigmoid激活层，所述压缩层用于对所述特征提取网络所输出的目标组织特征提取结果进行压缩处理，所述全连接层用于对所述压缩层的输出结果进行线性变换，所述sigmoid激活层用于对所述全连接层的输出结果进行sigmoid函数激活操作，以获取对应的信任系数。
6.根据权利要求4所述的医学视频感兴趣区域选取方法，其特征在于，所述神经网络模型的训练过程包括：
7.根据权利要求6所述的医学视频感兴趣区域选取方法，其特征在于，所述第一预设训练结束条件为第一损失函数值收敛至第一预设误差值，所述第一损失函数值的计算公式如下所示：
8.根据权利要求6所述的医学视频感兴趣区域选取方法，其特征在于，所述第二预设训练结束条件为第二损失函数值收敛至第二预设误差值，所述第二损失函数值的计算公式如下所示：
9.根据权利要求6所述的医学视频感兴趣区域选取方法，其特征在于，所述获取包括多例训练样本的样本集，包括：
10.根据权利要求9所述的医学视频感兴趣区域选取方法，其特征在于，所述根据该帧非标注第一模态医学训练图像的帧序号以及该相邻的两所述标注帧各自所对应的目标组织掩膜标签，获取该帧非标注第一模态医学训练图像的目标组织掩膜标签，包括：
11.一种电子设备，其特征在于，包括处理器和存储器，所述存储器上存储有计算机程序，所述计算机程序被所述处理器执行时，实现权利要求1至10中任一项所述的医学视频感兴趣区域选取方法。
12.一种可读存储介质，其特征在于，所述可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时，实现权利要求1至10中任一项所述的医学视频感兴趣区域选取方法。
...【技术特征摘要】
1.一种医学视频感兴趣区域选取方法，其特征在于，包括：
2.根据权利要求1所述的医学视频感兴趣区域选取方法，其特征在于，所述根据所述第一模态医学图像和对应帧的所述第二模态医学图像的信任系数，从所述第一模态医学视频中确定出第一关键帧，并从所述第二模态医学视频中确定出对应的第二关键帧，包括：
3.根据权利要求1所述的医学视频感兴趣区域选取方法，其特征在于，所述根据所述第一关键帧与对应的所述第二关键帧的目标组织掩膜，确定所述第一模态医学视频和所述第二模态医学视频所对应的目标组织感兴趣区域，包括：
4.根据权利要求1所述的医学视频感兴趣区域选取方法，其特征在于，所述神经网络模型包括多个并行设置的子神经网络模型，以实现同时对多组相对应的第一模态医学图像与第二模态医学图像进行目标组织的粗分割与信任系数的预测，其中，每一个子神经网络模型均包括特征提取网络、分割网络和信任系数预测网络，所述特征提取网络用于对所输入的所述第一模态医学图像和所述第二模态医学图像进行目标组织特征的提取，以获取目标组织特征提取结果，所述分割网络用于根据所述目标组织特征提取结果获取对应的目标组织掩膜，所述信任系数预测网络用于根据所述目标组织特征提取结果获取对应的信任系数。
5.根据权利要求4所述的医学视频感兴趣区域选取方法，其特征在于，所述信任系数预测网络包括压缩层、全连接层和sigmoid激活层，所述压缩层用于对所述特征提取网络所输出的目标组织特征提取结果进行压缩处理，所述全连接层用于对所述压缩层...
【专利技术属性】
技术研发人员：潘晓仪，石思远，崔晨，
申请(专利权)人：上海微创卜算子医疗科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。