一种多尺度智能影像数据分析方法和系统技术方案

本发明专利技术涉及一种多尺度智能影像数据分析方法和系统，所述方法包括：获取第一模态的多层影像数据和第二模态的多层影像数据；确定第一模态的多层影像数据的第一显著图像；基于第一显著图像从第二模态的多层次影像数据中选择第二显著数据；关联第一显著图像和第二显著图像以构成一个或多个显著图像组；将显著图像组输入神经网络模型以进行目标分类。本发明专利技术从源头上为采用卷积神经网络的注意力和多尺度机制识别细微特征提供支撑；在很大程度上提高了模型对于不同大小的目标，尤其是目标尺度跨越大的对象，不同形状的目标的识别准确率。不同形状的目标的识别准确率。不同形状的目标的识别准确率。

【技术实现步骤摘要】
一种多尺度智能影像数据分析方法和系统


[0001]本专利技术属于影像数据分析领域，尤其涉及一种多尺度智能影像数据分析方法和系统。

技术介绍

[0002]人工智能(Artificial Intelligence),英文缩写为AI，也称机器智能。“人工智能”一词最初是在1956年Dartmouth学会上提出的。它是计算机科学、控制论、信息论、神经生理学、心理学、语言学等多种学科互相渗透而发展起来的一门综合性学科。从计算机应用系统的角度出发，人工智能是研究如何制造智能机器或智能系统，来模拟人类智能活动的能力，以延伸人们智能的科学,被认为是第四次工业革命。人工智能已经应用在疾病辅助诊断等许多方面，尤其是人工智能与医学影像的结合，被认为是最有可能先发展起来的领域。
[0003]在对人体组织进行扫描时，对于同一个对象来说，可能目标并不出现在某一个切片中，甚至是一些切片不能反映对象的代表性特征，即使选择最大的目标切片，但是也不能很好的代表目标的特征，毕竟大不是目标的唯一或者是显著的特征，显然这样不利于后续的人工智能分类；虽然很多人工智能分类方法可以用三维数据做后续分类的，但是对多模态图像借助于深层次神经网络模型的分析并不能充分的利用3D这么大量复杂的数据，计算效率很低或者说模型本身的训练都显得不可完成，所以在多模态影像数据分析过程中，如果有效的利用不同模态的2D数据，充分完成对不同尺度，不同表象特征目标的发现和分析是待解决的问题；
[0004]此外，对于各类型目标来说，边缘的划界不清晰是其分类的重要依据，仅仅是给边缘分析来进行目标分析很容易丢失这部分特征；如何充分利用边缘上的颜色和几何特性来为2D数据充分利用提供有效保障，也是待解决的技术问题；
[0005]本专利技术针对病灶的尺寸差异大、形状异质化、代谢异质化高的特点，通过基于和目标关联的多尺度图像分析，发现和目标关联的多模态显著图像，以此提高对不同尺度目标检测的敏感性，从源头上为采用卷积神经网络的注意力和多尺度机制识别细微特征提供数据源上的支撑；在很大程度上提高了模型对于不同大小的目标，尤其是目标尺度跨越大的对象，不同形状的目标的识别准确率。

技术实现思路

[0006]为了解决现有技术中的上述问题，本专利技术提出了一种多尺度智能影像数据分析方法和系统，所述方法包含：
[0007]步骤S1：获取第一模态的多层影像数据和第二模态的多层影像数据；
[0008]步骤S2:确定第一模态的多层影像数据的第一显著图像；所述第一显著图像为一个或多个，每个第一显著图像对于对象的一个或多个目标来说是显著的；
[0009]步骤S3:基于第一显著图像从第二模态的多层次影像数据中选择第二显著数据；关联第一显著图像和第二显著图像以构成一个或多个显著图像组；
[0010]步骤S4：将显著图像组输入神经网络模型以进行目标分类。
[0011]进一步的，所述第一显著图像为一个或者多个。
[0012]进一步的，所述神经网络模型为基于U
‑
net的双输入通道模型。
[0013]进一步的，所述神经网络模型为双通道神经网络模型，其中每个通道用于处理一个模态的显著图像。
[0014]进一步的，所述步骤S2具体包括如下步骤：
[0015]步骤S21:对多层影像数据作预处理；
[0016]步骤S22：对第一模态的多层图像数据中的每个多层图像数据分别作边缘检测以形成和目标关联的多层图像数据；
[0017]步骤S23：针对每个多层图像数据，依次判断图像数据相对于其中包含的每个目标的显著度；所述显著度是在基于目标边缘的多尺度分析的基础上得到的，能够反映目标边缘位置处颜色和形状特点及其变化情况的指标性特征；
[0018]步骤S24：将相对于同一个目标来说显著度最高的图像数据作为和所述目标对应的第一显著图像。
[0019]一种多尺度智能影像数据分析系统，所述系统包含：
[0020]获取模块：获取第一模态的多层影像数据和第二模态的多层影像数据；
[0021]第一显著图像确定模块:确定第一模态的多层影像数据的第一显著图像；所述第一显著图像为一个或多个，每个第一显著图像对于对象的一个或多个目标来说是显著的；
[0022]第一显著图像确定模块:基于第一显著图像从第二模态的多层次影像数据中选择第二显著数据；关联第一显著图像和第二显著图像以构成一个或多个显著图像组；
[0023]分类模块：将显著图像组输入神经网络模型以进行目标分类。
[0024]进一步的，所述神经网络模型为双通道神经网络模型，其中每个通道用于处理一个模态的显著图像。
[0025]一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行所述的多尺度智能影像数据分析方法。
[0026]一种计算机可读存储介质，包括程序，当其在计算机上运行时，使得计算机执行所述的多尺度智能影像数据分析方法。
[0027]一种执行设备，包括处理器，所述处理器和存储器耦合，所述存储器存储有程序指令，当所述存储器存储的程序指令被所述处理器执行时实现所述的多尺度智能影像数据分析方法。
[0028]本专利技术的有益效果包括：
[0029](1)基于和目标关联的多尺度图像分析，发现和目标关联的多模态显著图像，以此提高对不同尺度目标检测的敏感性，从源头上为采用卷积神经网络的注意力和多尺度机制识别细微特征提供数据源上的支撑；(2)通过几何显著性和颜色显著性，多尺度识别和目标尺寸相关的目标显著性特点，充分的利用了目标本身所在展现的同一幅图像中的变化情况，还充分利用图像的层次信息来扩展几何特征的表现；避免了仅仅通过边缘分析而丢失的大量复杂的目标特性，在图像数据提供上为分类准确性的提高提供了更好的基础；(3)通过基于目标的显著性图像数据提供，在2D图像数据的基础上，充分完成对不同尺度，不同表象特征目标的发现和分析，相对于3D分析大大的降低了模型的复杂性；
【附图说明】
[0030]此处所说明的附图是用来提供对本专利技术的进一步理解，构成本申请的一部分，但并不构成对本专利技术的不当限定，在附图中：
[0031]图1为本专利技术的多尺度智能影像数据分析方法示意图。
【具体实施方式】
[0032]下面将结合附图以及具体实施例来详细说明本专利技术，其中的示意性实施例以及说明仅用来解释本专利技术，但并不作为对本专利技术的限定通过
[0033]如附图1所示，本专利技术提出一种多尺度智能影像数据分析方法，所述方法包括如下步骤：
[0034]步骤S1：获取第一模态的多层影像数据和第二模态的多层影像数据；
[0035]优选的：第一模态为PET模态，第二模态为CT模态；
[0036]优选的：通过2D卷积神经网络对对象的影像数据进行处理得到对象图像数据；所述对象是肝脏、肺部、心脏等待分析对象；目标为感兴趣区域，例如：结节、病灶等；
[0037]优选的：所述第一模态和第二模态均为64层；分辨率本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多尺度智能影像数据分析方法，其特征在于，包括：步骤S1：获取第一模态的多层影像数据和第二模态的多层影像数据；步骤S2:确定第一模态的多层影像数据的第一显著图像；所述第一显著图像为一个或多个，每个第一显著图像对于对象的一个或多个目标来说是显著的；步骤S3:基于第一显著图像从第二模态的多层次影像数据中选择第二显著数据；关联第一显著图像和第二显著图像以构成一个或多个显著图像组；步骤S4：将显著图像组输入神经网络模型以进行目标分类。2.根据权利要求1所述的多尺度智能影像数据分析方法，其特征在于，所述第一显著图像为一个或者多个。3.根据权利要求2所述的多尺度智能影像数据分析方法，其特征在于，所述神经网络模型为基于U
‑
net的双输入通道模型。4.根据权利要求2所述的多尺度智能影像数据分析方法，其特征在于，所述神经网络模型为双通道神经网络模型，其中每个通道用于处理一个模态的显著图像。5.根据权利要求4所述的多尺度智能影像数据分析方法，其特征在于，所述步骤S2具体包括如下步骤：步骤S21:对多层影像数据作预处理；步骤S22：对第一模态的多层图像数据中的每个多层图像数据分别作边缘检测以形成和目标关联的多层图像数据；步骤S23：针对每个多层图像数据，依次判断图像数据相对于其中包含的每个目标的显著度；所述显著度是在基于目标边缘的多尺度分析的基础上得到的，能够反映目标边缘位置处颜色和形状特点及其变化情况的指标性特征；步骤S24：...

【专利技术属性】
技术研发人员：李林法，谢玮宜，庞伟强，易贺庆，何林阳，龙斌，叶挺，宋金龄，王运，靳水，施伟军，任晋忠，吴红霞，
申请(专利权)人：浙江省肿瘤医院，
类型：发明
国别省市：