基于乳腺超声图像增强的病灶分类方法、装置及存储介质制造方法及图纸

本发明专利技术涉及图像处理技术领域，涉及一种基于乳腺超声图像增强的病灶分类方法、装置及存储介质。方法包括：获取样本乳腺超声图像，样本乳腺超声图像中包括标准乳腺超声图像以及待增强图像；将待增强图像输入生成器中，确定得到增强后的乳腺超声图像；提取待增强图像、增强后的乳腺超声图像和标准乳腺超声图像中的乳腺特征；根据判别器确定标准乳腺超声图像以及待增强图像的判别结果，得到d_reals和d_fakes；根据提取得到的特征，确定图像内容评价参数和图像质量评价参数；根据d_reals和d_fakes确定损失因子；根据图像内容评价参数、图像质量评价参数和损失因子训练生成器和判别器，得到训练后的生成器和训练后的判别器。

【技术实现步骤摘要】
基于乳腺超声图像增强的病灶分类方法、装置及存储介质
本专利技术涉及图像处理
，具体涉及一种基于乳腺超声图像增强的病灶分类方法、装置及存储介质。
技术介绍
超声图像往往来自于众多医院，各医院的打图机器，打图医生习惯均不相同，因此造成了超声图像质量参差不齐，图像清晰度，噪声颗粒大小，增益，动态范围，灰阶映射很难统一，这会给后续的研究引入很多不必要的由图像质量造成的偏差。因此如何统一超声图像的质量，使其看上去尽量一致成为了所要解决的主要问题。
技术实现思路
有鉴于此，本专利技术实施例提供了一种基于乳腺超声图像增强的病灶分类方法、装置及存储介质，以解决现有技术中的问题。根据第一方面，本专利技术实施例提供了一种基于乳腺超声图像增强的病灶分类方法，所述方法包括：获取样本乳腺超声图像，所述样本乳腺超声图像中包括标准乳腺超声图像以及待增强图像；将所述待增强图像输入生成器中，通过所述生成器中的卷积层、正则化层和激活层确定得到增强后的乳腺超声图像；所述生成器包括编码器和解码器，所述编码器和所述解码器包括卷积层、正则化层和激活层；通过VGG特征提取网络提取所述待增强图像、增强后的乳腺超声图像和所述标准乳腺超声图像中的乳腺特征，得到vgg_inputs、vgg_fakes和vgg_reals；根据判别器确定所述标准乳腺超声图像以及所述待增强图像的判别结果，得到d_reals和d_fakes；根据所述vgg_inputs和所述vgg_fakes，确定图像内容评价参数；<br>根据所述vgg_fakes、所述vgg_reals，确定图像质量评价参数；根据所述d_reals和d_fakes确定损失因子；根据所述图像内容评价参数、图像质量评价参数和所述损失因子训练所述生成器和所述判别器，得到训练后的所述生成器和训练后的所述判别器，训练后的所述生成器用于对目标乳腺超声图像进行图像增强，增强后的目标乳腺超声图像用于在输入至分类深度神经网络之后得到对应的病灶性质分类。可选的，所述将所述待增强图像输入生成器中，通过所述生成器中的卷积层、正则化层和激活层确定得到增强后的乳腺超声图像之前，所述方法还包括：将所述待增强图像输入至条件生成网络，通过所述条件生成网络生成基于不同条件的扩展图像；所述不同条件包括：超声设备的不同品牌、超声设备的不同机型、被检对象的不同年龄、被检对象的不同性别以及被检对象的不同病灶类型；将所述扩展图像增加至所述待增强图像。可选的，所述根据所述vgg_inputs和所述vgg_fakes，确定图像内容评价参数，包括：所述图像内容评价参数为：Σ|vgg_inputs-vgg_fakes|。可选的，所述根据所述vgg_fakes、所述vgg_reals，确定图像质量评价参数，包括：所述图像质量评价参数为：L2(meanh,w(vgg_fakes),meanh,w(vgg_reals))+L2(stdh,w(vgg_fakes),stdh,w(vgg_reals))；其中，L2为均方误差，mean为求均值，std为求标准差，VGG特征提取网络提取到的特征图的维度为[n,c,h,w]，对特征图的h,w维求平均与标准差。可选的，所述根据所述d_reals和d_fakes确定损失因子，包括：所述损失因子包括第一损失因子和第二损失因子，所述第一损失因子为：L2(d_reals,1)+L2(d_fakes,0)，所述第二损失因子为L2(d_fakes,1)；其中，L2为均方误差。可选的，所述根据所述图像内容评价参数、图像质量评价参数和所述损失因子训练所述生成器，包括：根据所述图像内容评价参数、图像质量评价参数和所述第二损失因子训练所述生成器。可选的，所述所述根据所述图像内容评价参数、图像质量评价参数和所述损失因子训练所述判别器，包括：根据所述第一损失因子训练所述判别器。第二方面，提供了一种基于乳腺超声图像增强的病灶分类方法，所述方法包括：获取目标乳腺超声图像；将所述目标乳腺超声图像输入至训练后的生成器中；获取训练后的所述生成器输出的增强后的目标乳腺超声图像；对增强后的所述目标乳腺超声图像进行cutout数据增强；将增强后的目标乳腺超声图像输入至分类深度神经网络，得到所述目标乳腺超声图像中的病灶性质分类。第三方面，提供了一种乳腺超声图像的图像增强装置，所述装置包括：存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器中存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行以实现如第一方面或第二方面所述的基于乳腺超声图像增强的病灶分类方法。第四方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行以实现如第一方面或第二方面所述的基于乳腺超声图像增强的病灶分类方法。通过上述方案训练得到用于对乳腺超声图像进行图像增强的生成器，使得实际应用于不论采集乳腺超声图像的超声设备为何种机型或者扫查医生的经验如何，在将采集得到的乳腺超声图像输入至该生成器之后即可得到与标准乳腺超声图像质量一致的增强后的乳腺超声图像，解决了现有技术中超声图像的质量不统一的问题，达到了可以减少乳腺超声图像之间的差异，为后续基于乳腺超声图像的其他研究提供基础的效果。附图说明为了更清楚地说明本专利技术具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1是根据本专利技术实施例的基于乳腺超声图像增强的病灶分类方法的流程图；图2是根据本专利技术实施例中基于条件生成网络生成的扩展图像的示意图；图3是根据本专利技术实施例的基于乳腺超声图像增强的病灶分类方法的流程框图；图4是根据本专利技术实施例的基于乳腺超声图像增强的病灶分类方法的流程图；图5是本专利技术实施例提供的超声设备的硬件结构示意图。具体实施方式为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。请参考图1，其示出了本申请一个实施例提供的基于乳腺超声图像增强的病灶分类方法的方法流程图，如图1所示，所述方法包括：步骤101，获取样本乳腺超声图像，所述样本乳腺超声图像中包括标准乳腺超声图像以及待增强图像；标准乳腺超声图像是指选定机型的超声设备采集，并排除亮度、增益和噪声超出预设标准之后的乳腺超声图像。待增强图像是指其他机型的本文档来自技高网...

【技术保护点】
1.一种基于乳腺超声图像增强的病灶分类方法，其特征在于，所述方法包括：/n获取样本乳腺超声图像，所述样本乳腺超声图像中包括标准乳腺超声图像以及待增强图像；/n将所述待增强图像输入生成器中，通过所述生成器中的卷积层、正则化层和激活层确定得到增强后的乳腺超声图像；所述生成器包括编码器和解码器，所述编码器和所述解码器包括卷积层、正则化层和激活层；/n通过VGG特征提取网络提取所述待增强图像、增强后的乳腺超声图像和所述标准乳腺超声图像中的乳腺特征，得到vgg_inputs、vgg_fakes和vgg_reals；/n根据判别器确定所述标准乳腺超声图像以及所述待增强图像的判别结果，得到d_reals和d_fakes；/n根据所述vgg_inputs和所述vgg_fakes，确定图像内容评价参数；/n根据所述vgg_fakes、所述vgg_reals，确定图像质量评价参数；/n根据所述d_reals和d_fakes确定损失因子；/n根据所述图像内容评价参数、图像质量评价参数和所述损失因子训练所述生成器和所述判别器，得到训练后的所述生成器和训练后的所述判别器，训练后的所述生成器用于对目标乳腺超声图像进行图像增强，增强后的目标乳腺超声图像用于在输入至分类深度神经网络之后得到对应的病灶性质分类。/n...

【技术特征摘要】
20201231 CN 20201164505791.一种基于乳腺超声图像增强的病灶分类方法，其特征在于，所述方法包括：
获取样本乳腺超声图像，所述样本乳腺超声图像中包括标准乳腺超声图像以及待增强图像；
将所述待增强图像输入生成器中，通过所述生成器中的卷积层、正则化层和激活层确定得到增强后的乳腺超声图像；所述生成器包括编码器和解码器，所述编码器和所述解码器包括卷积层、正则化层和激活层；
通过VGG特征提取网络提取所述待增强图像、增强后的乳腺超声图像和所述标准乳腺超声图像中的乳腺特征，得到vgg_inputs、vgg_fakes和vgg_reals；
根据判别器确定所述标准乳腺超声图像以及所述待增强图像的判别结果，得到d_reals和d_fakes；
根据所述vgg_inputs和所述vgg_fakes，确定图像内容评价参数；
根据所述vgg_fakes、所述vgg_reals，确定图像质量评价参数；
根据所述d_reals和d_fakes确定损失因子；
根据所述图像内容评价参数、图像质量评价参数和所述损失因子训练所述生成器和所述判别器，得到训练后的所述生成器和训练后的所述判别器，训练后的所述生成器用于对目标乳腺超声图像进行图像增强，增强后的目标乳腺超声图像用于在输入至分类深度神经网络之后得到对应的病灶性质分类。


2.根据权利要求1所述的方法，其特征在于，所述将所述待增强图像输入生成器中，通过所述生成器中的卷积层、正则化层和激活层确定得到增强后的乳腺超声图像之前，所述方法还包括：
将所述待增强图像输入至条件生成网络，通过所述条件生成网络生成基于不同条件的扩展图像；所述不同条件包括：超声设备的不同品牌、超声设备的不同机型、被检对象的不同年龄、被检对象的不同性别以及被检对象的不同病灶类型中的至少一种；
将所述扩展图像增加至所述待增强图像。


3.根据权利要求1所述的方法，其特征在于，所述根据所述vgg_inputs和所述vgg_fakes，确定图像内容评价参数，包括：
所述图像内容评价参数为：Σ|vgg_inputs-vgg_fakes|。


4.根据权利要求1所述的方法，其特征在于，所述根据所述vgg_fakes、所述vgg_rea...

【专利技术属性】
技术研发人员：甘从贵，过易，赵明昌，
申请(专利权)人：无锡祥生医疗科技股份有限公司，
类型：发明
国别省市：江苏;32