一种图像的超分辨率模型的构建方法及装置制造方法及图纸

本发明专利技术公开了一种图像的超分辨率模型的构建方法及装置，包括：获取不同分辨率的原始图像；计算每个原始图像的转换系数；依据所述转换系数对相应的原始图像进行采样处理，得到低分辨率图像样本集；将所述低分辨率图像样本集中的图像输入到三维卷积神经网络中，对三维卷积神经网络进行训练，得到图像的超分辨率模型。这样，通过由不同分辨率的原始图像生成的低分辨率图像的样本集，对三维卷积神经网络进行训练，得到图像的超分辨率模型，这样，实现了通过单一模型对多分辨率图像重建高分辨率图像的目的。并且，设计的三维卷积神经网络包含多个卷积层，但是多个卷积层之间不包含池化层，这样提高了重构后的高分辨率图像的细节分辨能力。

Method and device for constructing super resolution model of image

The invention discloses a method and device for constructing a super-resolution model of an image, including: obtaining the original image of different resolution, calculating the conversion coefficient of each original image, sampling the corresponding original image according to the conversion coefficient, and obtaining the set of low resolution image, and the low resolution map. The image of the sample set is input into the three-dimensional convolution neural network, and the three-dimensional convolution neural network is trained to obtain the super-resolution model of the image. In this way, the three-dimensional convolution neural network is trained by the sample set of the low resolution image generated by the original image of different resolution, and the super-resolution model of the image is obtained. In this way, a single model is used to reconstruct the high resolution image of the multi-resolution image. Moreover, the designed three-dimensional convolution neural network contains multiple coils, but there is no pool layer between the multiple coils, which improves the detail resolution of the reconstructed high resolution image.

【技术实现步骤摘要】
一种图像的超分辨率模型的构建方法及装置
本专利技术涉及图像领域，尤其涉及一种图像的超分辨率模型的构建方法及装置。
技术介绍
图像超分辨率模型为用来重建超分辨率图像的模型，其中，超分辨率图像重建为利用一幅或者多幅低分辨率图像获取一幅高分辨率图像。高分辨率图像具有较高的像素密度，可以提供更多的图像细节，在医学领域，对医生的诊断有很好的价值。传统的超分辨率图像的构建，主要包括三类方法：基于插值的方法、基于重建的方法以及基于学习的方法。基于插值的的方法是通过相邻的像素信息恢复高分辨率的图像，但是未考虑额外的高频信息；基于重建的方法是利用高分辨目标先验知识构建模型，但是计算过程复杂；基于学习的方法，具有较好的适应性，是目前效果较好的重建方法。然而，由于不同的影像设备得到图像的分辨率不同，目前基于学习的方法，针对于不同的分辨率图像，需要采用不同的图像超分辨率模型才能重建出高分辨率图像，或者说，无法实现一个模型对不同分辨率重建高分辨率图像。
技术实现思路
有鉴于此，本专利技术实施例公开了一种图像的超分辨率模型的构建方法及装置，通过本专利技术实施例的方法，实现了通过单一模型对多分辨率图像重建高分辨率图像的目的。本专利技术实施例公开了一种图像的超分辨率模型的构建方法，该方法包括：获取不同分辨率的原始图像；计算每个原始图像的转换系数；依据所述转换系数对相应的原始图像进行采样处理，得到低分辨率图像样本集；将所述低分辨率图像样本集中的图像输入到三维卷积神经网络中，对三维卷积神经网络进行训练，得到图像的超分辨率模型。可选的，所述对所述三维卷积神经网络进行训练，包括：在所述三维卷积神经网络模型的第一卷积层采用预设的第一卷积核对所述低分辨率图像进行卷积处理，并采用预设的激活函数对所述低分辨率图像进行非线性映射，得到第一级特征图；在第一层之后的多层，分别采用第二卷积核对所述第一级特征图进行卷积处理，以及采用预设的激活函数对所述低分辨率图像进行非线性映射，得到第一目标级特征图；其中，后一层的卷积核的数量大于前一层的卷积核的数量；所述第二卷积核小于第一卷积核；对所述第一目标级特征图进行降维处理，得到第二目标级特征图；所述第二目标级特征图的维度与所述第一级特征图的维度相同；将所述第一级特征图和所述第二目标级特征图相加，并进行降维处理，得到目标特征图；计算所述目标特征图和原始的高分辨率图像的均方差损失，并依据所述均方差损失调整相关参数；当所述均方差损失收敛稳定后，得到三维卷积神经网络的图像超分辨率模型。可选的，所述计算每个原始图像的转换系数，包括：针对于任意一个原始图像，确定所述原始图像的初始分辨率和目标分辨率；计算所述原始图像的初始分辨率和所述目标分辨率的分辨率的比值，得到所述原始率图像的转换系数。可选的，所述依据所述转换系数对相应的原始图像进行采样处理，包括：基于转换系数对所述原始的高分辨率图像进行下采样；基于相应的转换系数对下采样后的高分辨率图像进行上采样。可选的，还包括：确定所述低分辨率图像的感兴趣区域；依据预设窗口尺寸将所述感兴趣区域划分为多个图像块；判断每个图像块中预设目标所占的比例；若所述比例大于预设的阈值，保留所述图像块；若所述比例小于预设的阈值，丢弃所述图像块。本专利技术实施例还公开了一种图像的超分辨率模型的构建装置，该装置包括：获取单元，用于获取不同分辨率的原始图像；计算单元，用于计算每个原始图像的转换系数；采样单元，用于依据所述转换系数对相应的原始图像进行采样处理，得到低分辨率图像样本集；训练单元，用于将所述低分辨率图像样本集中的图像输入到三维卷积神经网络中，对三维卷积神经网络进行训练，得到图像的超分辨率模型。可选的，所述训练单元，包括：第一卷积处理子单元，用于在所述三维卷积神经网络模型的第一卷积层采用预设的第一卷积核对所述低分辨率图像进行卷积处理，并采用预设的激活函数对所述低分辨率图像进行非线性映射，得到第一级特征图；第二卷积处理子单元，用于在第一层之后的多层，分别采用第二卷积核对所述第一级特征图进行卷积处理，以及采用预设的激活函数对所述低分辨率图像进行非线性映射，得到第一目标级特征图；其中，后一层的卷积核的数量大于前一层的卷积核的数量；所述第二卷积核小于第一卷积核；降维处理子单元，用于对所述第一目标级特征图进行降维处理，得到第二目标级特征图；所述第二目标级特征图的维度与所述第一级特征图的维度相同；第一计算子单元，用于将所述第一级特征图和所述第二目标级特征图相加，并进行降维处理，得到目标特征图；第二计算子单元，用于计算所述目标特征图和原始的高分辨率图像的均方差损失，并依据所述均方差损失调整相关参数；确定子单元，用于当所述均方差损失收敛稳定后，得到三维卷积神经网络的图像超分辨率模型。可选的，所述计算单元，包括：针对于任意一个原始图像，确定所述原始图像的初始分辨率和目标分辨率；计算所述原始图像的初始分辨率和所述目标分辨率的分辨率的比值，得到所述原始率图像的转换系数。可选的，所述采样单元，包括：下采样子单元，用于基于转换系数对所述原始的高分辨率图像进行下采样；上采样子单元，用于基于相应的转换系数对下采样后的高分辨率图像进行上采样。可选的，还包括：分割子单元，用于确定所述低分辨率图像的感兴趣区域；划分子单元，用于依据预设窗口尺寸将所述感兴趣区域划分为多个图像块；判断子单元，用于判断每个图像块中预设目标所占的比例；保留子单元，用于若所述比例大于预设的阈值，保留所述图像块；丢弃子单元，用于若所述比例小于预设的阈值，丢弃所述图像块。本专利技术实施例公开了一种图像的超分辨率模型的构建方法及装置，包括：获取不同分辨率的原始图像；计算每个原始图像的转换系数；依据所述转换系数对相应的原始图像进行采样处理，得到低分辨率图像样本集；将所述低分辨率图像样本集中的图像输入到三维卷积神经网络中，对三维卷积神经网络进行训练，得到图像的超分辨率模型。这样，通过由不同分辨率的原始图像生成的低分辨率图像的样本集，对三维卷积神经网络进行训练，得到图像的超分辨率模型，这样，实现了通过单一模型对多分辨率图像重建高分辨率图像的目的。并且，设计的三维卷积神经网络包含多个卷积层，但是多个卷积层之间不包含池化层，这样提高了重构后的高分辨率图像的分辨率。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。图1示出了一种图像超分辨率模型的构建方法的流程示意图；图2示出了本专利技术实施例提供的一种对三维卷积神经网络训练的流程示意图；图3示出了本专利技术实施例提供的一种图像超分辨率模型的构建装置的结构示意图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。参考图1，示出了本专利技术实施例提供的一种图像超分辨率模型的构建方法的流程示意图，在本实施例中，该方法包括：S101:获取不本文档来自技高网...

【技术保护点】
1.一种图像的超分辨率模型的构建方法，其特征在于，包括：获取不同分辨率的原始图像；计算每个原始图像的转换系数；依据所述转换系数对相应的原始图像进行采样处理，得到低分辨率图像样本集；将所述低分辨率图像样本集中的图像输入到三维卷积神经网络中，对三维卷积神经网络进行训练，得到图像的超分辨率模型。

【技术特征摘要】
1.一种图像的超分辨率模型的构建方法，其特征在于，包括：获取不同分辨率的原始图像；计算每个原始图像的转换系数；依据所述转换系数对相应的原始图像进行采样处理，得到低分辨率图像样本集；将所述低分辨率图像样本集中的图像输入到三维卷积神经网络中，对三维卷积神经网络进行训练，得到图像的超分辨率模型。2.根据权利要求1所述的方法，其特征在于，所述对所述三维卷积神经网络进行训练，包括：在所述三维卷积神经网络模型的第一卷积层采用预设的第一卷积核对所述低分辨率图像进行卷积处理，并采用预设的激活函数对所述低分辨率图像进行非线性映射，得到第一级特征图；在第一层之后的多层，分别采用第二卷积核对所述第一级特征图进行卷积处理，以及采用预设的激活函数对所述低分辨率图像进行非线性映射，得到第一目标级特征图；其中，后一层的卷积核的数量大于前一层的卷积核的数量；所述第二卷积核小于第一卷积核；对所述第一目标级特征图进行降维处理，得到第二目标级特征图；所述第二目标级特征图的维度与所述第一级特征图的维度相同；将所述第一级特征图和所述第二目标级特征图相加，并进行降维处理，得到目标特征图；计算所述目标特征图和原始的高分辨率图像的均方差损失，并依据所述均方差损失调整相关参数；当所述均方差损失收敛稳定后，得到三维卷积神经网络的图像超分辨率模型。3.根据权利要求1所述的方法，其特征在于，所述计算每个原始图像的转换系数，包括：针对于任意一个原始图像，确定所述原始图像的初始分辨率和目标分辨率；计算所述原始图像的初始分辨率和所述目标分辨率的分辨率的比值，得到所述原始率图像的转换系数。4.根据权利要求1所述的方法，其特征在于，所述依据所述转换系数对相应的原始图像进行采样处理，包括：基于转换系数对所述原始的高分辨率图像进行下采样；基于相应的转换系数对下采样后的高分辨率图像进行上采样。5.根据权利要求1所述的方法，其特征在于，还包括：确定所述低分辨率图像的感兴趣区域；依据预设窗口尺寸将所述感兴趣区域划分为多个图像块；判断每个图像块中预设目标所占的比例；若所述比例大于预设的阈值，保留所述图像块；若所述比例小于预设的阈值，丢弃所述图像块。6.一种图像的超分辨率模型的构建装置，其特征在于，包括：获取单元，用于获取不同分辨率的原始图像；计算单元，用于...

【专利技术属性】
技术研发人员：李静，
申请(专利权)人：深圳天琴医疗科技有限公司，
类型：发明
国别省市：广东,44