一种卷积神经网络生成方法及图像的超分辨率方法技术

本发明专利技术公开了一种用于对图像进行超分辨率处理的卷积神经网络生成方法、图像的超分辨率方法、计算设备及移动终端，卷积神经网络生成方法包括：分别构建第一处理块、第二处理块和第三处理块，第一处理块包括第一卷积层，第二处理块包括第二卷积层，第三处理块包括第三卷积层；构建第四处理块，第四处理块包括第四卷积层；按照预设的连接规则，将一个或多个第一处理块、第二处理块、第三处理块和第四处理块进行相连，以生成以第一处理块为输入、以第三处理块为输出的卷积神经网络；根据预先获取的图像数据集合，对卷积神经网络进行训练，以便卷积神经网络的输出指示输入图像所对应的超分辨率图像。

【技术实现步骤摘要】
一种卷积神经网络生成方法及图像的超分辨率方法
本专利技术涉及图像处理
，特别涉及一种用于对图像进行超分辨率处理的卷积神经网络生成方法、图像的超分辨率方法、计算设备及移动终端。
技术介绍
超分辨率是一种提高原有图像分辨率的技术，通过一系列低分辨率图像来得到一张高分辨率图像的过程就是超分辨率重建。基于深度神经网络的超分辨率技术，由于取得了远远超过传统的超分辨率技术的效果而引起广泛注意。现有的基于深度神经网络的超分辨率技术大致可分为两种，第一种是先用传统方法把原图像放大到目标大小，然后用深度神经网络处理放大后的图像以补充内容细节，最后得到目标图像，第二种则是直接把原图像送入深度神经网络来抽取图像特征，在最后一层使用一种称之为Sub-Pixel(亚像素)的技术得到目标尺寸的图像。上述两种方式各有其优缺点。第一种方式可以得到任意尺寸的目标图像，但是由于在图像送入深度神经网络之前已经放大到目标尺寸，所以会显著增加深度神经网络的计算量。第二种方式在原图尺寸上抽取图像特征，深度神经网络的计算量会比较小，但由于Sub-Pixel技术的限制，该方式只能得到整数倍放大的图像，如果目标图像尺寸不是原图像的整数倍，则需要后续处理部分进行额外处理，较为繁琐。
技术实现思路
为此，本专利技术提供一种用于对图像进行超分辨率处理的卷积神经网络生成方案，并提出了基于该卷积神经网络的图像的超分辨率方案，以力图解决或者至少缓解上面存在的问题。根据本专利技术的一个方面，提供一种用于对图像进行超分辨率处理的卷积神经网络生成方法，适于在计算设备中执行，该方法包括如下步骤：首先，分别构建第一处理块、第二处理块和第三处理块，第一处理块包括第一卷积层，第二处理块包括第二卷积层，第三处理块包括第三卷积层，第一卷积层、第二卷积层和第三卷积层均保持其输出图像与对应输入图像的尺寸一致；构建第四处理块，第四处理块包括第四卷积层，第四卷积层的输出图像与对应输入图像的尺寸比例满足预设的比例系数；按照预设的连接规则，将一个或多个第一处理块、第二处理块、第三处理块和第四处理块进行相连，以生成以第一处理块为输入、以第三处理块为输出的卷积神经网络；根据预先获取的图像数据集合，对卷积神经网络进行训练，以便卷积神经网络的输出指示输入图像所对应的超分辨率图像，图像数据集合包括多个图像组，每个图像组包括原始图像和其所对应的超分辨率图像，该超分辨率图像与该原始图像的尺寸比例满足比例系数。可选地，在根据本专利技术的用于对图像进行超分辨率处理的卷积神经网络生成方法中，分别构建第一处理块、第二处理块和第三处理块的步骤还包括：构建第一激活层和第一批标准化层；在第一卷积层之后添加依次相连的第一激活层和第一批标准化层，以形成第一处理块。可选地，在根据本专利技术的用于对图像进行超分辨率处理的卷积神经网络生成方法中，分别构建第一处理块、第二处理块和第三处理块的步骤还包括：构建第二激活层和第二批标准化层；在第二卷积层之后添加依次相连的第二激活层和第二批标准化层，以形成第二处理块。可选地，在根据本专利技术的用于对图像进行超分辨率处理的卷积神经网络生成方法中，分别构建第一处理块、第二处理块和第三处理块的步骤还包括：构建第三激活层和第三批标准化层；在第三卷积层之后添加依次相连的第三激活层和第三批标准化层，以形成第三处理块。可选地，在根据本专利技术的用于对图像进行超分辨率处理的卷积神经网络生成方法中，构建第四处理块的步骤包括：根据预设的比例系数，生成相应的卷积核参数；通过卷积核参数构建第四卷积层，以形成包括第四卷积层的第四处理块。可选地，在根据本专利技术的用于对图像进行超分辨率处理的卷积神经网络生成方法中，根据预先获取的图像数据集合，对卷积神经网络进行训练，以便卷积神经网络的输出指示输入图像所对应的超分辨率图像的步骤包括：对每一个提取出的图像组，以该图像组所包括的原始图像为卷积神经网络中第一个第一处理块的输入，以该图像组所包括的超分辨率图像为卷积神经网络中最后一个第三处理块的输出，对卷积神经网络进行训练。可选地，在根据本专利技术的用于对图像进行超分辨率处理的卷积神经网络生成方法中，第四卷积层为转置卷积层。可选地，在根据本专利技术的用于对图像进行超分辨率处理的卷积神经网络生成方法中，第一处理块、第三处理块和第四处理块的数量均为1，第二处理块的数量为17。可选地，在根据本专利技术的用于对图像进行超分辨率处理的卷积神经网络生成方法中，还包括预先生成图像数据集合，预先生成图像数据集合的步骤包括：对每一张待处理图片进行图像处理，以获取各待处理图片对应的、满足预设尺寸的第一图像；根据预设的比例系数获取对应的下采样范围，并对每一张满足预设尺寸的第一图像，按照下采样范围对该第一图像进行下采样，以生成相应的低分辨率的第二图像；将该第二图像作为原始图像，将该第一图像作为与该原始图像对应的超分辨率图像，对该原始图像和该超分辨率图像进行关联处理以形成图像组；汇集各图像组，以形成图像数据集合。根据本专利技术的又一个方面，提供一种计算设备，包括一个或多个处理器、存储器以及一个或多个程序，其中一个或多个程序存储在存储器中并被配置为由一个或多个处理器执行，一个或多个程序包括用于执行根据本专利技术的用于对图像进行超分辨率处理的卷积神经网络生成方法的指令。根据本专利技术的又一个方面，提供一种存储一个或多个程序的计算机可读存储介质，一个或多个程序包括指令，指令当由计算设备执行时，使得计算设备执行根据本专利技术的用于对图像进行超分辨率处理的卷积神经网络生成方法。根据本专利技术的又一个方面，提供一种图像的超分辨率方法，适于在移动终端中执行，该方法基于用于对图像进行超分辨率处理的卷积神经网络生成方法中、训练好的卷积神经网络对图像进行超分辨率处理，包括如下步骤：首先，获取待处理图像及其对应的超分辨率系数；判断超分辨率系数与训练好的卷积神经网络是否匹配；若匹配，则将待处理图像输入到训练好的卷积神经网络中进行超分辨率处理；获取训练好的卷积神经网络的输出，根据该输出确定待处理图像对应的超分辨率图像。可选地，在根据本专利技术的图像的超分辨率方法中，还包括：若超分辨率系数与训练好的卷积神经网络不匹配，则根据超分辨率系数对该卷积神经网络中的第四处理块进行调整；将待处理图像输入到调整后的卷积神经网络中进行超分辨率处理；获取训练好的卷积神经网络的输出，根据该输出确定待处理图像对应的超分辨率图像。根据本专利技术的又一个方面，提供一种移动终端，包括一个或多个处理器、存储器以及一个或多个程序，其中一个或多个程序存储在存储器中并被配置为由一个或多个处理器执行，一个或多个程序包括用于执行根据本专利技术的图像的超分辨率方法的指令。根据本专利技术的又一个方面，还提供一种存储一个或多个程序的计算机可读存储介质，一个或多个程序包括指令，指令当由移动终端执行时，使得移动终端执行根据本专利技术的图像的超分辨率方法。根据本专利技术的用于对图像进行超分辨率处理的卷积神经网络生成的技术方案，首先分别构建第一处理块、第二处理块和第三处理块，第一处理块包括第一卷积层，第二处理块包括第二卷积层，第三处理块包括第三卷积层，再构建第四处理块，第四处理块包括第四卷积层，按照预设的连接规则，将一个或多个第一处理块、第二处理块、第三处理块和第四处理块进行相连，以生成以第一处理块为输入本文档来自技高网...

【技术保护点】
1.一种用于对图像进行超分辨率处理的卷积神经网络生成方法，适于在计算设备中执行，所述方法包括步骤：分别构建第一处理块、第二处理块和第三处理块，所述第一处理块包括第一卷积层，所述第二处理块包括第二卷积层，所述第三处理块包括第三卷积层，所述第一卷积层、第二卷积层和第三卷积层均保持其输出图像与对应输入图像的尺寸一致；构建第四处理块，所述第四处理块包括第四卷积层，所述第四卷积层的输出图像与对应输入图像的尺寸比例满足预设的比例系数；按照预设的连接规则，将一个或多个第一处理块、第二处理块、第三处理块和第四处理块进行相连，以生成以第一处理块为输入、以第三处理块为输出的卷积神经网络；根据预先获取的图像数据集合，对所述卷积神经网络进行训练，以便所述卷积神经网络的输出指示输入图像所对应的超分辨率图像，所述图像数据集合包括多个图像组，每个图像组包括原始图像和其所对应的超分辨率图像，该超分辨率图像与该原始图像的尺寸比例满足所述比例系数。

【技术特征摘要】
1.一种用于对图像进行超分辨率处理的卷积神经网络生成方法，适于在计算设备中执行，所述方法包括步骤：分别构建第一处理块、第二处理块和第三处理块，所述第一处理块包括第一卷积层，所述第二处理块包括第二卷积层，所述第三处理块包括第三卷积层，所述第一卷积层、第二卷积层和第三卷积层均保持其输出图像与对应输入图像的尺寸一致；构建第四处理块，所述第四处理块包括第四卷积层，所述第四卷积层的输出图像与对应输入图像的尺寸比例满足预设的比例系数；按照预设的连接规则，将一个或多个第一处理块、第二处理块、第三处理块和第四处理块进行相连，以生成以第一处理块为输入、以第三处理块为输出的卷积神经网络；根据预先获取的图像数据集合，对所述卷积神经网络进行训练，以便所述卷积神经网络的输出指示输入图像所对应的超分辨率图像，所述图像数据集合包括多个图像组，每个图像组包括原始图像和其所对应的超分辨率图像，该超分辨率图像与该原始图像的尺寸比例满足所述比例系数。2.如权利要求1所述的方法，所述分别构建第一处理块、第二处理块和第三处理块的步骤还包括：构建第一激活层和第一批标准化层；在所述第一卷积层之后添加依次相连的第一激活层和第一批标准化层，以形成第一处理块。3.如权利要求1或2所述的方法，所述分别构建第一处理块、第二处理块和第三处理块的步骤还包括：构建第二激活层和第二批标准化层；在所述第二卷积层之后添加依次相连的第二激活层和第二批标准化层，以形成第二处理块。4.如权利要求1-3中任一项所述的方法，所述分别构建第一处理块、第二处理块和第三处理块的步骤还包括：构建第三激活层和第三批标准化层；在所述第三卷积层之后添加依...

【专利技术属性】
技术研发人员：曲晓超，王鹏飞，程安，郑阿敏，张伟，
申请(专利权)人：厦门美图之家科技有限公司，
类型：发明
国别省市：福建,35