图像处理和模型训练方法、装置、电子设备及存储介质制造方法及图纸

本申请实施例涉及计算机视觉技术领域，提供一种图像处理和模型训练方法、装置、电子设备及存储介质，通过获取待处理图像并输入图像重建模型，图像重建模型包括特征提取网络和子像素卷积层，先利用特征提取网络对待处理图像进行多尺度特征提取及扩展图像通道得到重建特征图，再利用子像素卷积层对重建特征图进行放大得到重建图像。由于特征提取网络能够提取多尺度特征和扩展图像通道，因此，不需要增加网络深度就能够得到较好的重建效果；同时，模型末端采用子像素卷积层做图像放大，特征提取网络以小尺寸图像做处理，大幅减少了计算量和参数量；从而在保证重建效果的同时提高了处理速度。速度。速度。

【技术实现步骤摘要】
图像处理和模型训练方法、装置、电子设备及存储介质


[0001]本申请涉及计算机视觉
，具体而言，涉及一种图像处理和模型训练方法、装置、电子设备及存储介质。

技术介绍

[0002]超分辨率重建是指将给定的低分辨率图像通过特定的处理恢复成相应的高分辨率图像的过程，被广泛应用于各类需要提升视频或图像质量的领域，例如，视频图像处理、医学成像、遥感成像、视频监控等。
[0003]目前通过深度学习算法进行超分辨率重建时，需要使用层数足够深的网络来得到较好的重建效果，因此网络结构通常很复杂，计算量大，影响处理速度。

技术实现思路

[0004]本申请实施例的目的在于提供一种图像处理和模型训练方法、装置、电子设备及存储介质，用以在保证重建效果的同时提高处理速度。
[0005]为了实现上述目的，本申请实施例采用的技术方案如下：
[0006]第一方面，本申请实施例提供了一种图像处理方法，所述方法包括：
[0007]获取待处理图像；
[0008]将所述待处理图像输入图像重建模型，利用所述图像重建模型的特征提取网络对所述待处理图像进行多尺度特征提取及扩展图像通道，得到重建特征图；
[0009]利用所述图像重建模型的子像素卷积层对所述重建特征图进行放大，得到重建图像。
[0010]第二方面，本申请实施例还提供了一种模型训练方法，所述方法包括：
[0011]获取训练样本，所述训练样本包括低分辨率图像和高分辨率图像，所述低分辨率图像是对所述高分辨率图像进行下采样得到的；
[0012]将所述低分辨率图像输入预先构建的图像重建模型，所述图像重建模型包括特征提取网络和子像素卷积层；
[0013]利用所述特征提取网络对所述低分辨率图像进行多尺度特征提取及扩展图像通道，得到训练特征图；
[0014]利用所述子像素卷积层对所述训练特征图进行放大，得到训练重建图像；
[0015]基于所述训练重建图像、所述高分辨率图像和预设的目标函数对所述图像重建模型进行反向传播训练，得到训练后的图像重建模型。
[0016]第三方面，本申请实施例还提供了一种图像处理装置，所述装置包括：
[0017]图像获取模块，用于获取待处理图像；
[0018]第一执行模块，用于将所述待处理图像输入图像重建模型，利用所述图像重建模型的特征提取网络对所述待处理图像进行多尺度特征提取及扩展图像通道，得到重建特征图；
[0019]第二执行模块，用于利用所述图像重建模型的子像素卷积层对所述重建特征图进行放大，得到重建图像。
[0020]第四方面，本申请实施例还提供了一种模型训练装置，所述装置包括：
[0021]样本获取模块，用于获取训练样本，所述训练样本包括低分辨率图像和高分辨率图像，所述低分辨率图像是对所述高分辨率图像进行下采样得到的；
[0022]第一处理模块，用于将所述低分辨率图像输入预先构建的图像重建模型，所述图像重建模型包括特征提取网络和子像素卷积层；
[0023]第二处理模块，用于利用所述特征提取网络对所述低分辨率图像进行多尺度特征提取及扩展图像通道，得到训练特征图；
[0024]第三处理模块，用于利用所述子像素卷积层对所述训练特征图进行放大，得到训练重建图像；
[0025]第四处理模块，用于基于所述训练重建图像、所述高分辨率图像和预设的目标函数对所述图像重建模型进行反向传播训练，得到训练后的图像重建模型。
[0026]第五方面，本申请实施例还提供了一种电子设备，所述电子设备包括：一个或多个处理器；存储器，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现上述的图像处理方法或者模型训练方法。
[0027]第六方面，本专利技术实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器实现上述的图像处理方法或者模型训练方法。
[0028]相对现有技术，本申请实施例提供的一种图像处理和模型训练方法、装置、电子设备及存储介质，通过获取待处理图像并输入图像重建模型，图像重建模型包括特征提取网络和子像素卷积层，先利用特征提取网络对待处理图像进行多尺度特征提取及扩展图像通道得到重建特征图，再利用子像素卷积层对重建特征图进行放大得到重建图像。由于特征提取网络能够提取多尺度特征和扩展图像通道，因此，不需要增加网络深度就能够得到较好的重建效果；同时，模型末端采用子像素卷积层做图像放大，特征提取网络以小尺寸图像做处理，大幅减少了计算量和参数量；从而在保证重建效果的同时提高了处理速度。
附图说明
[0029]图1示出了本申请实施例提供的图像处理方法的一种应用场景图。
[0030]图2示出了本申请实施例提供的图像处理方法的一种流程示意图。
[0031]图3示出了本申请实施例提供的图像重建模型的一种示例图。
[0032]图4示出了本申请实施例提供的级联块的一种示例图。
[0033]图5示出了本申请实施例提供的残差块的一种示例图。
[0034]图6示出了本申请实施例提供的图像重建模型的另一种示例图。
[0035]图7示出了本申请实施例提供的一种结果展示图。
[0036]图8示出了本申请实施例提供的模型训练方法的一种流程示意图。
[0037]图9示出了本申请实施例提供的图像处理装置的一种方框示意图。
[0038]图10示出了本申请实施例提供的模型训练装置的一种方框示意图。
[0039]图11示出了本申请实施例提供的电子设备的一种方框示意图。
[0040]图标：10-电子设备；11-处理器；12-存储器；13-总线；20-第一终端；30-第二终端；
40-网络；50-服务器；100-图像处理装置；110-图像获取模块；120-第一执行模块；130-第二执行模块；200-模型训练装置；210-样本获取模块；220-第一处理模块；230-第二处理模块；240-第三处理模块；250-第四处理模块。
具体实施方式
[0041]下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述。
[0042]请参照图1，图1示出了本申请实施例提供的图像处理方法的一种应用场景图，包括第一终端20、第二终端30、网络40及服务器50，第一终端20和第二终端30均通过网络40连接到服务器50。第一终端20和第二终端30可以是移动终端，在移动终端上可以安装有各种应用程序(Application，App)，例如可以是视频播放App、即时通讯App、视频/图像采集App、购物App等。网络40可以是广域网或者局域网，又或者是二者的组合，使用无线链路实现数据传输。
[0043]第一终端20和第二终端30可以是任何具有屏幕显示功能的移动终端，例如，智能手机、笔记本电脑、平板电脑、台式计算机、智能电视等。
[0044]第一终端20可以将视本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像处理方法，其特征在于，所述方法包括：获取待处理图像；将所述待处理图像输入图像重建模型，利用所述图像重建模型的特征提取网络对所述待处理图像进行多尺度特征提取及扩展图像通道，得到重建特征图；利用所述图像重建模型的子像素卷积层对所述重建特征图进行放大，得到重建图像。2.如权利要求1所述的方法，其特征在于，所述特征提取网络包括卷积层、多个级联块和多个第一卷积层，多个所述级联块和多个所述第一卷积层交替设置，所述特征提取网络采用全局级联结构；所述利用所述图像重建模型的特征提取网络对所述待处理图像进行多尺度特征提取，得到重建特征图的步骤，包括：将所述待处理图像输入所述卷积层进行卷积处理，得到初始特征图；将所述初始特征图作为第一个所述级联块的输入、以及将第N-1个所述第一卷积层的输出作为第N个所述级联块的输入，利用所述级联块进行多尺度特征提取，输出中间特征图；将所述初始特征图和第N个所述第一卷积层前每个所述级联块输出的所述中间特征图进行通道叠加，并在叠加后输入第N个所述第一卷积层进行卷积处理；将最后一个所述第一卷积层的输出作为所述重建特征图。3.如权利要求2所述的方法，其特征在于，所述级联块的数量为3～5，所述第一卷积层的数量为3～5。4.如权利要求2所述的方法，其特征在于，所述级联块包括多个残差块和多个第二卷积层，多个所述残差块和多个所述第二卷积层交替设置，所述级联块采用局部级联结构；所述利用所述级联块进行多尺度特征提取，输出中间特征图的步骤，包括：将所述级联块的输入作为第一个所述残差块的输入、以及将第N-1个所述第二卷积层的输出作为第N个所述残差块的输入，利用所述残差块学习残差特征，得到残差特征图；将所述级联块的输入和第N个所述第二卷积层前每个所述残差块的输出进行通道叠加，并在叠加后输入第N个所述第二卷积层进行卷积处理；将最后一个所述第二卷积层的输出作为所述中间特征图。5.如权利要求4所述的方法，其特征在于，所述残差块的数量为3～5，所述第二卷积层的数量为3～5。6.如权利要求4所述的方法，其特征在于，所述残差块包括分组卷积层、第三卷积层和第四卷积层，所述分组卷积层采用ReLu激活函数，所述分组卷积层和所述第三卷积层连接形成残差路径，所述残差块采用局部跳跃连接结构；所述利用所述残差块学习残差特征，得到残差特征图的步骤，包括：将所述残差块的输入作为所述分组卷积层的输入，通过所述残差路径提取特征；将所述残差块的输入和所述第三卷积层的输出进行特征融合，并在融合后输入所述第四卷积层进行卷积处理，输出所述残差特征图。7.如权利要求1所述的方法，其特征在于，所述利用所述图像重建模型的子像素卷积层对所述重建特征图进行放大，得到重建图像的步骤，包括：利用所述子像素卷积层调整所述重建特征图中的像素位置，得到所述重建图像。
8.一种模型训练方法，其特征在于，所述方法包括：获取训练样本，所述训练样本包括低分辨率图像和高分辨率图像，所述低分辨率图像是对所述高分辨率图像进行下采样得到的；将所述低分辨率图像输入预先构建的图像重建模型，所述图像重建模型包括特征提取网络和子像素卷积层；利用所述特征提取网络对所述低分辨率图像进行多尺度特征提取及扩展图像通道，得到训练特征图；利用所述子像素卷积层对所述训练特征图进行放大，得到训练重建图像；基于所述训练重建图像、所述高分辨...

【专利技术属性】
技术研发人员：侯剑堃，
申请(专利权)人：广州虎牙科技有限公司，
类型：发明
国别省市：