图像处理方法、装置、计算机设备及存储介质制造方法及图纸

本申请实施例公开了一种图像处理方法、装置、计算机设备及存储介质。方法包括：获取第一分辨率的待处理图像，所述待处理图像的格式为YUV通道格式；获取所述待处理图像的待处理亮度通道图以及待处理色度通道图；对所述待处理亮度通道图进行超分辨率重建处理，生成目标亮度通道图；根据指定放大参数对所述待处理色度通道图进行处理，得到目标色度通道图；基于所述目标亮度通道图以及所述目标色度通道图生成目标图像；本申请实施例通过预先构建一精简的超分辨率重建模型，该超分辨率重建模型可以将输入的低分辨率图像快速放大分辨率以得到高分辨率图像，能够提升超分辨率重建的重建速度，提高了画面显示质量。提高了画面显示质量。提高了画面显示质量。

【技术实现步骤摘要】
图像处理方法、装置、计算机设备及存储介质


[0001]本申请涉及图像处理
，具体涉及一种图像处理方法、装置、计算机设备及存储介质。

技术介绍

[0002]随着计算机通信技术的不断发展，智能手机、平板电脑及笔记本电脑等终端的大量普及应用，终端向着多样化、个性化的方向发展，日益成为人们在生活与工作中不可或缺的终端，人们对终端显示画面的清晰度和真实感要求越来越高。目前，在进行图片和视频流的传输过程中，会采用超分辨率重建对图像或视频进行处理，然而，现有技术下针对图像或视频每一帧的超分辨率重建过程都十分耗时，从而导致图像渲染成本高，显示效果差。

技术实现思路

[0003]本申请实施例提供一种图像处理方法、装置、计算机设备及存储介质，通过预先构建一精简的超分辨率重建模型，该超分辨率重建模型可以将输入的低分辨率图像快速放大分辨率以得到高分辨率图像，能够提升超分辨率重建的重建速度，提高了画面显示质量。
[0004]本申请实施例提供一种图像处理方法，包括：
[0005]获取第一分辨率的待处理图像，所述待处理图像的格式为YUV通道格式；
[0006]获取所述待处理图像的待处理亮度通道图以及待处理色度通道图，其中，所述待处理亮度通道图的分辨率为第一分辨率，所述待处理色度通道图的分辨率为第一分辨率；
[0007]对所述待处理亮度通道图进行超分辨率重建处理，生成目标亮度通道图，其中，所述超分辨率重建处理包括对所述待处理亮度通道图进行通道转换处理和/或图像特征提取处理；
[0008]根据指定放大参数对所述待处理色度通道图进行处理，得到目标色度通道图，其中，所述目标色度通道图的分辨率为所述目标分辨率；
[0009]基于所述目标亮度通道图以及所述目标色度通道图生成目标图像。
[0010]相应的，本申请实施例还提供了一种图像处理装置，所述装置包括：
[0011]第一获取单元，用于获取第一分辨率的待处理图像，所述待处理图像的格式为YUV通道格式；
[0012]第二获取单元，用于获取所述待处理图像的待处理亮度通道图以及待处理色度通道图，其中，所述待处理亮度通道图的分辨率为第一分辨率，所述待处理色度通道图的分辨率为第一分辨率；
[0013]第一生成单元，用于对所述待处理亮度通道图进行超分辨率重建处理，生成目标亮度通道图，其中，所述超分辨率重建处理包括对所述待处理亮度通道图进行通道转换处理和/或图像特征提取处理；
[0014]处理单元，单元根据指定放大参数对所述待处理色度通道图进行处理，得到目标色度通道图，其中，所述目标色度通道图的分辨率为所述目标分辨率；
[0015]第二生成单元，用于基于所述目标亮度通道图以及所述目标色度通道图生成目标图像。
[0016]在一些实施例中，该装置还包括第一处理子单元，该第一处理子单元用于：
[0017]将所述待处理亮度通道图输入归一化层进行归一化处理，得到第一亮度通道图；
[0018]对所述第一亮度通道图进行超分辨率重建处理，生成目标亮度通道图。
[0019]在一些实施例中，该装置还包括第二处理子单元，该第二处理子单元用于：
[0020]将所述第一亮度通道图输入线性插值层，得到第二亮度通道图，并将所述第一亮度通道图输入第一通道转换卷积层进行通道转换处理，得到第三亮度通道图，其中，所述第一亮度通道图的第一通道数值与所述第二亮度通道图的第二通道数值一致，所述第三亮度通道图的第三通道数值基于所述第一通道转换卷积层的第一权重确定，所述第三通道数值大于所述第一通道数值；
[0021]将所述第三亮度通道图输入至少一个特征提取卷积层进行图像特征提取处理，得到第四亮度通道图，其中，所述第四亮度通道图的第四通道数值与所述第三通道数值一致；
[0022]将所述第四亮度通道图输入第二通道转换卷积层进行通道转换处理，得到第五亮度通道图，其中，所述第五亮度通道图的第五通道数值小于所述第四通道数值，所述第五通道数值基于所述第二通道转换卷积层的第二权重确定；
[0023]将所述第四亮度通道图输入像素重组层，得到第五亮度通道图；
[0024]基于所述第二亮度通道图和所述第五亮度通道图生成目标亮度通道图。
[0025]在一些实施例中，该装置还包括：
[0026]第三处理子单元，用于将所述第三亮度通道图输入至少一个特征提取卷积层进行图像特征提取处理，得到待叠加亮度通道图；
[0027]第三生成单元，用于基于所述待叠加亮度通道图和所述第三亮度通道图生成第四亮度通道图。
[0028]在一些实施例中，该装置还包括第四处理子单元，该第四处理子单元用于：
[0029]将所述第一亮度通道图和第一指定参数输入像素拆分层进行处理，得到所述第一亮度特征图集合，其中，所述第一亮度特征图集合中包括第一指定数量的亮度特征图；
[0030]将所述第一亮度特征图集合中所有亮度特征图输入第一通道转换卷积层进行通道转换处理，生成第一待处理亮度特征图集合，其中，所述第一待处理亮度特征图集合包括多张第三亮度通道图。
[0031]在一些实施例中，该装置还包括：
[0032]第四生成单元，用于将所述第三亮度通道图依次输入所述第一特征提取卷积层、所述第二特征提取卷积层以及所述第三特征提取卷积层，生成第二待处理亮度特征图集合，其中，所述第二待处理亮度特征图集合包括多张第四亮度通道图。
[0033]在一些实施例中，该装置还包括：
[0034]第五处理子单元，用于将所述第一待处理亮度特征图集合输入第二通道转换卷积层进行通道转换处理，得到第三待处理亮度特征图集合，其中，所述第三待处理亮度特征图集合包括多张第六亮度通道图，所述第六亮度通道图的第六通道数值与所述第三通道数值相同；
[0035]输入单元，用于将所述第三待处理亮度特征图集合输入像素重组层，得到重组亮
度通道图；
[0036]第五生成单元，用于基于所述第二亮度通道图和所述重组亮度通道图生成目标亮度通道图。
[0037]在一些实施例中，该装置还包括：
[0038]训练单元，用于采用样本集对第一预设网络结构进行训练，得到训练好的第一预设网络结构以及第一目标参数，其中，所述第一预设网络结构由第一预设卷积层和第二预设卷积层组成；
[0039]第六生成单元，用于基于所述第一预设网络结构和第一目标参数生成第一通道转换卷积层。
[0040]在一些实施例中，该装置还包括第六处理子单元，该第六处理子单元用于：
[0041]将所述第二亮度通道图和所述第五亮度通道图进行融合处理，以得到目标合并亮度通道图；
[0042]对所述目标合并亮度通道图进行反归一化处理，生成目标亮度通道图。
[0043]在一些实施例中，该装置还包括：
[0044]第一获取单元，用于向服务器发送图像获取请求；
[0045]接收单元，用于接收所述服务器返回的待解压图像，其中，所本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像处理方法，其特征在于，包括：获取第一分辨率的待处理图像，所述待处理图像的格式为YUV通道格式；获取所述待处理图像的待处理亮度通道图以及待处理色度通道图，其中，所述待处理亮度通道图的分辨率为第一分辨率，所述待处理色度通道图的分辨率为第一分辨率；对所述待处理亮度通道图进行超分辨率重建处理，生成目标亮度通道图，其中，所述超分辨率重建处理包括对所述待处理亮度通道图进行通道转换处理和/或图像特征提取处理，所述目标亮度通道图的分辨率为第二分辨率，所述第二分辨率高于所述第一分辨率；根据指定放大参数对所述待处理色度通道图进行处理，得到目标色度通道图，其中，所述目标色度通道图的分辨率为所述第二分辨率；基于所述目标亮度通道图以及所述目标色度通道图生成目标图像。2.根据权利要求1所述的方法，其特征在于，在对所述待处理亮度通道图进行超分辨率重建处理之前，还包括：将所述待处理亮度通道图输入归一化层进行归一化处理，得到第一亮度通道图；对所述第一亮度通道图进行超分辨率重建处理，生成目标亮度通道图。3.根据权利要求2所述的方法，其特征在于，所述对所述第一亮度通道图进行超分辨率重建处理，生成目标亮度通道图，包括：将所述第一亮度通道图输入线性插值层，得到第二亮度通道图，并将所述第一亮度通道图输入第一通道转换卷积层进行通道转换处理，得到第三亮度通道图，其中，所述第一亮度通道图的第一通道数值与所述第二亮度通道图的第二通道数值一致，所述第三亮度通道图的第三通道数值基于所述第一通道转换卷积层的第一权重确定，所述第三通道数值大于所述第一通道数值；将所述第三亮度通道图输入至少一个特征提取卷积层进行图像特征提取处理，得到第四亮度通道图，其中，所述第四亮度通道图的第四通道数值与所述第三通道数值一致；将所述第四亮度通道图输入第二通道转换卷积层进行通道转换处理，得到第五亮度通道图，其中，所述第五亮度通道图的第五通道数值小于所述第四通道数值，所述第五通道数值基于所述第二通道转换卷积层的第二权重确定；将所述第四亮度通道图输入像素重组层，得到第五亮度通道图；基于所述第二亮度通道图和所述第五亮度通道图生成目标亮度通道图。4.根据权利要求3所述的方法，其特征在于，所述将所述第三亮度通道图输入至少一个特征提取卷积层进行图像特征提取处理，得到第四亮度通道图，包括：将所述第三亮度通道图输入至少一个特征提取卷积层进行图像特征提取处理，得到待叠加亮度通道图；基于所述待叠加亮度通道图和所述第三亮度通道图生成第四亮度通道图。5.根据权利要求3所述的方法，其特征在于，在将所述第一亮度通道图输入线性插值层之后，在将所述第一亮度通道图输入第一通道转换卷积层进行通道转换处理之前，包括：将所述第一亮度通道图和第一指定参数输入像素拆分层进行处理，得到第一亮度特征图集合，其中，所述第一亮度特征图集合中包括第一指定数量的亮度特征图；将所述第一亮度特征图集合中所有亮度特征图输入第一通道转换卷积层进行通道转换处理，生成第一待处理亮度特征图集合，其中，所述第一待处理亮度特征图集合包括多张
第三亮度通道图。6.根据权利要求5所述的方法，其特征在于，在将所述第一亮度特征图集合中所有亮度特征图输入第一通道转换卷积层进行通道转换处理，生成第一待处理亮度特征图集合，包括：将所述第一待处理亮度特征图集合中所有第三亮度通道图输入至少一个特征提取卷积层进行图像特征提取处理，得到待叠加亮度通道图；基于所述待叠加亮度通道图和与所述待叠加亮度通道图对应的第三亮度通道图生成第四亮度通道图。7.根据权利要求5所述的方法，其特征在于，所述特征提取卷积层包括第一特征提取卷积层、第二特征提取卷积层以及第三特征提取卷积层，其中，所述第一特征提取卷积层的权重、所述第二特征提取卷积层的权重以及所述第三特征提取卷积层的权重均相同；在将所述第一亮度特征图集合中所有亮度特征图输入第一通道转换卷积层进行通道转换处理之后，还包括：将所述第三亮度通道图依次输入所述第一特征提取卷积层、所述第二特征提取卷积层以及所述第三特征提取卷积层，生成第二待处理亮度特征图集合，其中，所述第二待处理亮度特征图集合包括多张第四亮度通道图。8.根据权利要求5所述的方...

【专利技术属性】
技术研发人员：彭云波，张泽昕，李承乾，林悦，
申请(专利权)人：网易杭州网络有限公司，
类型：发明
国别省市：