本申请提供一种轻量化图像和视频质量重建方法和装置，方法包括对所述待处理图像进行X倍降采样处理，并进行通道扩展，得到第一特征图；对所述第一特征图进行低级特征提取；对提取到的低级特征进行N倍上采样，对所述N倍上采样的采样结果进行高级特征提取，得到重建特征；对所述重建特征进行M倍上采样；采用预设的高频注意力结构对所述待处理图像提取高频特征图并和M倍上采样的采样结果进行处理得到增强高频后的结果图，提供了一种模型方法复杂程度低、能够应用于移动设备上的图像处理方案。能够应用于移动设备上的图像处理方案。能够应用于移动设备上的图像处理方案。
【技术实现步骤摘要】
一种轻量化图像和视频质量重建方法、装置和设备
[0001]本专利技术涉及图像处理
，具体涉及一种轻量化图像和视频质量重建方法、装置和设备。
技术介绍
[0002]随着科学技术的发展，手机、平板等移动设备已经完全融入人们日常生活中，并且对此类设备的成像质量要求也变得越来越高。但是在移动终端上显示的图片或视频，由于压缩、传输、存储等操作会产生大量噪声、细节丢失等失真，极大的影响用户的视觉体验。近年来，为了提高终端显示的图片或视频的视觉质量，图像或视频去噪和超分辨技术被广泛使用。并且，随着深度学习在计算机视觉领域的快速发展，基于深度学习的图像或视频增强已成为新的解决方案。但是在工业界，基于深度学习超分方法在落地过程中却面临着两个巨大的挑战：1.图像或视频恢复模型方法复杂度太高；2.移动设备算力有限。
技术实现思路
[0003]有鉴于此，本专利技术实施例提供一种轻量化图像和视频质量重建方法、装置和设备，以提供一种模型方法复杂程度低、能够应用于移动设备上的图像处理方案。
[0004]为实现上述目的，本专利技术实施例提供如下技术方案：
[0005]一种轻量化图像和视频质量重建方法，包括：
[0006]获取待处理图像；
[0007]对所述待处理图像进行X倍降采样处理，并进行通道扩展，得到第一特征图；
[0008]对所述第一特征图进行低级特征提取；
[0009]对提取到的低级特征进行N倍上采样，所述N不小于2；
[0010]对所述N倍上采样的采样结果进行高级特征提取，得到重建特征；
[0011]对所述重建特征进行M倍上采样，所述M不小于2；
[0012]采用预设的高频注意力结构对所述待处理图像提取高频特征图并和M倍上采样的采样结果进行处理得到增强高频后的结果图。
[0013]可选地，上述轻量化图像和视频质量重建方法中，所述对所述待处理图像进行X倍降采样处理，得到第一特征图，同时扩展第一特征图的通道数；
[0014]采用预设卷积核与所述待处理图像进行步长为X的卷积操作，得到降采样X倍的特征图，记为第一特征图；
[0015]对所述第一特征图进行一次非线性变换，以扩展第一特征图的通道数。
[0016]可选地，对所述第一特征图进行一次非线性变换，包括：
[0017]采用信息增强模块对所述第一特征图进行一次非线性变换。
[0018]可选地，对所述第一特征图进行低级特征提取，包括：
[0019]采用特征增强的特征增强蒸馏模块对所述第一特征图的通道进行第一次蒸馏，由所述第一特征图的通道中蒸馏出A个通道的特征图，记为第一蒸馏特征图，所述A为一个预
设的正整数；
[0020]对于第一次蒸馏剩余的通道对应的特征图进行特征提取和通道降维操作，记为第一降维特征图；
[0021]采用特征增强的特征增强蒸馏模块对所述第一降维特征图的通道进行第二次蒸馏，由所述第一降维特征图的通道中蒸馏出C个通道的特征图，记为第二蒸馏特征图；
[0022]对于第二次蒸馏剩余的通道对应的特征图进行特征提取和通道降维操作，得到B个通道的特征图，记为第二降维特征图，所述B为对所述待处理图像进行X倍降采样处理后的通道数；
[0023]对所述第一特征图、第一蒸馏特征图、第二蒸馏特征图以及第二降维特征图在通道维度进行融合，得到第一融合特征图；
[0024]再对所述第一融合特征图进行特征融合和通道降维，得到具有D个通道的特征图，记为第二特征图；
[0025]然后对所述第二特征图进行特征提取，得到第三特征图，该特征提取结果即为低级特征提取结果。
[0026]可选地，对提取到的低级特征进行N倍上采样，所述N不小于2，包括：
[0027]将对所述第三特征图与所述第二特征图在通道维度上进行融合，并采用1*1卷积对融合结果进行特征融合，得到第四特征图；
[0028]对所述第四特征图进行一次2倍上采样。
[0029]可选地，对所述N倍上采样的采样结果进行高级特征提取，得到重建特征，包括：
[0030]采用特征增强的特征增强蒸馏模块对所述第四特征图的2倍上采样结果进行高级特征提取，得到重建特征。
[0031]可选地，对所述重建特征进行M倍上采样为：
[0032]对所述重建特征进行2倍上采样。
[0033]可选地，所述采用预设的高频注意力结构对所述待处理图像提取高频特征图并和M倍上采样的采样结果进行处理得到增强高频后的结果图，包括：
[0034]使用Sobel算子提取所述待处理图像的高频特征图；
[0035]将提取到的高频特征图与所述重建特征在通道维度上进行融合；
[0036]采用1*1卷积对所述高频特征图与所述重建特征的融合结果进行通道降维处理，得到仅具有一个通道的特征图；
[0037]对该仅具有一个通道的特征图进行非线性变换，得到该仅具有一个通道的特征图进行线性变换后，特征图的每个像素位置的值，将每个像素位置的值作为高频特征的权重，从而得到高频特征注意力特征图；
[0038]将所述高频特征注意力特征图与所述重建特征进行点乘，得到具有高频信息增强后的特征图；
[0039]采用双三次差值方法对所述待处理图像进行上采样处理；
[0040]将所述重建特征进行2倍上采样的采样结果、具有高频信息增强后的特征图与所述待处理图像的上采样处理结果进行叠加，得到增强高频后的结果图。
[0041]一种轻量化图像和视频质量重建装置，包括：
[0042]采集单元，用于获取待处理图像；
[0043]处理单元，用于对所述待处理图像进行X倍降采样处理，并进行通道扩展，得到第一特征图；对所述第一特征图进行低级特征提取；对提取到的低级特征进行N倍上采样，所述N不小于2；对所述N倍上采样的采样结果进行高级特征提取，得到重建特征；对所述重建特征进行M倍上采样，所述M不小于2；采用预设的高频注意力结构对所述待处理图像提取高频特征图并和M倍上采样的采样结果进行处理得到增强高频后的结果图。
[0044]一种轻量化图像和视频质量重建系统，包括：上述任意一项所述的轻量化图像和视频质量重建装置。
[0045]基于上述技术方案，本专利技术实施例提供的上述方案，通过对所述待处理图像进行X倍降采样处理，并进行通道扩展，得到第一特征图；对所述第一特征图进行低级特征提取；对提取到的低级特征进行N倍上采样；对所述N倍上采样的采样结果进行高级特征提取，得到重建特征；对所述重建特征进行M倍上采样；采用预设的高频注意力结构对所述待处理图像提取高频特征图并和M倍上采样的采样结果进行处理得到增强高频后的结果图，提供了一种模型方法复杂程度低、能够应用于移动设备上的图像处理方案。
附图说明
[0046]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种轻量化图像和视频质量重建方法，其特征在于，包括：获取待处理图像；对所述待处理图像进行X倍降采样处理，并进行通道扩展，得到第一特征图；对所述第一特征图进行低级特征提取；对提取到的低级特征进行N倍上采样，所述N不小于2；对所述N倍上采样的采样结果进行高级特征提取，得到重建特征；对所述重建特征进行M倍上采样，所述M不小于2；采用预设的高频注意力结构对所述待处理图像提取高频特征图并和M倍上采样的采样结果进行处理得到增强高频后的结果图。2.根据权利要求1所述的轻量化图像和视频质量重建方法，其特征在于，对所述待处理图像进行X倍降采样处理，并进行通道扩展，得到第一特征图，包括：采用预设卷积核与所述待处理图像进行步长为X的卷积操作，得到降采样X倍的特征图，记为第一特征图；对所述第一特征图进行一次非线性变换，以扩展第一特征图的通道数。3.根据权利要求2所述的轻量化图像和视频质量重建方法，其特征在于，对所述第一特征图进行一次非线性变换，包括：采用信息增强模块对所述第一特征图进行一次非线性变换。4.根据权利要求2所述的轻量化图像和视频质量重建方法，其特征在于，对所述第一特征图进行低级特征提取，包括：采用特征增强的特征增强蒸馏模块对所述第一特征图的通道进行第一次蒸馏，由所述第一特征图的通道中蒸馏出A个通道的特征图，记为第一蒸馏特征图，所述A为一个预设的正整数；对于第一次蒸馏剩余的通道对应的特征图进行特征提取和通道降维操作，记为第一降维特征图；采用特征增强的特征增强蒸馏模块对所述第一降维特征图的通道进行第二次蒸馏，由所述第一降维特征图的通道中蒸馏出C个通道的特征图，记为第二蒸馏特征图；对于第二次蒸馏剩余的通道对应的特征图进行特征提取和通道降维操作，得到B个通道的特征图，记为第二降维特征图，所述B为对所述待处理图像进行X倍降采样处理后的通道数；对所述第一特征图、第一蒸馏特征图、第二蒸馏特征图以及第二降维特征图在通道维度进行融合，得到第一融合特征图；再对所述第一融合特征图进行特征融合和通道降维，得到具有D个通道的特征图，记为第二特征图；然后对所述第二特征图进行特征提取，得到第三特征图，该特征提取结果即为低级特征提取结果。5.根据权利要求4所述的轻量化图像和视频质量重建方法，其特征在于，对提取到的低级特征进行N倍上采样，所述N不小于...
【专利技术属性】
技术研发人员：张东阳，谭嵩，周记生，
申请(专利权)人：湖南快乐阳光互动娱乐传媒有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。