一种快速图像超分辨率重构方法技术

一种快速图像超分辨率重构方法，该方法利用自然图像纹理具有相似性这一先验，将训练图像数据库中的图像分割为图像块，并拉伸为向量；然后利用这些向量训练稀疏编码字典；对对应的高低分辨率图像数据集训练稀疏编码字典，可以得到对应的高、低分辨率字典；对于新输入的低分辨率图像，先利用低分辨率字典计算稀疏编码，而后用高分辨率字典乘以此编码得到高分辨率图像。在稀疏系数求解过程中，先对固定字典计算标准正交基的稀疏系数，对于新输入的稀疏系数采用标准正交基的稀疏系数加权求和的方式快速求取。在图像块处理过程中，采用CUDA技术并行处理各个图像块，可将处理时间缩短为传统CPU计算的万分之一。本发明专利技术用于快速获取单幅图像的超分辨率图像。

A fast image super-resolution reconstruction method

A fast image super-resolution reconstruction method, the method using the natural image texture is similar to the prior image, the training images in the database is divided into image blocks, and stretching for vector; and then using these vectors sparse encoding dictionary; sparse encoding dictionary training on high and low resolution image data corresponding to the set, can get high and the corresponding low resolution dictionary; for low resolution image input, first calculate sparse encoding using low resolution dictionary, and then use high resolution encoding dictionary multiplied by this high resolution images. In the process of solving sparse coefficients, the sparse coefficients of standard orthogonal basis are calculated by fixed dictionary, and the new sparse coefficients are calculated by the method of weighted sum of sparse coefficients of standard orthogonal basis. In the process of image block processing, CUDA technology is used to process each image block in parallel, and the processing time can be reduced to 1/10000 of the traditional CPU. The invention is used for rapidly obtaining super-resolution images of a single image.

【技术实现步骤摘要】
一种快速图像超分辨率重构方法
本专利技术涉及一种快速图像超分辨率重构方法，属于计算机视觉
，具体涉及稀疏表示理论、快速稀疏编码求解技术、CUDA并行加速技术和单图像超分辨率方法。
技术介绍
人们对于图像质量的追求是没有止境的，而决定图像质量的关键因素是图像分辨率。单图像超分辨率就是利用单帧低分辨率图像重构出高分辨率图像。超分辨率图像不仅是图像大小变大，其结构信息和纹理细节应当比有图像有更好的辨识性。传统图像插值算法假设图像具有连续性，使得计算出的高分辨率图像在高频区域产生模糊。为了获得更好的高频细节，必须引入更多的先验信息。Yang等人(参考文献Jianchao,Yang,JohnWright,ThomasHuang,andM.Yi."Imagesuper-resolutionassparserepresentationofrawimagepatches."InProc.IEEEConf.onComputerVisionandPatternRecognition,pp.1-8.2008.)提出了利用自然图像训练对应的高低分辨率字典的方法来学习自然图像的纹理先验，并用此先验补充单幅图像超分辨率的高频细节。此方法设计大量图像块的稀疏编码求解，计算量大，耗时长。Yang的方法耗时长的原因在于：一是稀疏编码求解是一个优化过程，求解步骤中需要迭代多次。二是对于图像块的操作虽然是简单重复，但是没有一个很好的并行方法，导致处理时间上堆叠。
技术实现思路
针对Yang方法耗时长的问题，本专利技术提出了一种快速图像超分辨率重构方法。本专利技术提出一种全新的稀疏编码求解思路，并用CUDA并行求解图像块的稀疏编码和高分辨率重构，极大加速了求解过程。本专利技术的技术方案是：一种快速图像超分辨率重构方法，包括如下步骤：S1.准备对应的高、低分辨率图像数据库，将彩色图像转化为灰度图像。随机选取任一自然图像测试集中的不少于50张图像，选取的这些图像组成高分辨率图像数据库；然后将选取的所有图像按照β:1比例降采样得到对应的低分辨率图像，这些低分辨率图像组成低分辨率图像数据库。将高、低分辨率图像数据库中的图像转化为灰度图像，并将得到的高、低分辨率的灰度图像分别划分为的图像块，其中N为高、低分辨率图像分块的像素数。S2.利用划分的图像块，分别训练低分辨率字典Dl∈RN×n和高分辨率字典Dh∈RN×n，其中N为高、低分辨率图像分块的像素数，n为字典宽度，且n＞＞N。训练方法为求解如下优化问题：D＝argminD,α||Y-DX||+λ||X||0s.t.||xi||0≤1其中Y＝(y1,...,yp)为训练图像块向量为列构成的矩阵，X＝(x1,...,xp)为解向量构成的矩阵。当Y分别为高分辨率、低分辨率图像块向量构成的矩阵时，便可分别得到高、低分辨率字典。S3.设高、低分辨率字典Dh和Dl所在空间的标准正交基集合为{ek}，k＝1,...,N，求出{ek}的低分辨率字典稀疏编码集合{αlk}。对于已知字典Dl和标准正交基向量ek，ek的编码向量为其中α是argmin中待优化的变量，λ是常数，||·||1表示1-范数。S4.输入待处理的低分辨率彩色图像Y，将彩色图像Y转换到YCbCr空间，对其亮度通道进行以下操作：从图像的左上角开始每间隔1个像素分割出一个的图像块，并将其均拉伸成向量，对每个图像块向量y用CUDA内核并行实现以下操作：a.图像块向量y表示为其中xk为系数，ek为标准正交基向量，所以有y＝(x1,x2,...,xN)T。b.已知低分辨率字典Dl和图像块向量y，估计稀疏编码优化问题上述优化问题的解αl的估计值为其中||·||1表示1-范数，表示2-范数的平方，λ为预设常数。c.计算每一个图像块向量y对应的高分辨率图像块x，计算方式为x＝Dhα*；将图像块x放入高分辨率图像X0中，图像块x放入的位置与其对应的原始图像中的图像块所在位置对应；放入图像块x的高分辨率图像区域中每一个像素被认为填充了一次，用矩阵M记录高分辨率图像X0中每一个像素被填充的次数；所有图像块x放入完毕后即得到高分辨率图像X0。S5.输出超分辨率图像X*＝X0./M，其中./表示元素除法。本专利技术利用自然图像纹理具有相似性这一先验，将训练图像数据库中的图像分割为图像块，并拉伸为向量；然后利用这些向量训练稀疏编码字典；对对应的高低分辨率图像数据集训练稀疏编码字典，可以得到对应的高、低分辨率字典。对于新输入的低分辨率原始图像，先利用低分辨率字典计算稀疏编码，而后用高分辨率字典乘以此编码得到高分辨率图像。在稀疏系数求解过程中，先对固定字典计算标准正交基的稀疏系数，对于新输入的稀疏系数采用标准正交基的稀疏系数加权求和的方式快速求取。附图说明图1是本专利技术方法的整体流程图，包含训练过程和单帧图像超分辨率过程；图2是CUDA内核函数并行原理图；图3是本专利技术的CUDA内核函数设计图；图4是本专利技术超分辨率结果与三次插值和Yang方法的对比；图5是本专利技术超分辨率执行时间与三次插值与Yang方法的对比。图6是图像分块方式示意图。具体实施方式为了使本专利技术所解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本专利技术，并不用于限定本专利技术。图1展示了字典训练和单帧图像超分辨率的整体流程。步骤一：1)准备对应的高、低分辨率图像数据库，将彩色图像转化为灰度图像。随机选取任一自然图像测试集(如ImageNet)中的不少于50张图像，选取的这些图像组成高分辨率图像数据库。将选取的这些图像按照β:1比例降采样得到对应的低分辨率图像，这些低分辨率图像组成低分辨率图像数据库。由于本专利技术的图像超分辨率基于图像的亮度信息，而非色彩信息，故高、低分辨率图像数据库的色彩信息无需保留，直接将高、低分辨率图像数据库中的图像转化为灰度图像，并将得到的高、低分辨率的灰度图像分别划分为的图像块。其中N＝25为高、低分辨率图像分块的像素数。设图像块对的数目为p。步骤二：利用划分的图像块，分别训练低分辨率字典Dl∈RN×n和高分辨率字典Dh∈RN×n。其中n＝100为字典宽度。训练方法为求解如下优化问题：D＝argminD,α||Y-DX||+λ||X||0s.t.||xi||0≤1其中Y＝(y1,...,yp}为训练图像块向量为列构成的矩阵，X＝(x1,...,xp)为解向量构成的矩阵。当Y分别为高分辨率、低分辨率图像块向量构成的矩阵时，便可分别得到高、低分辨率字典。步骤三：设高、低分辨率字典Dh和Dl所在空间的标准正交基集合为{ek}，k＝1,...,N，求出{ek}的低分辨率字典稀疏编码{αlk}。具体地，对于已知字典Dl和标准正交基向量ek，ek的编码向量为其中α是argmin中待优化的变量，λ是常数，||·||1表示1-范数。步骤四：输入待处理的低分辨率彩色图像Y，将彩色图像Y转换到YCbCr空间，对其亮度通道进行以下操作：从图像的左上角开始每间隔1个像素分割出一个的图像块，并将其均拉伸成向量，对每个图像块向量y用CUDA内核并行实现以下操作：a.图像块向量y表示为其中xk为系数，ek为标准正交基向量，所以有y＝(x1,x2,..本文档来自技高网...

【技术保护点】
一种快速图像超分辨率重构方法，其特征在于，包括如下步骤：S1.准备对应的高、低分辨率图像数据库，将彩色图像转化为灰度图像；随机选取任一自然图像测试集中的不少于50张图像，选取的这些图像组成高分辨率图像数据库；然后将选取的所有图像按照β:1比例降采样得到对应的低分辨率图像，这些低分辨率图像组成低分辨率图像数据库；将高、低分辨率图像数据库中的图像转化为灰度图像，并将得到的高、低分辨率的灰度图像分别划分为

【技术特征摘要】
1.一种快速图像超分辨率重构方法，其特征在于，包括如下步骤：S1.准备对应的高、低分辨率图像数据库，将彩色图像转化为灰度图像；随机选取任一自然图像测试集中的不少于50张图像，选取的这些图像组成高分辨率图像数据库；然后将选取的所有图像按照β:1比例降采样得到对应的低分辨率图像，这些低分辨率图像组成低分辨率图像数据库；将高、低分辨率图像数据库中的图像转化为灰度图像，并将得到的高、低分辨率的灰度图像分别划分为的图像块，其中N为高、低分辨率图像分块的像素数；S2.利用划分的图像块，分别训练低分辨率字典Dl∈RN×n和高分辨率字典Dh∈RN×n，其中N为高、低分辨率图像分块的像素数，n为字典宽度，且n＞＞N；S3.设高、低分辨率字典Dh和Dl所在空间的标准正交基集合为{ek}，k＝1,...,N，求出{ek}的低分辨率字典稀疏编码集合{αlk}；对于已知字典Dl和标准正交基向量ek，ek的编码向量为其中λ是常数，||·||1表示1-范数；S4.输入待处理的低分辨率彩色图像Y，将彩色图像Y转换到YCbCr空间，对其亮度通道进行以下操作：从图像的左上角开始每间隔1个像素分割出一个的图像块，并将其均拉伸成向量，对每个图像块向量y用CUDA内核并行实现以下操作：a...

【专利技术属性】
技术研发人员：熊志辉，谭瀚霖，张政，赖世铭，王炜，
申请(专利权)人：中国人民解放军国防科学技术大学，
类型：发明
国别省市：湖南,43