【技术实现步骤摘要】
本申请涉及视频处理领域，具体涉及一种基于移动终端的实时视频超分辨率放大的方法。
技术介绍
1、在视频处理领域中，视频超分辨率算法是一种将低分辨率(lr)视频转化为高分辨率(hr)视频的方法。目前主流研究的超分辨率放大算法都是通过深度卷积神经网络(cnn)算法来进行，具有较大的计算量，耗时比较高的问题。因此在实际业务中，主要应用通常是将一段低分辨率视频，通过超分辨率算法，将每一帧视频图像帧放大成高分辨率图像帧，然后将高分辨率图像帧序列编码成高清视频文件，最后使用播放器直接来播放编码后的新的高清视频文件。
2、相关技术中实时视频超分辨率放大方法的现有算法和部署方式对于实时视频的超分辨率放大计算耗时较长，导致无法满足实时视频帧率的要求，只适用于离线视频文件，存在改进之处。
技术实现思路
1、本申请实施例的目的在于提供一种基于移动终端的实时视频超分辨率放大的方法，以改善相关技术中实时视频超分辨率放大方法的现有算法和部署方式对于实时视频的超分辨率放大计算耗时较长，导致无法满足实时视频帧率的要求，只适用于离线视频文件的问题。
2、本申请提供了一种基于移动终端的实时视频超分辨率放大的方法，包括以及具体步骤：
3、获取实时视频流中的视频图像帧，对所述视频图像帧进行视频解码，将视频图像帧从rgb数据格式解码成yuv数据格式，并将所述yuv数据格式的通道数据组成纹理图像上传至图形处理器；
4、在图形处理器中使用嵌入式图形加速接口创建渲染管线，并设置uv通
5、通过uv通道渲染管线对yuv数据格式的视频图像帧进行u通道数据和v通道数据的双三次线性插值超分辨率放大，得到放大后的u'通道数据和v'通道数据；
6、通过y通道渲染管线对yuv数据格式的视频图像帧进行y通道数据的分组卷积神经网络超分辨率放大，得到放大后的y'通道数据；
7、将放大后的u'通道数据、v'通道数据和y'通道数据对应的y'u'v'数据格式通过格式转换渲染管线转换成r'g'b'数据格式，将所述r'g'b'数据格式直接通过图形处理器进行显示。
8、优选地，获取实时视频流中的视频图像帧，对所述视频图像帧进行视频解码，将视频图像帧从rgb数据格式解码成yuv数据格式，并将所述yuv数据格式的通道数据组成纹理图像上传至图形处理器，具体为：
9、通过视频解码器将rgb数据格式的视频图像帧解码成yuv数据格式的视频图像帧；
10、yuv数据格式的视频图像帧包括y通道数据、u通道数据和v通道数据；
11、将所述y通道数据、u通道数据和v通道数据分别组成对应的纹理图像；
12、将所述纹理图像通过图形处理器的嵌入式图形加速接口上传至图形处理器。
13、优选地，将所述y通道数据、u通道数据和v通道数据分别组成对应的纹理图像，具体为：
14、所述纹理图像用于存储多个通道数据；
15、所述纹理图像根据通道数据中不同的通道数量分别在水平和垂直方向进行纹理图像的布局。
16、优选地，其特征在于，在图形处理器中使用嵌入式图形加速接口创建渲染管线，并设置uv通道渲染管线、y通道渲染管线和格式转换渲染管线，具体为：
17、所述渲染管线依据预设的配置参数和输入纹理图像进行计算得到输出纹理图像，每个渲染管线对应一个计算过程；
18、所述输入纹理图像为卷积计算的通道数据和权重数据；
19、渲染管线对所述通道数据和权重数据进行计算后得到输出通道数据；
20、将渲染管线的所有输出通道数据布局存储于纹理图像中得到输出纹理图像。
21、优选地，通过uv通道渲染管线对yuv数据格式的视频图像帧进行u通道数据和v通道数据的双三次线性插值超分辨率放大，得到放大后的u'通道数据和v'通道数据，具体为：
22、所述uv通道渲染管线包含两个bicubic渲染管线，通过嵌入式图形加速接口的脚本对所述bicubic渲染管线预设的配置参数进行设置；
23、将u通道数据和v通道数据组成的纹理图像作为输入纹理图像均输入两个bicubic渲染管线；
24、两个bicubic渲染管线将输入纹理图像的每一个像素点均进行三次线性差值放大，得到u通道数据和v通道数据各自对应的输出纹理图像；
25、所述u通道数据对应的输出纹理图像包含放大后的所有u'通道数据；
26、所述v通道数据对应的输出纹理图像包含放大后的所有v'通道数据。
27、优选地，通过y通道渲染管线对yuv数据格式的视频图像帧进行y通道数据的分组卷积神经网络超分辨率放大，得到放大后的y'通道数据，具体为：
28、所述y通道渲染管线包括conv1渲染管线、conv2渲染管线、conv3渲染管线和pixelshuffle渲染管线；
29、通过conv1渲染管线、conv2渲染管线、conv3渲染管线和pixelshuffle渲染管线组成的分组卷积神经网络对y通道数据进行超分辨率放大；
30、通过嵌入式图形加速接口的脚本对所述conv1渲染管线、conv2渲染管线、conv3渲染管线和pixelshuffle渲染管线预设的配置参数进行设置；
31、所述conv1渲染管线用于对输入纹理图像的数据进行卷积运算以及运算结果激活；所述conv2渲染管线和conv3渲染管线用于对输入纹理图像的数据进行分组、通道混排、卷积运算以及运算结果激活；
32、所述pixelshuffle渲染管线用于对输入纹理图像的数据进行重排处理。
33、优选地，所述conv1渲染管线用于对输入纹理图像的数据进行卷积运算以及运算结果激活；所述conv2渲染管线和conv3渲染管线用于对输入纹理图像的数据进行分组、通道混排、卷积运算以及运算结果激活，具体为：
34、将预设的常量数据作为卷积计算的权重数据，并将所述权重数据组成纹理图像分别输入至conv1渲染管线、conv2渲染管线和conv3渲染管线；
35、将y通道数据组成的纹理图像输入至conv1渲染管线；
36、将y通道数据和权重数据作为输入纹理图像输入至conv1渲染管线，conv1渲染管线对所述输入纹理图像进行第一卷积运算，并将第一卷积运算结果进行tach激活处理，得到第一输出纹理图像；
37、将权重数据和第一输出纹理图像中的通道数据作为输入纹理图像输入至conv2渲染管线，conv2渲染管线将所述输入纹理图像中的数据进行分组并通过通道混排进行混淆后，对所述输入纹理图像中的数据进行第二卷积运算，并将第二卷积运算结果进行tach激活处理，得到第二输出纹理图像；
38、将权重数据和第二输出纹理图像中的通道数据作为输入纹理图像输入至conv3渲染管线，conv3渲染管线将所述输入纹本文档来自技高网...
【技术保护点】
1.一种基于移动终端的实时视频超分辨率放大的方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于移动终端的实时视频超分辨率放大的方法，其特征在于，获取实时视频流中的视频图像帧，对所述视频图像帧进行视频解码，将视频图像帧从RGB数据格式解码成YUV数据格式，并将所述YUV数据格式的通道数据组成纹理图像上传至图形处理器，具体为：
3.根据权利要求2所述的一种基于移动终端的实时视频超分辨率放大的方法，其特征在于，将所述Y通道数据、U通道数据和V通道数据分别组成对应的纹理图像，具体为：
4.根据权利要求1所述的一种基于移动终端的实时视频超分辨率放大的方法，其特征在于，在图形处理器中使用嵌入式图形加速接口创建渲染管线，并设置UV通道渲染管线、Y通道渲染管线和格式转换渲染管线，具体为：
5.根据权利要求1所述的一种基于移动终端的实时视频超分辨率放大的方法，其特征在于，通过UV通道渲染管线对YUV数据格式的视频图像帧进行U通道数据和V通道数据的双三次线性插值超分辨率放大，得到放大后的U'通道数据和V'通道数据，具体为：
7.根据权利要求6所述的一种基于移动终端的实时视频超分辨率放大的方法，其特征在于，所述Conv1渲染管线用于对输入纹理图像的数据进行卷积运算以及运算结果激活；所述Conv2渲染管线和Conv3渲染管线用于对输入纹理图像的数据进行分组、通道混排、卷积运算以及运算结果激活，具体为：
8.根据权利要求7所述的一种基于移动终端的实时视频超分辨率放大的方法，其特征在于，所述PixelShuffle渲染管线用于对输入的纹理图像数据进行重排处理，具体为：
9.根据权利要求8所述的一种基于移动终端的实时视频超分辨率放大的方法，其特征在于，将放大后的U'通道数据、V'通道数据和Y'通道数据对应的Y'U'V'数据格式通过格式转换渲染管线转换成R'G'B'数据格式，将所述R'G'B'数据格式直接通过图形处理器进行显示，具体为：
...【技术特征摘要】
1.一种基于移动终端的实时视频超分辨率放大的方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于移动终端的实时视频超分辨率放大的方法，其特征在于，获取实时视频流中的视频图像帧，对所述视频图像帧进行视频解码，将视频图像帧从rgb数据格式解码成yuv数据格式，并将所述yuv数据格式的通道数据组成纹理图像上传至图形处理器，具体为：
3.根据权利要求2所述的一种基于移动终端的实时视频超分辨率放大的方法，其特征在于，将所述y通道数据、u通道数据和v通道数据分别组成对应的纹理图像，具体为：
4.根据权利要求1所述的一种基于移动终端的实时视频超分辨率放大的方法，其特征在于，在图形处理器中使用嵌入式图形加速接口创建渲染管线，并设置uv通道渲染管线、y通道渲染管线和格式转换渲染管线，具体为：
5.根据权利要求1所述的一种基于移动终端的实时视频超分辨率放大的方法，其特征在于，通过uv通道渲染管线对yuv数据格式的视频图像帧进行u通道数据和v通道数据的双三次线性插值超分辨率放大，得到放大后的u'通道数据和v'通道数据，具体为...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。