【技术实现步骤摘要】
本专利技术涉及图像处理领域，更具体地，涉及一种视频图像画质增强方法、装置、电子设备及存储介质。
技术介绍
1、如今，视频直播在现代社会中变得越来越普遍，尤其是在社交媒体、电子竞技和在线教育等领域。视频直播中通常会设置有多种档位的分辨率和码率，其目的是为了满足观众的多样化需求，并优化服务提供方的资源使用。传统的多档位的视频直播需要对每个档位单独地进行画质增强，这需要耗费大量计算资源，并且为了得到多个不同分辨率档位，通常需要采用传统下采样算法来实现分辨率降低，比如双线性插值、双三次插值、lanczos等下采样算法，但是这些传统下采样算法如果仅在部署后应用，就无法结合模型训练过程对其进行优化调整。
技术实现思路
1、本专利技术旨在克服上述现有技术的至少一种缺陷，提供一种视频图像画质增强方法、装置、电子设备及存储介质，用于在降低播放设备计算资源消耗的前提下，有效地实现多种档位的视频直播的图像画质进行增强。
2、根据本申请的第一方面，提供了一种视频图像画质增强方法，所述增强方法包括：
3、获取源视频数据，并根据所述源视频数据的帧图像构建对应的源视频图像集；
4、将所述源视频图像集输入预训练的多档位画质增强模型，通过所述多档位画质增强模型的若干输出通道，分别获取所述源视频数据在不同分辨率、不同码率下对应的所述画质增强图像集；
5、分别根据每个所述画质增强图像集，获取对应分辨率、对应码率的增强视频。
6、可选的，所述多档位画质增强模型包
7、画质增强网络，所述画质增强网络包括若干输出通道，并将所述输出通道进行划分为若干单画质类输出通道；所述画质增强网络用于根据输入的图像集进行画质增强，并通过划分后的若干所述单画质类输出通道分别输出若干增强后的，相同分辨率、不同画质的增强图像集；所述不同画质分别对应于所述不同码率；
8、采样网络，用于分别根据所述画质增强网络输出的增强图像集，进行上采样或下采样，获取若干不同分辨率的增强图像集作为输出。
9、可选的，所述多档位画质增强模型的训练，具体包括：
10、分别获取若干不同分辨率、内容相同的训练视频数据；
11、根据所述训练视频数据中的若干时间点，分别从若干所述训练视频数据中抽取对应的图像帧，并分别根据每个训练视频数据抽取的所有图像帧构建对应的训练图像数据集；
12、通过预训练的单档位画质增强模型，分别获取每个所述训练图像数据集对应的训练增强图像数据集；
13、选取一个所述训练图像数据集，将选取的所述训练图像数据集输入待训练的所述多档位画质增强模型，获取若干增强预测图像数据集；一个所述增强预测图像数据集对应一个所述训练图像数据集；
14、分别计算每个所述增强预测图像数据集与对应的所述训练增强图像数据集的多档损失，并分别根据所述多档损失更新所述多档位画质增强模型。
15、可选的，所述单档位画质增强模型的训练，具体包括：
16、获取若干高清训练视频数据；任意两个所述高清训练视频数据的分辨率不同，和/或码率不同；
17、保持分辨率和码率不变，分别对每个所述高清训练视频数据进行画质退化处理，获取对应的低清训练视频数据；
18、分别在所述高清训练视频数据和对应的低清训练视频数据中，根据若干时间点抽取对应的图像帧，并分别根据所述高清训练视频数据和低清训练视频数据抽取的所有图像帧构建高清训练图像集和低清训练图像集；
19、将不同分辨率的所述低清训练图像集输入所述单档位画质增强模型，获取对应的单档位预测图像集；
20、计算所述单档位预测图像集与所述高清预测训练图像集的单档损失，并根据所述单档损失更新所述单档位画质增强模型。
21、可选的，所述单档位画质增强模型包括若干个；每个所述单档位画质增强模型针对一种分辨率和码率的组合进行训练。
22、可选的，所述保持分辨率和码率不变，分别对每个所述高清训练视频数据进行画质退化处理，获取对应的低清训练视频数据，具体包括：
23、保持所述高清训练视频数据的分辨率和码率不变；
24、将所述高清训练视频数据按照对应的分辨率和码率，通过直播流传输到预设的播放端，通过采集传输至所述播放端的播放视频数据，将所述播放视频数据作为所述低清训练视频数据。
25、可选的，所述画质增强网络基于超分辨率网络构建。
26、根据本申请的第二方面，提供了一种视频图像画质增强装置，所述增强装置包括：
27、源视频获取模块，用于获取源视频数据，并根据所述源视频数据的帧图像构建对应的源视频图像集；
28、多档位增强模块，用于将所述源视频图像集输入预训练的多档位画质增强模型，通过所述多档位画质增强模型的若干输出通道，分别获取所述源视频数据在不同分辨率、不同码率下对应的所述画质增强图像集；
29、视频还原输出模块，用于分别根据每个所述画质增强图像集，获取对应分辨率、对应码率的增强视频。
30、根据本申请的第三方面，提供了一种电子设备，包括存储器和处理器，所述存储器上存储有计算机可读指令，所述处理器执行所述计算机可读指令，实现上述第一方面所述的一种视频图像画质增强方法。
31、根据本申请的第四方面，提供了一种计算机存储介质，其上存储有计算机可读程序，所述计算机可读程序被执行时，实现上述第一方面所述的一种视频图像画质增强方法。
32、根据上述提供的任意一个方面，本申请提供的一种视频图像画质增强方法、装置、电子设备集存储介质，通过预先训练的多档位画质增强模型对源视频图像集进行画质提升处理，其中，所述多档位画质增强模型中设置有若干个输出通道，所述多档位画质增强模型能够根据设置的所述输出通道，获取所述源视频数据在不同分辨率、不同码率下对应的所述画质增强图像集；所以利用所述多档位画质增强模型，仅需要对所述源视频的源视频图像集进行一次画质增强操作，就能够快速、有效地得到多个不同档位的视频；
33、进一步的，本申请提供的一种视频图像画质增强方法、装置、电子设备集存储介质，通过对所述超分辨率网络进行改进，构建所述多档位画质增强模型的所述画质增强网络，利用所述超分辨率网络成熟且有效的画质增强能力，能够有效地实现的画质增强，进而提高构建的所述画质增强网络的画质增强能力；在此基础上，通过调整所述画质增强网络的输出通道，将原始的输出通道划分为输出不同画质图像的单画质类输出通道，并能够通过所述单画质类输出通道实现，通过一次的画质增强操作来获取多种不同画质的增强图像。
本文档来自技高网...【技术保护点】
1.一种视频图像画质增强方法，其特征在于，所述增强方法包括：
2.根据权利要求1所述的一种视频图像画质增强方法，其特征在于，所述多档位画质增强模型包括：
3.根据权利要求1或2任一项所述的一种视频图像画质增强方法，其特征在于，所述多档位画质增强模型的训练，具体包括：
4.根据权利要求3所述的一种视频图像画质增强方法，其特征在于，所述单档位画质增强模型的训练，具体包括：
5.根据权利要求4所述的一种视频图像画质增强方法，其特征在于，所述单档位画质增强模型包括若干个；每个所述单档位画质增强模型针对一种分辨率和码率的组合进行训练。
6.根据权利要求4所述的一种视频图像画质增强方法，其特征在于，所述保持分辨率和码率不变，分别对每个所述高清训练视频数据进行画质退化处理，获取对应的低清训练视频数据，具体包括：
7.根据权利要求1或2任一项所述的一种视频图像画质增强方法，其特征在于，所述画质增强网络基于超分辨率网络构建。
8.一种视频图像画质增强装置，其特征在于，所述增强装置包括：
9.一种电子设备
10.一种计算机存储介质，其特征在于，其上存储有计算机可读程序，所述计算机可读程序被执行时，实现上述权利要求1-7任一项所述的一种视频图像画质增强方法。
...【技术特征摘要】
1.一种视频图像画质增强方法，其特征在于，所述增强方法包括：
2.根据权利要求1所述的一种视频图像画质增强方法，其特征在于，所述多档位画质增强模型包括：
3.根据权利要求1或2任一项所述的一种视频图像画质增强方法，其特征在于，所述多档位画质增强模型的训练，具体包括：
4.根据权利要求3所述的一种视频图像画质增强方法，其特征在于，所述单档位画质增强模型的训练，具体包括：
5.根据权利要求4所述的一种视频图像画质增强方法，其特征在于，所述单档位画质增强模型包括若干个；每个所述单档位画质增强模型针对一种分辨率和码率的组合进行训练。
6.根据权利要求4所述的一种视频图像画质增强方法，其特征在于，所述保持...
【专利技术属性】
技术研发人员：杨婕婷，
申请(专利权)人：广州虎牙科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。