【技术实现步骤摘要】
本公开涉及视频处理，尤其涉及一种视频增强模型的训练方法、视频增强方法、视频增强模型的训练装置、视频增强装置、电子设备、计算机可读存储介质和计算机程序产品。
技术介绍
1、随着短视频行业用户数量的持续增长，越来越多的观众转变为创作者。但受限于非专业拍摄设备，拍摄的视频清晰度较低，且设备的图像处理能力不足，难以满足画质预期。为此，创作者往往借助视频编辑软件进行二次创作，以提升视频质量。然而，现有的视频增强算法聚焦于提升图像清晰度，而忽略了增强后视频的编码难度，导致编码后的码率上升，增加传输所需的带宽成本。
2、需要说明的是，在上述
技术介绍
部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
技术实现思路
1、本公开提供一种视频增强模型的训练方法、视频增强方法、视频增强模型的训练装置、视频增强装置、电子设备、计算机可读存储介质和计算机程序产品，以便克服上述问题或者至少部分地解决上述问题。
2、本公开实施例提供一种视频增强模型的训练方法，所述方法包括：获取训练视频集；所述训练视频集包括多个训练视频，所述训练视频包括多个训练视频帧对，所述训练视频帧对包括相邻的第一训练视频帧和第二训练视频帧；基于视频增强模型对所述第一训练视频帧进行增强处理，获得第一处理视频帧；基于所述视频增强模型对所述第二训练视频帧进行增强处理，获得第二处理视频帧；基于可导编码器对所述第一处理视频帧和所述第二处理视频帧进行重建处理，获得重建视频帧和
3、在本公开一些实施例中，所述基于视频增强模型对所述第一训练视频帧进行增强处理，获得第一处理视频帧，包括：对所述第一训练视频帧进行降质处理，获得第一降质视频帧；将所述第一降质视频帧输入至所述视频增强模型进行增强处理，获得第一增强视频帧；对所述第一增强视频帧进行视频编码前处理，获得所述第一处理视频帧。
4、在本公开一些实施例中，所述基于所述视频增强模型对所述第二训练视频帧进行增强处理，获得第二处理视频帧，包括：对所述第二训练视频帧进行降质处理，获得第二降质视频帧；将所述第二降质视频帧输入至所述视频增强模型进行增强处理，获得第二增强视频帧；对所述第二增强视频帧进行视频编码前处理，获得所述第二处理视频帧。
5、在本公开一些实施例中，所述方法还包括；基于可导的视频编码前处理模块对增强视频帧进行编码前处理。
6、在本公开一些实施例中，所述方法还包括：对所述第一训练视频帧和所述第二训练视频帧进行运动估计，获得所述第二训练视频帧相对于所述第一训练视频帧的运动向量。
7、在本公开一些实施例中，所述基于可导编码器对所述第一处理视频帧和所述第二处理视频帧进行重建处理，获得重建视频帧和码率信息，包括：将所述第一处理视频帧、所述第二处理视频帧和所述运动向量输入所述可导编码器进行重建处理，获得所述重建视频帧和所述码率信息。
8、在本公开一些实施例中，所述损失信息包括以下选项中的一个或多个：保真损失信息、感知损失信息和画质损失信息。
9、在本公开一些实施例中，所述视频增强模型包括基础增强模型和微调增强模型，所述基础增强模型为预先训练的增强模型，所述微调增强模型为待训练的增强模型；其中，所述根据所述损失信息和所述码率信息训练所述视频增强模型，获得训练完成的视频增强模型，包括：根据所述损失信息和所述码率信息训练所述微调增强模块，获得训练完成的微调增强模型；连接所述基础增强模型和所述训练完成的微调增强模型，获得所述训练完成的视频增强模型。
10、本公开实施例提供一种视频增强方法，所述方法包括：获取待处理视频；所述待处理视频包括多个待处理视频帧；将所述待处理视频帧输入根据上述的视频增强模型的训练方法获得的训练完成的视频增强模型，获得所述待处理视频帧对应的增强视频帧。
11、本公开实施例提供一种视频增强模型的训练装置，所述装置包括：训练视频获取模块，被配置为获取训练视频集；所述训练视频集包括多个训练视频，所述训练视频包括多个训练视频帧对，所述训练视频帧对包括相邻的第一训练视频帧和第二训练视频帧；增强处理模块，被配置为基于视频增强模型对所述第一训练视频帧进行增强处理，获得第一处理视频帧；基于所述视频增强模型对所述第二训练视频帧进行增强处理，获得第二处理视频帧；重建处理模块，被配置为基于可导编码器对所述第一处理视频帧和所述第二处理视频帧进行重建处理，获得重建视频帧和码率信息；损失确定模块，被配置为根据所述重建视频帧和所述第二训练视频帧，确定损失信息；训练模块，被配置为根据所述损失信息和所述码率信息训练所述视频增强模型，获得训练完成的视频增强模型。
12、本公开实施例提供一种视频增强装置，所述装置包括：待处理视频获取模块，被配置为获取待处理视频；所述待处理视频包括多个待处理视频帧；视频增强模块，被配置为将所述待处理视频帧输入根据权利要求1至8中任一项所述的视频增强模型的训练方法获得的训练完成的视频增强模型，获得所述待处理视频帧对应的增强视频帧。
13、本公开实施例提供一种电子设备，包括：处理器；用于存储处理器可执行指令的存储器；其中，处理器被配置为执行可执行指令，以实现上述的视频增强模型的训练方法，或实现上述的视频增强方法。
14、本公开实施例提供一种计算机可读存储介质，当计算机可读存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行上述的视频增强模型的训练方法，或执行上述的视频增强方法。
15、本公开实施例提供一种计算机程序产品，包括计算机程序，计算机程序被处理器执行时实现上述的视频增强模型的训练方法，或实现上述的视频增强方法。
16、本公开实施例提供的视频增强模型的训练方法，通过引入可导编码器训练视频增强模型，在训练过程中考虑了视频质量和编码后的码率，可以实现端到端的优化，这种优化方式比单独优化视频增强模型更加高效，确保了整体性能的最大化。由于在训练过程中考虑了编码后的码率信息，使得训练完成的视频增强模型能够在提升视频质量的同时，尽量保持较低的编码码率，能够显著降低所需的传输带宽，从而降低成本。此外，通过在训练过程中使用包含多个训练视频帧对的训练视频集，使得视频增强模型能够学习到更多样化的视频特征和处理方式，有助于提升模型的泛化能力，使其能够更好地适应不同风格、不同质量的视频输入。
17、应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
本文档来自技高网...【技术保护点】
1.一种视频增强模型的训练方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述基于视频增强模型对所述第一训练视频帧进行增强处理，获得第一处理视频帧，包括：
3.根据权利要求1所述的方法，其特征在于，所述基于所述视频增强模型对所述第二训练视频帧进行增强处理，获得第二处理视频帧，包括：
4.根据权利要求2或3所述的方法，其特征在于，所述方法还包括：
5.根据权利要求1所述的训练方法，其特征在于，所述方法还包括：
6.根据权利要求5所述的方法，其特征在于，所述基于可导编码器对所述第一处理视频帧和所述第二处理视频帧进行重建处理，获得重建视频帧和码率信息，包括：
7.根据权利要求1所述的方法，其特征在于，所述损失信息包括以下选项中的一个或多个：保真损失信息、感知损失信息和画质损失信息。
8.根据权利要求1所述的方法，其特征在于，所述视频增强模型包括基础增强模型和微调增强模型，所述基础增强模型为预先训练的增强模型，所述微调增强模型为待训练的增强模型；
9.一种视频增强方
10.一种视频增强模型的训练装置，其特征在于，所述装置包括：
11.一种视频增强装置，其特征在于，所述装置包括：
12.一种电子设备，其特征在于，包括：处理器；用于存储所述处理器可执行指令的存储器；其中，所述处理器被配置为执行所述可执行指令，以实现如权利要求1至8中任一项所述的视频增强模型的训练方法，或实现如权利要求9中所述的视频增强方法。
13.一种计算机可读存储介质，当所述计算机可读存储介质中的指令由电子设备的处理器执行时，使得所述电子设备能够执行如权利要求1至8中任一项所述的视频增强模型的训练方法，或实现如权利要求9中所述的视频增强方法。
14.一种计算机程序产品，包括计算机程序/指令，其特征在于，所述计算机程序/指令被处理器执行时，实现如权利要求1至8中任一项所述的视频增强模型的训练方法，或实现如权利要求9中所述的视频增强方法。
...【技术特征摘要】
1.一种视频增强模型的训练方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述基于视频增强模型对所述第一训练视频帧进行增强处理，获得第一处理视频帧，包括：
3.根据权利要求1所述的方法，其特征在于，所述基于所述视频增强模型对所述第二训练视频帧进行增强处理，获得第二处理视频帧，包括：
4.根据权利要求2或3所述的方法，其特征在于，所述方法还包括：
5.根据权利要求1所述的训练方法，其特征在于，所述方法还包括：
6.根据权利要求5所述的方法，其特征在于，所述基于可导编码器对所述第一处理视频帧和所述第二处理视频帧进行重建处理，获得重建视频帧和码率信息，包括：
7.根据权利要求1所述的方法，其特征在于，所述损失信息包括以下选项中的一个或多个：保真损失信息、感知损失信息和画质损失信息。
8.根据权利要求1所述的方法，其特征在于，所述视频增强模型包括基础增强模型和微调增强模型，所述基础增强模型为预先训练的...
【专利技术属性】
技术研发人员：李马丁，孙明，周超，
申请(专利权)人：北京达佳互联信息技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。