视频传输方法、服务器、终端和视频传输系统技术方案

本申请实施例公开了一种视频传输方法，应用于视频传输领域，用于降低传输带宽的同时保证接收端的视频画质。本申请实施例方法包括：服务器获取由第一分辨率的目标视频和第二分辨率的所述目标视频训练得到的超分模型，将该超分模型，以及第三分辨率的目标视频发送给终端，终端基于该超分模型对第三分辨率的所述目标视频进行超分辨率重建，相较通过通用的超分模型进行超分辨率重建可以提升视频画质。模型进行超分辨率重建可以提升视频画质。模型进行超分辨率重建可以提升视频画质。

【技术实现步骤摘要】
视频传输方法、服务器、终端和视频传输系统


[0001]本申请涉及视频传输
，尤其涉及一种视频传输方法、服务器、终端和视频传输系统。

技术介绍

[0002]随着电子显像技术发展，屏幕分辨率不断提升，图像和视频等图像资源的流量消耗越来越大，带来非常高昂的带宽成本。降低视频的带宽成本，已经成为了当前视频平台的当务之急。使用较小的分辨率进行压缩传输是一种常用的降带宽技术，可以降低视频平台到用户终端的图像传输带宽。
[0003]由于较小分辨率的视频无法满足用户高质量观看需求，一般用户终端侧(以下简称：端侧)会将接收到的视频进行分辨率恢复后再显示。超分辨率(以下简称：超分)技术是从低分辨率的图片恢复高分辨率图片的一种重要的计算机视觉和图像处理手段。基于深度学习的超分辨率技术发展迅速。已有方法通过在端侧预置一个超分辨率模型，对低画质的视频进行超分辨率重建，获取高分辨率高画质的视频。
[0004]由于不同视频具有各自不同的内容、风格和画质，使用预置模型无法覆盖全部的视频场景，导致恢复的超分辨率视频的画质较原高分辨率视频的画质还有较大差距，甚至在一些场景上视频的画质会劣化。

技术实现思路

[0005]本申请实施例提供了一种视频传输方法，应用于视频传输领域，用于降低传输带宽的同时保证接收端的视频画质。
[0006]本申请实施例的第一方面提供了一种视频传输方法，包括：服务器获取目标视频的超分模型，所述超分模型根据第一分辨率的所述目标视频和第二分辨率的所述目标视频进行训练获取，所述第二分辨率小于所述第一分辨率，所述超分模型的放大倍率为第一分辨率与第二分辨率在长度方向上或在宽度方向上的像素之比；所述服务器向终端发送第三分辨率的所述目标视频和所述超分模型，所述超分模型用于以所述放大倍率对所述第三分辨率的所述目标视频进行超分辨率重建以获取第四分辨率的所述目标视频。
[0007]本申请实施例提供的视频传输方法，服务器向终端发送第三分辨率的目标视频和超分模型，该超分模型是根据不同分辨率(第一分辨率和第二分辨率)的该目标视频训练获取，终端可以根据该超分模型的放大倍率对第三分辨率的目标视频进行超分，获取第四分辨率的该目标视频。由于本申请实施例中的视频传输方法中服务器向终端发送的超分模型基于目标视频训练获取，相较现有技术中终端根据预置的单一的超分模型对各类目标视频进行超分，通过本方法的超分模型在对目标视频进行超分恢复时可以获取较好的超分效果，即恢复的第四分辨率的目标视频的画质较高。
[0008]在第一方面的一种可能的实现方式中，目标视频为单个视频或多个同类型视频的集合。具体的，目标视频可以是一部连续剧中的一集或者一个新闻视频、一部电影等独立的
一个视频，即对单个视频独立训练超分模型；或者，目标视频可以是多个同类型视频，例如系列剧或季播剧中的一个系列，或一季，又或个人博主的同系列视频等，即在内容、人物或表演中具有关联性的多个视频作为目标视频，这些视频通常具有相似的风格和画质，将这些视频独立训练超分模型，超分恢复得到的视频画质较佳。
[0009]在第一方面的一种可能的实现方式中，所述第三分辨率等于所述第二分辨率；所述第四分辨率等于所述第一分辨率。
[0010]本申请实施例提供的视频传输方法，在一种可能的实现方式中，服务器向终端发送的目标视频就是用于训练超分模型的较低分辨率(即第二分辨率)的目标视频，该超分模型用于将第二分辨率的目标视频恢复为第一分辨率的目标视频，在这一实现场景下，超分辨率恢复的效果较佳，恢复得到目标视频的画质较好。
[0011]在第一方面的一种可能的实现方式中，所述服务器获取目标视频的超分模型包括：所述服务器将所述第一分辨率的目标视频和第二分辨率的所述目标视频输入卷积神经网络模型，获取过拟合的所述超分模型。
[0012]本申请实施例提供的视频传输方法，服务器可以将不同分辨率的目标视频输入卷积神经网络模型进行训练，获取过拟合的超分模型，过拟合的超分模型虽然不适用于其他非目标视频的超分，但是在对训练数据集即目标视频进行超分中效果极佳。
[0013]在第一方面的一种可能的实现方式中，所述服务器获取目标视频的超分模型包括：所述服务器对所述第一分辨率的视频中的视频帧和所述第二分辨率的视频中的视频帧进行数据清洗，获取所述第一分辨率的所述目标视频和所述第二分辨率的所述目标视频；所述服务器对所述第一分辨率的所述目标视频和所述第二分辨率的所述目标视频进行训练，获取所述超分模型。
[0014]本申请实施例提供的视频传输方法，服务器在训练超分模型之前还可以先对目标视频的视频帧进行数据清洗，数据清洗包括去除模糊帧与低信息量帧等视频帧，经过数据清洗后的视频用于模型训练可以提高模型效果。
[0015]在第一方面的一种可能的实现方式中，所述服务器向终端发送第三分辨率的所述目标视频和所述超分模型具体包括：所述服务器向所述终端发送所述超分模型的结构；所述服务器向所述终端发送数据包，所述数据包包括所述超分模型的权重参数和所述第三分辨率的所述目标视频。
[0016]本申请实施例提供的视频传输方法，服务器向终端发送目标视频和超分模型的方式有多种，可以分别发送，也可以同时发送。具体地，服务器向终端发送超分模型时，超分模型可以分为超分模型的结构和超分模型的权重参数两部分发送，在一种可能的实现方式中，服务器预先向终端发送超分模型的结构，再向终端发送超分模型的权重参数和目标视频。进一步地，服务器向终端发送时会将目标视频压缩为不同的数据包进行发送，可选地，超分模型的权重参数和目标视频的第一个数据包一起发送给终端，使得终端可以尽快开始对目标视频进行超分，在这一实现方式中，不同的目标视频的超分模型可具有相同的模型结构，每个目标视频的超分模型在发送给终端时，只需要发送对应的权重参数即可，由此，可以减少数据传输量。
[0017]本申请实施例的第二方面提供了一种视频传输方法，包括：终端接收服务器发送的目标视频的超分模型，所述超分模型根据第一分辨率的所述目标视频和第二分辨率的所
述目标视频进行训练获取，所述第二分辨率小于所述第一分辨率，所述超分模型的放大倍率为第一分辨率与第二分辨率在长度方向上或在宽度方向上的像素之比，以及第三分辨率的所述目标视频；所述终端根据所述超分模型，以所述放大倍率对所述第三分辨率的所述目标视频进行超分辨率重建，获取第四分辨率的所述目标视频。
[0018]本申请实施例提供的视频传输方法，终端接收服务器发送的第三分辨率的目标视频和超分模型，由于超分模型是根据不同分辨率(第一分辨率和第二分辨率)的该目标视频训练获取，相较现有技术中终端根据单一的超分模型对各类目标视频进行超分，通过本方法的超分模型在对目标视频进行超分恢复时可以获取较好的超分效果，即恢复的第四分辨率的目标视频的画质较高。
[0019]在第二方面的一种可能的实现方式中，所述目标视频为单个视频或多个同类型视频的集合。
[0020]本申请实施例提供的视频传输方法，目标视频有多种可能的形式，增本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视频传输方法，其特征在于，包括：服务器获取目标视频的超分模型，所述超分模型根据第一分辨率的所述目标视频和第二分辨率的所述目标视频进行训练获取，所述第二分辨率小于所述第一分辨率，所述超分模型的放大倍率为第一分辨率与第二分辨率在长度方向上或在宽度方向上的像素之比；所述服务器向终端发送第三分辨率的所述目标视频和所述超分模型，所述超分模型用于以所述放大倍率对所述第三分辨率的所述目标视频进行超分辨率重建以获取第四分辨率的所述目标视频。2.根据权利要求1所述的方法，其特征在于，所述目标视频为单个视频或多个同类型视频的集合。3.根据权利要求1或2所述的方法，其特征在于，所述第三分辨率等于所述第二分辨率；所述第四分辨率等于所述第一分辨率。4.根据权利要求1至3中任一项所述的方法，其特征在于，所述服务器获取目标视频的超分模型包括：所述服务器将所述第一分辨率的目标视频和第二分辨率的所述目标视频输入卷积神经网络模型，获取过拟合的所述超分模型。5.根据权利要求1至3中任一项所述的方法，其特征在于，所述服务器获取目标视频的超分模型包括：所述服务器对所述第一分辨率的视频中的视频帧和所述第二分辨率的视频中的视频帧进行数据清洗，获取所述第一分辨率的所述目标视频和所述第二分辨率的所述目标视频；所述服务器对所述第一分辨率的所述目标视频和所述第二分辨率的所述目标视频进行训练，获取所述超分模型。6.根据权利要求1至5中任一项所述的方法，其特征在于，所述服务器向终端发送第三分辨率的所述目标视频和所述超分模型具体包括：所述服务器向所述终端发送所述超分模型的结构；所述服务器向所述终端发送数据包，所述数据包包括所述超分模型的权重参数和所述第三分辨率的所述目标视频。7.一种视频传输方法，其特征在于，包括：终端接收服务器发送的目标视频的超分模型，所述超分模型根据第一分辨率的所述目标视频和第二分辨率的所述目标视频进行训练获取，所述第二分辨率小于所述第一分辨率，所述超分模型的放大倍率为第一分辨率与第二分辨率在长度方向上或在宽度方向上的像素之比，以及第三分辨率的所述目标视频；所述终端根据所述超分模型，以所述放大倍率对所述第三分辨率的所述目标视频进行超分辨率重建，获取第四分辨率的所述目标视频。8.根据权利要求7所述的方法，其特征在于，所述目标视频为单个视频或多个同类型视频的集合。9.根据权利要求7或8所述的方法，其特征在于，所述第三分辨率等于所述第二分辨率；
所述第四分辨率等于所述第一分辨率。10.根据权利要求7至9中任一项所述的方法，其特征在于，所述超分模型包括：由所述第一分辨率的目标视频和第二分辨率的所述目标视频输入卷积神经网络模型获取的过拟合的超分模型。11.根据权利要求7至10中任一项所述的方法，其特征在于，所述超分模型包括：所述第一分辨率的所述目标视频和所述第二分辨率的所述目标视频进行训练获取的超分模型，所述第一分辨率的所述目标视频和所述第二分辨率的所述目标视频由所述第一分辨率的视频中的视频帧和所述第二分辨率的视频中的视频帧进行数据清洗得到。12.根据权利要求7至11中任一项所述的方法，其特征在于，所述终端接收服务器发送的目标视频的超分模型，以及第三分辨率的所述目标视频包括：所述终端接收所述服务器发送的所述超分模型的结构；所述终端接收所述服务器发送的数据包，所述数据包包括所述超分模型的权重参数和所述第三分辨率的所述目标视频。13.一种服务器，其特征在于，包括：获取模块，用于获取目标视频的超分模型，所述超分模型根据第一分辨率的所述目标视频和第二分辨率的所述目标视频进行训练获取，所述第二分辨率小于所述第一分辨率，所述超分模型的放大倍率为第一分辨率与第二分辨率在长度方向上的像素之比或在宽度方向上的像素之比；发送模块，用于向终端发送第三分辨率的所述目标视频和所述超分模型，所述超分模型...

【专利技术属性】
技术研发人员：鲁威，王祺，孙龙，林焕，胡康康，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：