自适应流媒体的超分辨率重建方法和装置及服务器制造方法及图纸

本申请公开了一种自适应流媒体的超分辨率重建方法和装置及服务器，其中方法包括：在流媒体的播放过程中，当终端设备下载的视频流的第一分辨率未达到目标超分辨率时，终端设备根据所述第一分辨率和所述目标超分辨率，从服务器中获取相应的超分辨率神经网络；其中，所述超分辨率神经网络预先通过以所述流媒体的所述第一分辨率的视频流为输入、以所述流媒体的所述目标超分辨率的视频流为学习目标，进行模型训练得到；所述目标超分辨率大于所述第一分辨率；所述终端设备利用所述超分辨率神经网络，将下载的所述视频流重构为所述目标超分辨率的视频流，基于所述重构得到的视频流，进行所述流媒体的播放。采用本申请，可以提高自适应流媒体的视频画质。应流媒体的视频画质。应流媒体的视频画质。

【技术实现步骤摘要】
自适应流媒体的超分辨率重建方法和装置及服务器


[0001]本专利技术涉及计算机应用技术，特别是涉及一种自适应流媒体的超分辨率重建方法和装置及服务器。

技术介绍

[0002]目前，在视频播放领域，动态自适应流媒体传输技术(如smooth stream、HLS以及DASH标准等)得到了广泛应用，该技术可以依据不同的网络状况，选择不同码率和分辨率的视频流，以保证视频播放的流畅性。
[0003]专利技术人在实现本专利技术的过程中发现，采用现有的动态自适应码流的播放方案，无法在保证视频播放流畅性的同时保证视频画质。该问题的主要原因在于：现有动态自适应码流的播放方案，为了保证视频播放的流畅性，会考虑实时的网络状状况，控制视频流下载的分辨率，例如，在网络带宽较差时，往往会选择低分辨率视频播放，这样，用户实际下载的视频流分辨率往往无法达到用户的目标播放分辨率，从而使得播放的视频画质无法满足用户需求，甚至在切换到较低分辨率时，会明显地感觉到画质降低，导致用户观看体验变差。

技术实现思路

[0004]有鉴于此，本专利技术的主要目的在于提供一种自适应流媒体的超分辨率重建方法和装置及服务器，可以提高自适应流媒体播放的视频画质。
[0005]为了达到上述目的，本专利技术实施例提出的技术方案为：
[0006]一种自适应流媒体的超分辨率重建方法，包括：
[0007]在流媒体的播放过程中，当终端设备下载的视频流的第一分辨率未达到目标超分辨率时，所述终端设备根据所述第一分辨率和所述目标超分辨率，从服务器中获取相应的超分辨率神经网络；其中，所述超分辨率神经网络预先通过以所述流媒体的所述第一分辨率的视频流为输入、以所述流媒体的所述目标超分辨率的视频流为学习目标，进行模型训练得到；所述目标超分辨率大于所述第一分辨率；
[0008]所述终端设备利用所述超分辨率神经网络，将下载的所述视频流重构为所述目标超分辨率的视频流，基于所述重构得到的视频流，进行所述流媒体的播放。
[0009]本专利技术实施例还提出一种自适应流媒体的超分辨率重建装置，设置于终端设备中，包括：
[0010]超分辨率神经网络获取单元，用于在流媒体的播放过程中，当终端设备下载的视频流的第一分辨率未达到目标超分辨率时，所述终端设备根据所述第一分辨率和所述目标超分辨率，从服务器中获取相应的超分辨率神经网络；其中，所述超分辨率神经网络预先通过以所述流媒体的所述第一分辨率的视频流为输入、以所述流媒体的所述目标超分辨率的视频流为学习目标，进行模型训练得到；所述目标超分辨率大于所述第一分辨率；
[0011]重构播放单元，用于利用所述超分辨率神经网络，将下载的所述视频流重构为所述目标超分辨率的视频流，基于所述重构得到的视频流，进行所述流媒体的播放。
[0012]本专利技术实施例还提出一种服务器，包括：
[0013]超分辨率神经网络生成单元，用于预先为需要提供给终端设备的每个流媒体St，针对该流媒体St的视频流对应的每种第一分辨率，以该流媒体St的所述第一分辨率的视频流为输入、以该第一分辨率对应的每种第二分辨率为学习目标，进行模型训练，得到用于将该流媒体St的所述第一分辨率的视频流重构为所述第二分辨率的视频流的超分辨率神经网络；其中，所述第一分辨率小于所述流媒体St的视频流对应的最大分辨率，所述第二分辨率为所述流媒体St的视频流分辨率范围内大于所述第一分辨率且小于或等于预设最大重构分辨率的分辨率；所述最大重构分辨率大于所述第一分辨率；
[0014]超分辨率神经网络提供单元，用于根据终端设备的请求，将相应的所述超分辨率神经网络发送给所述终端设备，以供所述终端设备在相应流媒体的播放过程中，基于所述超分辨率神经网络，将当前接收的视频流重构为当前目标超分辨率的视频流。
[0015]本专利技术实施例还提出一种自适应流媒体的超分辨率重建设备，包括处理器和存储器；
[0016]所述存储器中存储有可被所述处理器执行的应用程序，用于使得所述处理器执行如上所述自适应流媒体的超分辨率重建方法。
[0017]本专利技术实施例还提出一种计算机可读存储介质，其中存储有计算机可读指令，该计算机可读指令用于执行上述自适应流媒体的超分辨率重建方法。
[0018]本专利技术实施例还提出一种计算机程序产品，包括计算机程序/指令，该计算机程序/指令被处理器执行时实现上述自适应流媒体的超分辨率重建方法的步骤。
[0019]综上所述，本专利技术实施例提出的自适应流媒体的超分辨率重建方案，在服务器侧预先为需要提供给终端设备的每个流媒体，利用该流媒体的视频流数据，训练生成用于将该流媒体的各种分辨率的视频流重构为各种更高分辨率的不同超分辨率神经网络。然后，当流媒体在终端设备中播放时，如果下载的视频流的第一分辨率未达到目标超分辨率，则根据终端设备当前配置的目标超分辨率和当前下载视频流的分辨率(即第一分辨率)，从服务器中获取相应的超分辨率神经网络，利用所获取的超分辨率神经网络，将当前下载的第一分辨率的视频流重构为目标超分辨率的视频流，并基于重构得到的视频流，进行流媒体的播放。如此，由于终端进行视频流重构时采用的超分辨率神经网络是预先基于当前所播放流媒体自身的视频数据训练生成的，因此，可以使得重构得到的视频流能够与相应分辨率的原始视频更贴近，从而可以提高超分辨率重建的准确性，有效解决了下载的视频流分辨率无法满足用户需求的问题，进而可以提高自适应流媒体播放时的视频画质、较大程度地满足用户的播放分辨率要求，尤其能够减少网络状况对视频画质的影响，可以在保证视频播放流畅性的同时保证视频画质。
附图说明
[0020]图1为本专利技术实施例的自适应流媒体的超分辨率重建方法流程示意图；
[0021]图2为本专利技术实施例的超分辨率神经网络的生成示意图；
[0022]图3为本专利技术实施例的超分辨率重建示例图；
[0023]图4为本专利技术实施例的超分辨率重建效果示例图；
[0024]图5为本专利技术实施例的自适应流媒体的超分辨率重建装置结构示意图；
[0025]图6为本专利技术实施例的服务器结构示意图。
具体实施方式
[0026]为使本专利技术的目的、技术方案和优点更加清楚，下面将结合附图及具体实施例对本专利技术作进一步地详细描述。
[0027]图1为本专利技术实施例的自适应流媒体的超分辨率重建方法流程示意图，如图1所示，该实施例主要包括：
[0028]步骤101、在流媒体的播放过程中，当终端设备下载的视频流的第一分辨率未达到目标超分辨率时，所述终端设备根据所述第一分辨率和所述目标超分辨率，从服务器中获取相应的超分辨率神经网络。
[0029]其中，所述超分辨率神经网络预先通过以所述流媒体的所述第一分辨率的视频流为输入、以所述流媒体的所述目标超分辨率的视频流为学习目标，进行模型训练得到；所述目标超分辨率大于所述第一分辨率。
[0030]所述目标超分辨率用于表征用户的视频播放需求。这里，终端设备在流媒体的播放过程中，当终端设备下载的视频流的第一分辨率本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种自适应流媒体的超分辨率重建方法，其特征在于，包括：在流媒体的播放过程中，当终端设备下载的视频流的第一分辨率未达到目标超分辨率时，所述终端设备根据所述第一分辨率和所述目标超分辨率，从服务器中获取相应的超分辨率神经网络；其中，所述超分辨率神经网络预先通过以所述流媒体的所述第一分辨率的视频流为输入、以所述流媒体的所述目标超分辨率的视频流为学习目标，进行模型训练得到；所述目标超分辨率大于所述第一分辨率；所述终端设备利用所述超分辨率神经网络，将下载的所述视频流重构为所述目标超分辨率的视频流，基于所述重构得到的视频流，进行所述流媒体的播放。2.根据权利要求1所述的方法，其特征在于，所述模型训练包括：以所述流媒体的所述第一分辨率的视频流为输入、以所述流媒体的所述目标超分辨率的视频流为学习目标，对预设的基础神经网络进行迁移学习。3.根据权利要求1所述的方法，其特征在于，所述从服务器中获取相应的超分辨率神经网络包括：所述终端设备向所述服务器发送超分辨率神经网络获取请求，所述超分辨率神经网络获取请求携带所述第一分辨率和所述目标超分辨率，以触发所述服务器从预先为所述流媒体生成的超分辨率神经网络集合中，获取与所述第一分辨率和所述目标超分辨率的组合相匹配的所述超分辨率神经网络。4.根据权利要求1所述的方法，其特征在于，所述超分辨率神经网络在所述服务器中与所述流媒体的所述第一分辨率的视频流绑定存储。5.根据权利要求1所述的方法，其特征在于，所述目标超分辨率由所述终端设备按照预设的超分辨率设置原则基于用户的类型确定。6.根据权利要5所述的方法，其特征在于，所述超分辨率设置原则包括：如果所述用户为普通用户，则所述目标超分辨率为用户当前选择的目标播放分辨率；如果所述用户为高级用户，则所述目标超分辨率为预设的高级播放分辨率。7.一种自适应流媒体的超分辨率重建装置，设置于终端设备中，其特征在于，包括：超分辨率神经网络获取单元，用于在流媒体的播放过程中，当终端设备下载的视频流的第一分辨率未达到目标超分辨率时，所述终端设备...

【专利技术属性】
技术研发人员：张玲，汤传吉，
申请(专利权)人：三星电子株式会社，
类型：发明
国别省市：