视频显示控制方法及其装置、设备、介质、产品制造方法及图纸

本申请涉及一种视频显示控制方法及其装置、设备、介质、产品，所述方法包括：获取直播视频流，所述直播视频流中包含多个图像帧及其目标质量指标；根据所述图像帧的编码分辨率及其相应的目标质量指标确定所述图像帧的缩放操作相对应的接口类型，所述接口类型为硬件接口类型或软件接口类型；调用所述接口类型相对应的缩放接口对所述图像帧进行缩放操作后渲染显示到直播间界面的视频播放窗口中。本申请以推送直播视频流时给定的图像帧的目标质量指标为标准，基于该目标质量指标确定相对应缩放接口实施对所述图像帧的缩放操作，使直播视频流在直播间界面中播放时，能够获得相对应较为优质、稳定的画面效果，能够提升网络直播用户的使用体验。的使用体验。的使用体验。

【技术实现步骤摘要】
视频显示控制方法及其装置、设备、介质、产品


[0001]本申请涉及直播视频处理
，尤其涉及一种视频显示控制方法及其装置、设备、介质、产品。

技术介绍

[0002]网络直播传输的直播视频流，会经过编码传输，在编码过程中，考虑到接收端的终端设备的显示质量的问题，一般是关联带宽、质量指标、码率、分辨率等多个维度的关联变动，来确定一组编码控制参数，通过这些编码控制参数来保证终端设备所获得的直播视频流的质量，使直播视频流播放时能够获得优质的显示效果。
[0003]但是，传统技术在处理直播视频流的显示时，往往忽视对终端设备侧的硬件条件的考虑，而任由终端设备一侧按照其固有的业务逻辑，使用相应的解码方式，将直播视频流中的图像帧渲染显示到直播程序的视频流播放窗口中。
[0004]直播视频流到达终端设备后，通常都需要适应终端设备中视频流播放窗口的分辨率做相应的缩放操作，相应的缩放算法主要分为软件缩放和硬件缩放两大类，其中，硬件缩放主要依赖于终端设备的硬件条件，可以节省设备功耗和CPU的算力开销，但其缩放后的图像效果相对一般；而软件缩放则有多种，不同的软件缩放算法对算力的要求不同，效果也不同，一般来说，算力要求高的软件算法，其缩放后的图像效果更佳。
[0005]所以，缩放算法的匹配也能决定直播视频流在终端的显示效果，而传统技术往往忽略对这一技术关键的应对方案，导致虽然在服务端对直播视频流实施了编码控制，但直播视频流在不同的终端设备中显示的时候，其图像显示效果差别较大。

技术实现思路

[0006]本申请的目的在于解决上述问题而提供一种视频显示控制方法及其相应的装置、设备、非易失性可读存储介质，以及计算机程序产品。
[0007]根据本申请的一个方面，提供一种视频显示控制方法，包括如下步骤：
[0008]获取直播视频流，所述直播视频流中包含多个图像帧及其目标质量指标；
[0009]根据所述图像帧的编码分辨率及其相应的目标质量指标确定所述图像帧的缩放操作相对应的接口类型，所述接口类型为硬件接口类型或软件接口类型；
[0010]调用所述接口类型相对应的缩放接口对所述图像帧进行缩放操作后渲染显示到直播间界面的视频播放窗口中。
[0011]根据本申请的另一方面，提供一种视频显示控制装置，包括：
[0012]数据获取模块，设置为获取直播视频流，所述直播视频流中包含多个图像帧及其目标质量指标；
[0013]接口匹配模块，设置为根据所述图像帧的编码分辨率及其相应的目标质量指标确定所述图像帧的缩放操作相对应的接口类型，所述接口类型为硬件接口类型或软件接口类型；
[0014]缩放显示模块，设置为调用所述接口类型相对应的缩放接口对所述图像帧进行缩放操作后渲染显示到直播间界面的视频播放窗口中。
[0015]根据本申请的另一方面，提供一种视频显示控制设备，包括中央处理器和存储器，所述中央处理器用于调用运行存储于所述存储器中的计算机程序以执行本申请所述的视频显示控制方法的步骤。
[0016]根据本申请的另一方面，提供一种非易失性可读存储介质，其以计算机可读指令的形式存储有依据所述的视频显示控制方法所实现的计算机程序，所述计算机程序被计算机调用运行时，执行该方法所包括的步骤。
[0017]根据本申请的另一方面，提供一种计算机程序产品，包括计算机程序/指令，所述计算机程序/指令被处理器执行时实现本申请任意一种实施例中所述方法的步骤。
[0018]相对于现有技术，本申请在获取直播视频流时同步获取直播视频流中的各个图像帧相对应的目标质量指标，然后根据所述图像帧的编码分辨率及目标质量指标来选择缩放操作相对应的接口类型，调用所述接口类型相对应的缩放接口实施对所述图像帧的缩放操作后渲染显示到直播间界面的视频播放窗口中，以推送直播视频流时给定的图像帧的目标质量指标为标准，基于该目标质量指标匹配接口类型，由接口类型相对应缩放接口实施对所述图像帧的缩放操作，确保所述图像帧缩放后的图像效果能够最大化程度地符合所述目标质量指标所建立的标准，使直播视频流在直播间界面中播放时，能够获得相对应较为优质、稳定的画面效果，能够提升网络直播用户的使用体验。
附图说明
[0019]为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0020]图1为本申请所应用的网络直播环境相对应的网络架构示意图；
[0021]图2为本申请中对直播视频流进行编码所依据的技术框架的原理示意图；
[0022]图3为本申请的视频显示控制方法的实施例的流程示意图；
[0023]图4为本申请在一种实施例中，借助分辨率预测模型确定图像帧缩放操作相对应的接口类型的流程示意图；
[0024]图5为用于揭示给定的目标质量指标与预测的理想分辨率之间的映射关系所构造的数据曲线的示意图；
[0025]图6为本申请在另一实施例中，借助接口映射表格查询确定图像帧缩放操作相对应的接口类型的流程示意图；
[0026]图7为本申请的实施例中区别不同接口类型处理图像帧的流程示意图；
[0027]图8为本申请实施例中区别不同情形调用不同软件缩放接口对图像帧实施缩放操作的流程示意图；
[0028]图9为本申请实施例中对缩放后的图像帧调整画幅的流程示意图；
[0029]图10为本申请实施例中媒体服务器侧编码直播视频流的流程示意图；
[0030]图11为本申请的视频显示控制装置的原理框图；
[0031]图12为本申请所采用的一种视频显示控制设备的结构示意图。
具体实施方式
[0032]请参阅图1，本申请示例性的应用场景所采用的网络架构，其可用于部署网络直播服务，网络直播服务的直播视频流的经编码处理后传输至终端设备。图1所示的应用服务器81可用于支持网络直播的直播间的运行，而媒体服务器82可用于处理各个直播用户推送的直播视频流的解编码过程而实现中继，其中的计算机83、移动电话84之类的终端设备，作为客户端，一般提供给终端用户使用。终端设备接收所述直播视频流之后，可以应用根据本申请的视频显示控制方法编程实现的计算机程序产品，用于实现对直播视频流中的图像帧的缩放操作，并将其显示到直播间界面的视频播放窗口中。
[0033]一种实施例中，根据本申请的视频显示控制方法编程实现的计算机程序产品可以实现为直播间应用程序的一个插件，随同直播间的加载而运行，以便为直播间的直播视频流实现缩放操作。
[0034]图2所示的原理框图揭示了网络直播服务的媒体服务器关于推送直播视频流的实现原理，由该图可以看出，为了向编码器提供最佳分辨率参数，自适应控制编码器对视频流的图像帧进行编码，由一个参数优化模型根据编码器的出口带宽而模拟出表征编码分辨率与目标质量指标之间映射本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视频显示控制方法，其特征在于，包括：获取直播视频流，所述直播视频流中包含多个图像帧及其目标质量指标；根据所述图像帧的编码分辨率及其相应的目标质量指标确定所述图像帧的缩放操作相对应的接口类型，所述接口类型为硬件接口类型或软件接口类型；调用所述接口类型相对应的缩放接口对所述图像帧进行缩放操作后渲染显示到直播间界面的视频播放窗口中。2.根据权利要求1所述的视频显示控制方法，其特征在于，根据所述图像帧的编码分辨率及其相应的目标质量指标确定所述图像帧的缩放操作相对应的接口类型，包括：将所述图像帧的目标质量指标输入分辨率预测模型确定出理想分辨率；应用预设转换公式计算出所述图像帧在其既有目标质量指标下需要基于其编码分辨率缩放达到的目标分辨率。比较所述目标分辨率与所述理想分辨率的大小，当所述目标分辨率大于所述理想分辨率时，确定所述图像帧的缩放操作的接口类型为硬件接口类型，否则为软件接口类型。3.根据权利要求1所述的视频显示控制方法，其特征在于，根据所述图像帧的编码分辨率及其相应的目标质量指标确定所述图像帧的缩放操作相对应的接口类型，包括：基于所述图像帧的编码分辨率，在预设的接口映射表中查询出所述编码分辨率相对应的映射子集，所述映射子集包含不同目标质量指标及其相适配的接口类型；基于所述图像帧的目标质量指标，从所述映射子集中查询出与所述目标质量指标相对应的接口类型。4.根据权利要求1至3中任意一项所述的视频显示控制方法，其特征在于，调用所述接口类型相对应的缩放接口对所述图像帧进行缩放操作后渲染显示到直播间界面的视频播放窗口中，包括：当所述接口类型为硬件接口类型时，调用硬件缩放接口对所述图像帧进行缩放操作；当所述接口类型为软件接口类型时，调用软件缩放接口对所述图像帧进行缩放操作；将缩放操作后的所述图像帧渲染显示到直播间界面的视频播放窗口中。5.根据权利要求4所述的视频显示控制方法，其特征在于，当所述接口类型为软件接口类型时，调用软件缩放接口对所述图像帧进行缩放操作，包括：判断所述图像帧的缩放比率是否为二倍率，当为二倍率时，采用第一软件缩放接口实施对所述图像帧的缩放操作以消除所述图像帧在缩放过程中产生的摩尔纹，所述缩放比率为所述图像帧的目标分辨率与编码分辨率的比值；当所述缩放比率为非二倍率时，判断...

【专利技术属性】
技术研发人员：包佳晶，
申请(专利权)人：百果园技术新加坡有限公司，
类型：发明
国别省市：