媒体数据处理方法、装置、设备以及存储介质制造方法及图纸

本申请实施例提供了一种媒体数据处理方法、装置、设备以及存储介质，可适用于云游戏、人工智能、计算机技术、区块链以及云计算等领域。该方法包括：响应于显示应用的接入请求，基于第一编码参数对媒体数据进行编码得到第一编码数据，基于第一传输码率向显示应用发送第一编码数据；在编码数据发送过程中，确定显示应用在第一时刻的显示内容的第一类型，基于第一类型确定第二传输码率和第二编码参数；基于第二编码参数对第一时刻之后的媒体数据进行编码得到第二编码数据，基于第二传输码率向显示应用发送第二编码数据。采用本申请实施例，可基于显示内容的类型实时调整传输码率和编码参数，提升显示内容的显示效果。

【技术实现步骤摘要】
媒体数据处理方法、装置、设备以及存储介质
本申请涉及数据处理领域，尤其涉及一种媒体数据处理方法、装置、设备以及存储介质。
技术介绍
随着云技术的不断发展，为了能使图形处理与数据运算能力相对有限的应用具有高品质的显示效果，往往基于云端服务对音视频等数据进行处理，并将最终处理后的编码数据发送给显示应用，从而显示应用对编码数据进行解析可直接播放音视频。以云游戏为例，现在的云游戏解决方案对于媒体数据的编码参数和传输码率往往按照分辨率和刷新率固定配置，比如分辨率720P、刷新率30FPS配置5Mbps的传输码率和一定的编码参数，一方面在对游戏画面要求不高的情况下会浪费服务器带宽资源，另一方面在游戏画面要求较高的情况下，传输码率较低以及编码参数不满足画质要求时，无法保证高质量游戏画面的呈现。
技术实现思路
本申请实施例提供一种媒体数据处理方法、装置、设备以及存储介质，可实时调整传输码率和编码参数，进而实时提升显示应用的显示效果，节省带宽资源，适用性高。一方面，本申请实施例提供一种媒体数据处理方法，该方法包括：响应于显示应用的接入请求，基于第一编码参数对媒体数据进行编码得到第一编码数据，基于第一传输码率向上述显示应用发送上述第一编码数据；在编码数据发送过程中，确定上述显示应用在第一时刻的显示内容的第一类型，基于上述第一类型确定第二传输码率和第二编码参数；基于上述第二编码参数对上述第一时刻之后的媒体数据进行编码得到第二编码数据，基于上述第二传输码率向上述显示应用发送上述第二编码数据。另一方面，本申请实施例提供了一种媒体数据处理装置，上述媒体数据处理装置包括：数据编码模块，用于响应于显示应用的接入请求，基于第一编码参数对媒体数据进行编码得到第一编码数据，基于第一传输码率向上述显示应用发送上述第一编码数据；参数确定模块，用于在编码数据发送过程中，确定上述显示应用在第一时刻的显示内容的第一类型，基于上述第一类型确定第二传输码率和第二编码参数；上述数据编码模块，用于基于上述第二编码参数对上述第一时刻之后的媒体数据进行编码得到第二编码数据，基于上述第二传输码率向上述显示应用发送上述第二编码数据。另一方面，本申请实施例提供了一种电子设备，包括处理器和存储器，该处理器和存储器相互连接；上述存储器用于存储计算机程序；上述处理器被配置用于在调用上述计算机程序时，执行本申请实施例提供的媒体数据处理方法。另一方面，本申请实施例提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行以实现本申请实施例提供的媒体数据处理方法。另一方面，本申请实施例提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。电子设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行本申请实施例提供的媒体数据处理方法。在本申请实施例中，通过确定编码数据发送过程中显示应用的显示内容的类型来调整传输码率和编码参数，从而确定出符合显示内容的传输码率和编码参数，实时提升显示应用的显示效果，节省带宽资源，适应性高。附图说明为了更清楚地说明本申请实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1是本申请实施例提供的媒体数据处理方法的网络结构示意图；图2是本申请实施例提供的媒体数据处理方法的一流程示意图；图3是本申请实施例提供的确定图像特征序列的场景示意图；图4是本申请实施例提供的确定显示内容的类型的场景示意图；图5是本申请实施例提供的媒体数据处理方法的另一流程示意图；图6是本申请实施例提供的云游戏数据处理方法的场景示意图；图7是本申请实施例提供的媒体数据处理装置的结构示意图；图8是本申请实施例提供的电子设备的结构示意图。具体实施方式下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。本申请实施例提供的媒体数据处理方法可适用于云游戏（CloudGaming）、图像处理、人工智能(ArtificialIntelligence，AI)、计算机技术、区块链以及云计算(CloudComputing)等领域，可基于显示应用的显示内容的类型变化实时调整相应的传输码率和编码参数，且其中所涉及的数据处理过程均可基于云计算实现，从而提升用户视觉体验，提高数据处理资源和带宽资源的利用率。其中，云游戏又可称为游戏点播（gamingondemand），是一种以云计算技术为基础的在线游戏技术。云游戏技术使图形处理与数据运算能力相对有限的轻端设备（thinclient）能运行高品质游戏。在云游戏场景下，游戏并不在玩家游戏终端，而是在云端服务器中运行，并由云端服务器将游戏场景渲染为视频音频流，通过网络传输给玩家游戏终端。玩家游戏终端无需拥有强大的图形运算与数据处理能力，仅需拥有基本的媒体播放能力与获取玩家输入指令并发送给云端服务器的能力即可。其中，云游戏对应的游戏终端可将基于键盘、鼠标、手柄、触摸屏等接收到的操作指令传输到云游服务器实例，云游服务器实例再把接收到的操作指令映射成相应的游戏鼠标按键，再通过键盘鼠标驱动发送给真正的云游戏服务器完成整个游戏服务体验。参见图1，图1是本申请实施例提供的媒体数据处理方法的网络结构示意图。如图1所示，终端10为显示应用对应的显示终端，包括但不限于智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表、车载终端、智能电视等，但并不局限于此。其中，显示应用包括云游戏应用、渲染应用等可显示显示内容的应用。服务器20为终端10所运行的显示应用所对应的服务器，如云游戏应用对应的云服务器、渲染应用对应的渲染处理器等，服务器20可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云计算服务的云服务器，在此不做限制。其中，显示应用基于终端10和服务器20通过有线或无线通信方式进行直接或间接地连接，在本申请实施例中不做限制。在具体实现中，服务器20可响应于终端10所运行的显示应用的接入请求，以建立和显示应用的通信连接。进一步地，服务器20可响应于显示应用的媒体数据获取请求，根据媒体数据获取请求获取对应的媒体数据。或者，服务器20可基于默认配置信息，响应于显示应用的接入请求，获取默认配置信息所要求获取的媒体数据。如云游戏服务器响应于云游戏应用的接入请求，获取云游戏应用所对应的游戏画面的媒体数据。本文档来自技高网...

【技术保护点】
1.一种媒体数据处理方法，其特征在于，所述方法包括：/n响应于显示应用的接入请求，基于第一编码参数对媒体数据进行编码得到第一编码数据，基于第一传输码率向所述显示应用发送所述第一编码数据；/n在编码数据发送过程中，确定所述显示应用在第一时刻的显示内容的第一类型，基于所述第一类型确定第二传输码率和第二编码参数；/n基于所述第二编码参数对所述第一时刻之后的媒体数据进行编码得到第二编码数据，基于所述第二传输码率向所述显示应用发送所述第二编码数据。/n

【技术特征摘要】
1.一种媒体数据处理方法，其特征在于，所述方法包括：
响应于显示应用的接入请求，基于第一编码参数对媒体数据进行编码得到第一编码数据，基于第一传输码率向所述显示应用发送所述第一编码数据；
在编码数据发送过程中，确定所述显示应用在第一时刻的显示内容的第一类型，基于所述第一类型确定第二传输码率和第二编码参数；
基于所述第二编码参数对所述第一时刻之后的媒体数据进行编码得到第二编码数据，基于所述第二传输码率向所述显示应用发送所述第二编码数据。


2.根据权利要求1所述的方法，其特征在于，所述基于第一编码参数对媒体数据进行编码得到第一编码数据之前，所述方法还包括：
确定所述显示应用的初始显示配置信息；
基于所述初始显示配置信息确定第一传输码率和第一编码参数。


3.根据权利要求2所述的方法，其特征在于，所述基于所述初始显示配置信息确定第一传输码率和第一编码参数，包括：
获取所述显示应用的应用信息，基于所述应用信息确定所述显示应用的初始显示内容的第二类型；
确定数据处理参数集合，从所述数据处理参数集合中确定对应于所述第二类型和所述初始显示配置信息的第一传输码率和第一编码参数。


4.根据权利要求1所述的方法，其特征在于，所述确定所述显示应用在第一时刻的显示内容的第一类型，包括以下至少一项：
获取所述显示应用在第一时刻对应的至少一帧显示图像，基于所述至少一帧显示图像确定所述显示应用在所述第一时刻的显示内容的第一类型；
获取所述显示应用的评价信息，基于所述评价信息确定所述显示应用在所述第一时刻的显示内容的第一类型。


5.根据权利要求4所述的方法，其特征在于，所述基于所述至少一帧显示图像确定所述显示应用在所述第一时刻的显示内容的第一类型，包括：
基于卷积神经网络对所述至少一帧显示图像进行处理，得到各所述显示图像对应的图像特征；
基于分类神经网络对各所述图像特征进行处理，得到所述至少一帧显示图像所对应的显示内容的第三类型；
将所述第三类型确定为所述显示应用在所述第一时刻的显示内容的第一类型。


6.根据权利要求5所述的方法，其特征在于，所述分类神经网络包括循环神经网络或者多层感知器中的任一项。


7.根据权利要求3所述的方法，其特征在于，所述基于所述第一类型确...

【专利技术属性】
技术研发人员：李志成，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：广东;44