码流数据的处理方法和装置制造方法及图纸

本申请提供了一种码流数据的处理方法，可以提高影像的画质。该方法包括：获取第一码流；根据第一对应关系和第一码流的类型信息确定第一神经网络模型，第一神经网络模型为与第一码流对应的神经网络模型，第一对应关系用于指示不同类型的码流对应的神经网络模型；解析所述第一码流，以获得第一图像数据；采用所述第一神经网络模型对第一图像数据进行处理，以获得处理后的图像。得处理后的图像。得处理后的图像。

【技术实现步骤摘要】
码流数据的处理方法和装置


[0001]本申请涉及影像处理领域，并且更具体地涉及一种码流数据的处理方法和装置，以及获取神经网络模型的方法和装置。

技术介绍

[0002]随着网络频宽逐年增长和视频编解码技术持续演进，多媒体的点播服务已成为多媒体的主流服务。而点播服务由于其多源多点的特性，即使有足够的频宽并配置了内容传递网络，也难以维持稳定的终端连接速率。当用户持续追求高品质的视觉效果，对频宽、时延和连接速率则有更高的要求。因此，在频宽、时延和连接速率一定的条件下，如何提高视频图像的画质和分辨率，成为亟待解决的问题。

技术实现思路

[0003]本申请提供一种码流数据的处理方法和装置，能够在频宽、时延和连接速率一定的条件下，提高视频图像的画质和分辨率。
[0004]第一方面，提供一种码流数据的处理方法，包括：获取第一码流；根据第一对应关系和第一码流的类型信息确定第一神经网络模型，第一神经网络模型为与第一码流对应的神经网络模型，第一对应关系用于指示不同类型的码流对应的神经网络模型；解析第一码流，以获得第一图像数据；采用第一神经网络模型对第一图像数据进行处理，以获得处理后的图像。
[0005]相比于采用统一的神经网络模型进行处理，根据本申请提供的方案，对每一种码流分别采用与其类型相对应的神经网络模型进行处理，处理方法更加精确，使得影像画质更加贴近于标准影像的画质，以达到影像画质的最优化处理。
[0006]结合第一方面，在第一方面的某些实现方式中，码流的类型信息包括码流的供应商和码流的媒体元数据。
[0007]结合第一方面，在第一方面的某些实现方式中，媒体元数据包括影片题材、影片类型、影片场景、码流的色域、码流的分辨率或码流的码率中的任意一个或多个。
[0008]本申请提供的方案中，根据码流的类型信息对码流进行分类，以获取与码流的类型信息相匹配的神经网络模型，其中，类型信息越细致，则获取的神经网络模型的匹配度越高，图像处理效果越好。
[0009]结合第一方面，在第一方面的某些实现方式中，第一神经网络模型为根据与第一码流具有相同类型信息的训练码流训练得到的。
[0010]本申请提供的方案中，对码流进行处理的神经网络模型为根据与该码流相同类型信息的训练码流训练得到，由此获得的神经网络模型与其相对应的码流具有极高匹配度，因此在图像处理过程中具有极好的效果。
[0011]结合第一方面，在第一方面的某些实现方式中，第一对应关系包括：码流的类型信息与神经网络模型的对应关系，根据第一对应关系和第一码流的类型信息确定第一神经网
络模型，具体包括：确定第一码流的供应商和第一码流的媒体元数据；在第一对应关系中确定与第一码流的供应商和第一码流的媒体元数据均对应的神经网络模型为第一神经网络模型。
[0012]本申请提供的方案中，根据第一对应关系对码流和神经网络模型进行匹配，可以快速获取与第一码流相对应的神经网络模型。
[0013]第二方面，提供了一种获取神经网络模型的方法，包括：获取多组训练数据，多组训练数据中的每组训练数据包括标准码流和训练码流，多组训练数据包括的训练码流对应不同的类型信息，训练码流是标准码流经过预处理得到的；根据多组训练数据对多个初始神经网络模型分别进行训练，得到多个神经网络模型，其中，一组训练数据训练得到一个神经网络模型；将多个神经网络模型和训练多个神经网络模型所用的训练数据的多个类型信息对应存储。
[0014]结合第二方面，在第二方面的某些实现方式中，多组训练数据包括第一组训练数据，第一组训练数据包括第一标准码流和第一训练码流，第一训练码流的类型信息为第一类型信息，根据多组训练数据对多个初始神经网络模型分别进行训练，得到多个神经网络模型，包括：根据第一标准码流和第一训练码流对初始神经网络模型进行训练；当第一训练码流经过神经网络模型处理得到的码流与第一标准码流的差异满足预设条件时，得到第一神经网络模型；将多个神经网络模型和训练多个神经网络模型所用的训练数据的多个类型信息对应存储，包括：对应存储第一神经网络模型和第一类型信息。
[0015]不同码流供应商的影像以及不同影像经过预处理后的结果都不相同，如果试图采用一种演算法和训练方式得到不同影像的神经网络模型，会造成演算法过于复杂无法收敛或对算力的要求过高。本申请提供的方案通过针对不同码流供应商的不同类型的码流分别进行训练，避免演算法难以收敛的问题，节省了训练时间。得到适应于多个不同码流供应商的多个神经网络模型，然后可以根据码流类型信息适应性选择对应的神经网络模型，在提升特定影像的画质时也具有更好的效果。
[0016]结合第二方面，在第二方面的某些实现方式中，类型信息包括训练码流的供应商和训练码流的媒体元数据。
[0017]结合第二方面，在第二方面的某些实现方式中，媒体元数据包括影片题材、影片类型、影片场景、码流的色域、码流的分辨率或码流的码率中的任意一个或多个。
[0018]本申请提供的方案中，针对不同类型信息的码流分别进行神经网络模型的训练，其中，类型信息越细致，则训练得到的神经网络模型的针对性越好，对相应的图像处理效果越好。
[0019]结合第二方面，在第二方面的某些实现方式中，将多个神经网络模型和训练多个神经网络模型所用的训练数据的多个类型信息对应存储之后，该方法还包括：将神经网络模型和与神经网络模型对应的类型信息传输给所述类型信息中包括的码流供应商。
[0020]本申请提供的方案中，训练好的神经网络模型与该神经网络模型对应的类型信息可以存储在终端设备，当终端设备上下载了相应码流供应商的媒体播放器时，即可调用相应的存储的神经网络模型。可选地，训练好的神经网络模型与该神经网络模型对应的类型信息还可以传输给码流供应商，当终端设备上下载了相应码流供应商的媒体播放器时，终端设备同时也可以下载相应的神经网络模型参数，从而建立神经网络模型对该码流供应商
提供的码流进行处理。
[0021]第三方面，提供了一种码流数据的处理装置，包括：获取单元，用于获取第一码流；
[0022]处理单元，用于根据第一对应关系和第一码流的类型信息确定第一神经网络模型，第一神经网络模型为与第一码流对应的神经网络模型，第一对应关系用于指示不同类型的码流对应的神经网络模型；处理单元还用于解析第一码流，以获得第一图像数据；处理单元还用于采用第一神经网络模型对第一图像数据进行处理，以获得处理后的图像。
[0023]结合第三方面，在第三方面的某些实现方式中，码流的类型信息包括所述码流的供应商和所述码流的媒体元数据。
[0024]结合第三方面，在第三方面的某些实现方式中，媒体元数据包括影片题材、影片类型、影片场景、码流的色域、码流的分辨率或码流的码率中的任意一个或多个。
[0025]结合第三方面，在第三方面的某些实现方式中，第一神经网络模型为根据与第一码流具有相同类型信息的训练码流训练得到的。
[0026]结合第三方面，在第三方面的某些实现方式中，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种码流数据的处理方法，其特征在于，包括：获取第一码流；根据第一对应关系和所述第一码流的类型信息确定第一神经网络模型，所述第一神经网络模型为与所述第一码流对应的神经网络模型，所述第一对应关系用于指示不同类型的码流对应的神经网络模型；解析所述第一码流，以获得第一图像数据；采用所述第一神经网络模型对所述第一图像数据进行处理，以获得处理后的图像。2.根据权利要求1所述的方法，其特征在于，所述码流的类型信息包括所述码流的供应商和所述码流的媒体元数据。3.根据权利要求2所述的方法，其特征在于，所述媒体元数据包括影片题材、影片类型、影片场景、码流的色域、码流的分辨率或码流的码率中的任意一个或多个。4.根据权利要求1至3中任一项所述的方法，其特征在于，所述第一神经网络模型为根据与所述第一码流具有相同类型信息的训练码流训练得到的。5.根据权利要求1至4中任一项所述的方法，其特征在于，所述第一对应关系包括：码流的类型信息与神经网络模型的对应关系，所述根据第一对应关系和所述第一码流的类型信息确定第一神经网络模型，具体包括：确定所述第一码流的供应商和所述第一码流的媒体元数据；在所述第一对应关系中确定与所述第一码流的供应商和所述第一码流的媒体元数据均对应的神经网络模型为所述第一神经网络模型。6.一种获取神经网络模型的方法，其特征在于，包括：获取多组训练数据，所述多组训练数据中的每组训练数据包括标准码流和训练码流，所述多组训练数据包括的训练码流对应不同的类型信息，所述训练码流是所述标准码流经过预处理得到的；根据所述多组训练数据对多个初始神经网络模型分别进行训练，得到多个神经网络模型，其中，一组训练数据训练得到一个神经网络模型；将所述多个神经网络模型和训练所述多个神经网络模型所用的训练数据的多个类型信息对应存储。7.根据权利要求6所述的方法，其特征在于，所述多组训练数据包括第一组训练数据，所述第一组训练数据包括第一标准码流和第一训练码流，所述第一训练码流的类型信息为第一类型信息，所述根据所述多组训练数据对多个初始神经网络模型分别进行训练，得到多个神经网络模型，包括：根据所述第一标准码流和所述第一训练码流对初始神经网络模型进行训练；当所述第一训练码流经过神经网络模型处理得到的码流与所述第一标准码流的差异满足预设条件时，得到第一神经网络模型；所述将所述多个神经网络模型和训练所述多个神经网络模型所用的训练数据的多个类型信息对应存储，包括：对应存储所述第一神经网络模型和所述第一类型信息。8.根据权利要求6或7所述的方法，其特征在于，所述类型信息包括所述训练码流的供应商和所述训练码流的媒体元数据。
9.根据权利要求8所述的方法，其特征在于，所述媒体元数据包括影片题材、影片类型、影片场景、码流的色域、码流的分辨率或码流的码率中的任意一个或多个。10.根据权利要求6至9中任一项所述的方法，其特征在于，所述将所述多个神经网络模型和训练所述多个神经网络模型所用的训练数据的多个类型信息对应存储之后，所述方法还包括：将神经网络模型和与所述神经网络模型对应的类型信息传输给所述类型信息中包括的码流供应商。11.一种码流数据的处理装置，其特征在于，包括：处理器和传输接口，所述传输接口，用于获取第一码流；...

【专利技术属性】
技术研发人员：陈昱志，蒋忠林，陈尚松，王洋，任学亮，刘建，
申请(专利权)人：上海海思技术有限公司，
类型：发明
国别省市：