多媒体文件处理方法、装置及系统制造方法及图纸

本发明专利技术实施例提供一种多媒体文件处理方法、装置及系统，其中多媒体文件处理方法包括根据集群中节点的数据块队列中至少一个数据块的预估时间，获得数据块队列的预估剩余时间；根据数据块队列的预估剩余时间，获得节点的负载；数据块的预估时间是根据数据块的数据量以及数据块所属的多媒体文件的预估处理速率获得的，多媒体文件的预估处理速率是与多媒体文件的类型对应的；根据数据块队列中当前的任务被处理完所需的时间，对节点的负载轻重进行判断，更为合理，能够避免将数据块队列较短而所需的处理时间较长的节点作为轻负载节点，从而能够有效地减少不必要的等待时间，有效地提高了对多媒体文件进行转码的效率。

【技术实现步骤摘要】
多媒体文件处理方法、装置及系统
本专利技术实施例涉及计算机技术，尤其涉及一种多媒体文件处理方法、装置及系统。
技术介绍
随着计算机技术和多媒体技术的发展，音频和视频等多媒体文件的文件格式也日趋多样化。通过对多媒体文件进行转码，可以将多媒体文件的文件格式在多种文件格式之间进行转换，以适应不同的播放要求。在需要将多媒体文件的文件格式转换为目标格式时，若对多媒体文件整体进行转码。则需要耗费较长的时间和占用较多的资源。为了提高转码效率，可以将多媒体文件分割为若干个较小的数据块，利用云计算(cloudcomputing)平台中的多个节点分别对这些数据块进行转码，然后将经过转码的各数据块进行合并，从而获得文件格式为目标格式的多媒体文件。目前，云计算平台以各节点中待处理的数据块队列的长度，作为对各节点负载大小的判断依据，即数据块队列的长度较短的节点被作为负载较轻的节点，数据块队列的长度较长的节点被作为负载较重的节点。从而，云计算平台据此将数据块发送给负载较轻的节点进行处理。但是，若长度较短的数据块队列中各数据块的转码所需要的时间较长，而长度较长的数据块队列中各数据块的转码所需要的时间较短，则可能出现数据块队列较短的节点的负载反而较重的情况，从而会使得发送至该节点的数据块的等待时间将较长，从而降低了对该数据块所属的整个多媒体文件进行转码的效率。
技术实现思路
本专利技术实施例提供一种多媒体文件处理方法、装置及系统，用于提高对数据块所属的整个多媒体文件进行转码的效率。本专利技术实施例的第一个方面是提供一种多媒体文件处理方法，包括：根据集群中节点的数据块队列中至少一个数据块的预估时间，获得所述数据块队列的预估剩余时间；根据所述数据块队列的预估剩余时间，获得所述节点的负载；其中，所述数据块是正在所述集群中被处理的多媒体文件中的数据块，所述数据块的预估时间是根据所述数据块的数据量以及所述数据块所属的多媒体文件的预估处理速率获得的，所述多媒体文件的预估处理速率是与所述多媒体文件的类型对应的。结合第一个方面提供的多媒体文件处理方法，在第一种可能的实现方式中，所述数据块队列包括正在转码的数据块和/或等待转码的数据块；相应地，所述根据集群中节点的数据块队列中至少一个数据块的预估时间，获得所述数据块队列的预估剩余时间包括：根据所述正在转码的数据块的预估时间，以及所述正在转码的数据块已被处理的时间，获得所述正在转码的数据块的预估剩余时间；和/或，将所述等待转码的数据块的预估时间，作为所述等待转码的数据块的预估剩余时间；将所述正在转码的数据块的预估剩余时间和/或所述等待转码的数据块的预估剩余时间，计入所述数据块队列的预估剩余时间中。结合第一个方面或第一种可能的实现方式，在第二种可能的实现方式中，所述方法还包括：根据所述节点的可用存储空间，以及所述节点中各数据块转码前的实际数据量、转码前预估的转码后的数据量和/或转码后的实际数据量，获得所述节点的剩余存储空间。结合第一个方面的第二种可能的实现方式，在第三种可能的实现方式中，所述方法还包括：根据所述集群中各节点的剩余存储空间和/或负载，为目标多媒体文件选择用于分割、转码和合并的节点。结合第一个方面的第三种可能的实现方式，在第四种可能的实现方式中，所述方法还包括：根据所述目标多媒体文件的时长或源数据量，获得对所述目标多媒体文件进行分割的数量。结合第一个方面的第四种可能的实现方式，在第五种可能的实现方式中，所述根据所述目标多媒体文件的时长或源数据量，获得对所述目标多媒体文件进行分割的数量包括：所述分割的数量为第一数量count1和第二数量count2中的最小值；其中，count1＝length/lengthLimit，length为所述目标多媒体文件的时长，lengthLimit为对每个数据块的数据量大小的限定值；count2＝(sourceFileSize×ETR)/(timeLimit×sizeUnit)，sourceFileSize为所述目标多媒体文件被转码前的源数据量，sizeUnit为与所述目标多媒体文件的类型对应的基准数据量，timeLimit为对所述目标多媒体文件被转码时间的限定值；ETR为所述基准数据量在主频为所述基准主频值的处理器中，转码为目标格式的数据的处理速率，作为所述目标多媒体文件的预估处理速率，该速率是基于频率表示的。结合第一个方面或第一种可能的实现方式，在第六种可能的实现方式中，所述节点中的每个所述数据块的预估时间evTime为：evTime＝(SliceFileSize×freq)/(sizeUnit×freqUnit×ETR)；其中，SliceFileSize为所述数据块的数据量，sizeUnit为与所述数据块所属的多媒体文件的类型对应的基准数据量，freqUnit为基准主频值，freq为实际的主频值；ETR为所述基准数据量在主频为所述基准主频值的处理器中，转码为目标格式的数据的处理速率，作为所述数据块所属的多媒体文件的预估处理速率，该速率是基于频率表示的。结合第一个方面的第六种可能的实现方式，在第七种可能的实现方式中，所述方法还包括：在所述数据块所属的多媒体文件在所述集群中被转码为所述目标格式的文件之后，利用所述数据块所属的多媒体文件在所述集群的各节点中分别实际占用的时间execTime，对所述ETR进行更新，获得更新后的ETRnew。结合第一个方面的第七种可能的实现方式，在第八种可能的实现方式中，所述更新后的ETRnew为：ETRnew＝α×ETR+(1-α)×ExTR；其中，α为权重因子，0＜α＜1；ExTR为所述数据块所属的多媒体文件实际的处理速率，ExTR＝(sourceFileSize×freq)/(execTime×sizeUnit×freqUnit)，sourceFileSize为所述数据块所属的多媒体文件被转码前的源数据量。结合第一个方面的第二种可能的实现方式，在第九种可能的实现方式中，所述节点中每个所述数据块转码前预估的转码后的数据量evSliceFileSize为：evSliceFileSize＝ESR×SliceFileSize/sizeUnit；其中，ESR为基准数据量SizeUnit在转码为目标格式后的数据量，所述sizeUnit为与所述数据块所属的多媒体文件的类型对应的基准数据量，SliceFileSize为所述数据块被转码前的源数据量。结合第一个方面提供的第九种可能的实现方式，在第十种可能的实现方式中，所述方法还包括：在所述数据块所属的多媒体文件在所述集群中被转码为所述目标格式的文件之后，利用所述数据块所属的多媒体文件在转码后的数据量tarFileSize与转码前的源数据量sourceFileSize的比值，对所述ESR进行更新，获得更新后的ESRnew。结合第一方面提供的第十种可能的实现方式，在第十一种可能的实现方式中，所述更新后的ESRnew为：ESRnew＝β×ESR+(1-β)×tarFileSize/sourceFileSize，β为权重因子，0＜β＜1。本专利技术实施例的第二个方面是提供一种多媒体文件处理装置，包括：第一处理单元，用于根据集群中节点的数据块队列中至少一个数据块的预估时间，获得所述数据块队列的预估剩余时间；第二处理本文档来自技高网...

【技术保护点】
一种多媒体文件处理方法，其特征在于，包括：根据集群中节点的数据块队列中至少一个数据块的预估时间，获得所述数据块队列的预估剩余时间；根据所述数据块队列的预估剩余时间，获得所述节点的负载；其中，所述数据块是正在所述集群中被处理的多媒体文件中的数据块，所述数据块的预估时间是根据所述数据块的数据量以及所述数据块所属的多媒体文件的预估处理速率获得的，所述多媒体文件的预估处理速率是与所述多媒体文件的类型对应的。

【技术特征摘要】
1.一种多媒体文件处理方法，其特征在于，包括：根据集群中节点的数据块队列中至少一个数据块的预估时间，获得所述数据块队列的预估剩余时间；根据所述数据块队列的预估剩余时间，获得所述节点的负载；其中，所述数据块是正在所述集群中被处理的多媒体文件中的数据块，所述数据块的预估时间是根据所述数据块的数据量以及所述数据块所属的多媒体文件的预估处理速率获得的，所述多媒体文件的预估处理速率是与所述多媒体文件的类型对应的；所述节点中的每个所述数据块的预估时间evTime为：evTime＝(SliceFileSize×freq)/(sizeUnit×freqUnit×ETR)；其中，SliceFileSize为所述数据块的数据量，sizeUnit为预设的与所述数据块所属的多媒体文件的类型对应的基准数据量，freqUnit为基准主频值，freq为实际的主频值；ETR为所述基准数据量在主频为所述基准主频值的处理器中，转码为目标格式的数据的处理速率，作为所述数据块所属的多媒体文件的预估处理速率，该速率是基于频率表示的。2.根据权利要求1所述的多媒体文件处理方法，其特征在于，所述数据块队列包括正在转码的数据块和/或等待转码的数据块；相应地，所述根据集群中节点的数据块队列中至少一个数据块的预估时间，获得所述数据块队列的预估剩余时间包括：根据所述正在转码的数据块的预估时间，以及所述正在转码的数据块已被处理的时间，获得所述正在转码的数据块的预估剩余时间；和/或，将所述等待转码的数据块的预估时间，作为所述等待转码的数据块的预估剩余时间；将所述正在转码的数据块的预估剩余时间和/或所述等待转码的数据块的预估剩余时间，计入所述数据块队列的预估剩余时间中。3.根据权利要求1或2所述的多媒体文件处理方法，其特征在于，所述方法还包括：根据所述节点的可用存储空间，以及所述节点中各数据块转码前的实际数据量、转码前预估的转码后的数据量和/或转码后的实际数据量，获得所述节点的剩余存储空间。4.根据权利要求3所述的多媒体文件处理方法，其特征在于，所述方法还包括：根据所述集群中各节点的剩余存储空间和/或负载，为目标多媒体文件选择用于分割、转码和合并的节点。5.根据权利要求4所述的多媒体文件处理方法，其特征在于，所述方法还包括：根据所述目标多媒体文件的时长或源数据量，获得对所述目标多媒体文件进行分割的数量。6.根据权利要求1所述的多媒体文件处理方法，其特征在于，所述方法还包括：在所述数据块所属的多媒体文件在所述集群中被转码为所述目标格式的文件之后，利用各所述数据块在所述集群中的各节点中分别实际占用的处理时间之和execTime，对所述ETR进行更新，获得更新后的ETRnew。7.根据权利要求6所述的多媒体文件处理方法，其特征在于，所述更新后的ETRnew为：ETRnew＝α×ETR+(1-α)×ExTR；其中，α为权重因子，0＜α＜1；ExTR为所述数据块所属的多媒体文件实际的处理速率，ExTR＝(sourceFileSize×freq)/(execTime×sizeUnit×freqUnit)，sourceFileSize为所述数据块所属的多媒体文件被转码前的源数据量。8.根据权利要求3所述的多媒体文件处理方法，其特征在于，所述节点中每个所述数据块转码前预估的转码后的数据量evSliceFileSize为：evSliceFileSize＝ESR×SliceFileSize/sizeUnit；其中，ESR为基准数据量sizeUnit在转码为目标格式后的数据量，所述sizeUnit为与所述数据块所属的多媒体文件的类型对应的基准数据量，SliceFileSize为所述数据块被转码前的源数据量。9.根据权利要求8所述的多媒体文件处理方法，其特征在于，所述方法还包括：在所述数据块所属的多媒体文件在所述集群中被转码为所述目标格式的文件之后，利用所述数据块所属的多媒体文件在转码后的数据量tarFileSize与转码前的源数据量sourceFileSize的比值，对所述ESR进行更新，获得更新后的ESRnew。10.根据权利要求9所述的多媒体文件处理方法，其特征在于，所述更新后的ESRnew为：ESRnew＝β×ESR+(1-β)×tarFileSize/sourceFileSize，β为权重因子，0＜β＜1。11.一种多媒体文件处理装置，其特征在于，包括：第一处理单元，用于根据集群中节点的数据块队列中至少一个数据块的预估时间，获得所述数据块队列的预估剩余时间；第二处理单元，用于根据所述数据块队列的预估剩余时间，获得所述节点的负载；其中，所述数据块是正在所...

【专利技术属性】
技术研发人员：韩建军，魏辰东，
申请(专利权)人：华为技术有限公司，华中科技大学，
类型：发明
国别省市：