一种文件压缩方法及系统技术方案

本发明专利技术涉及一种文件压缩方法及系统。该文件压缩方法包括：根据优先级队列对文件压缩任务进行优先级排序；根据统计接收机的计算能力确定压缩机的空闲程度，以及根据文件压缩任务的优先级与压缩机的空闲程度进行匹配；根据与文件压缩任务匹配的压缩机对文件压缩任务进行压缩。本发明专利技术的目的通过对压缩机智能分发和压缩任务优先级分配，充分利用单机多核，有效的解决了压缩效率低，压缩速度慢和压缩失败率高的问题。

【技术实现步骤摘要】
一种文件压缩方法及系统
本专利技术涉及音频/视频压缩处理，特别涉及一种文件压缩方法及系统。
技术介绍
音频压缩技术指的是对原始数字音频信号流(PCM编码)运用适当的数字信号处理技术，在不损失有用信息量，或所引入损失可忽略的条件下，降低(压缩)其码率，也称为压缩编码。现有技术中音频/视频处理采样以下方式：1、现有技术中压缩方法调度随意，流程简单，效率低下。2、基于统计，失败率高，音频损伤度高，压缩速度缓慢。
技术实现思路
本专利技术的目的是为了解决现有技术中存在的技术问题，提出了一种文件压缩方法及系统。为实现上述目的，一方面，本专利技术提供了一种文件压缩方法，该压缩方法包括：根据优先级队列对文件压缩任务进行优先级排序；根据统计接收机的计算能力确定压缩机的空闲程度；根据文件压缩任务的优先级与压缩机的空闲程度进行匹配；根据与文件压缩任务匹配的压缩机对文件压缩任务进行压缩。优选地，根据优先级队列对文件压缩任务进行优先级排序的步骤具体包括：根据文件的流行趋势、特色和编辑、付费类型和紧急上线程度进行优先级排序。优选地，根据统计接收机的计算能力确定压缩机的空闲程度的步骤包括：根据压缩机的综合评价确定压缩机的空闲程度和承载能力；根据压缩机的空闲程度和承载能力分配文件压缩任务。优选地，根据与文件压缩任务匹配的压缩机对文件压缩任务进行压缩的步骤之前还包括：根据文件进行指纹识别，判断文件是否被重复压缩；当文件没有被重复压缩时，对文件进行压缩。另一方面，本专利技术提供了一种文件压缩系统，该压缩系统包括：排序单元、统计单元、匹配单元和压缩单元。排序单元用于根据优先级队列对文件压缩任务进行优先级排序；统计单元用于根据统计接收机的计算能力确定压缩机的空闲程度；匹配单元用于根据文件压缩任务的优先级与压缩机的空闲程度进行匹配；压缩单元用于根据与文件压缩任务匹配的压缩机对文件压缩任务进行压缩。优选地，排序单元具体用于：根据文件的流行趋势、特色和编辑、付费类型和紧急上线程度进行优先级排序。优选地，统计单元具体用于；根据压缩机的综合评价确定压缩机的空闲程度和承载能力；根据压缩机的空闲程度和承载能力分配文件压缩任务。优选地，还包括识别单元：识别单元用于，根据文件进行指纹识别，判断文件是否被重复压缩；当文件没有被重复压缩时，对文件进行压缩。本专利技术的目的通过对压缩机智能分发和压缩任务优先级分配，充分利用单机多核，有效的解决了压缩效率低，压缩速度慢和压缩失败率高的问题。附图说明为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术实施例提供的一种文件压缩方法的结构流程图；图2为本专利技术实施例提供的一种文件压缩系统的结构示意图。具体实施方式下面通过附图和实施例，对本专利技术的技术方案做进一步的详细描述。图1为本专利技术实施例提供的一种文件压缩方法的结构流程图。如图1所示，文件压缩方法具体包括以下步骤：步骤S100：根据优先级队列对文件压缩任务进行优先级排序；所谓任务的优先级，优先级从1到10，数值越高，优先级越高，在入库之前已经对入库的歌曲的流行趋势、特色和编辑对其打分来综合评定优先级，还有根据歌曲的付费类型和紧急上线程度进行评定优先级。首先付费歌曲的优先级最高，然后是比较紧急上线的歌曲优先级次之，然后其它因素判断的优先级更低一些。对于当前的压缩任务，根据其优先级以及压缩机的历史成功率，对集群内的压缩机进行打分(打分标准：根据压缩机的成功率和性能以及对歌曲采样率、码率的综合评价进行打分)，优先分配给分值高并且较为空闲的机器。步骤S110：根据统计接收机的计算能力确定压缩机的空闲程度；具体地，对压缩机的计算能力，可以间隔一段时间统计一次，例如，一天，根据统计的压缩机的计算能力来均衡分配压缩机任务的数量。压缩机的综合评价方法评定方法如下：(1)压缩机的硬件配置根据压缩机的CPU性能、内存大小、网络带宽、磁盘IO速度，这些配置越高打分就越高，分值越高越容易被压缩任务选中。(2)统计方法评价根据压缩机历史成功率(每隔一段时间统计一次成功率)、文件类型(音频或视频的格式)，如果这个压缩机的成功率低于某个阀值，将发报警通知运维去解决问题，该问题解决可自动恢复，以前被分配到此压缩机的压缩任务自动漂移到其它的压缩机。(3)特殊情况的评价方法一般情况下，如果遇到音频和视频都需要分配给压缩机执行压缩，同等优先级的情况下，一般会把视频分配给性能最好的压缩机，但是如果音频的优先级比较高(如付费歌曲或紧急上线的歌曲)，会优先分配此文件的压缩。可选的，文件压缩包括音频和视频文件压缩，针对音频文件和视频文件压缩需要不同的压缩机。步骤S120：根据文件压缩任务的优先级与压缩机的空闲程度进行匹配；针对压缩任务优先级别与压缩机的空闲程度进行配对，优先级别高的压缩任务优先的选择空闲程度高的压缩机进行压缩。步骤S130：根据与文件压缩任务匹配的压缩机对文件压缩任务匹配进行压缩。在压缩完该文件后，可以将压缩完的文件上传至cdn。在压缩失败后，可重新执行步骤S120-步骤S130，最多重复三次，三次后认为压缩失败。本专利技术实施例通过对文件压缩任务优先级排序和统计压缩机的空闲程度进行匹配，选择优先级别高的与空闲程度大进行配对，使得压缩机调度更灵敏，效率更高，集群吞吐显著提高，压缩成功率大大提高。可选的，为了避免对文件重复压缩，压缩方法还包括：步骤S140：根据文件进行指纹识别，判断文件是否被重复压缩；当文件没有被重复压缩时，对文件进行压缩；当文件是重复压缩时，放弃对文件的压缩。步骤S140主要是剔除掉重复压缩的文件，缓解了压缩机的工作强度，提高压缩下效率。图2为本专利技术实施例提供的一种文件压缩系统的结构示意图。如图2所示，该文件压缩系统包括：排序单元10、统计单元20、匹配单元30和压缩单元40：排序单元10用于，根据优先级队列对文件压缩任务进行优先级排序；统计单元20用于，根据统计接收机的计算能力确定压缩机的空闲程度；匹配单元30用于，根据文件压缩任务的优先级与压缩机的空闲程度进行匹配；压缩单元40用于，根据与文件压缩任务匹配的压缩机对文件压缩任务进行压缩。具体地，排序单元10具体用于：根据文件的流行趋势、特色和编辑、付费类型和紧急上线程度进行优先级排序。具体地，统计单元20具体用于；根据压缩机的综合评价确定压缩机的空闲程度和承载能力；根据压缩机的空闲程度和承载能力分配文件压缩任务。可选的，文件压缩系统还包括识别单元50：识别单元50用于，根据文件进行指纹识别，判断文件是否被重复压缩；当文件没有被重复压缩时，对文件进行压缩。本专利技术的目的通过对压缩机智能分发和压缩任务优先级分配，充分利用单机多核，有效的解决了压缩效率低，压缩速度慢和压缩失败率高的问题。以上所述的具体实施方式，对本专利技术的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本专利技术的具体实施方式而已，并不用于限定本专利技术的保护范围，凡在本专利技术的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本专利技术的保护范围之内。本文档来自技高网...

【技术保护点】
一种文件压缩方法，其特征在于，包括：根据优先级队列对文件压缩任务进行优先级排序；根据统计接收机的计算能力确定压缩机的空闲程度；根据所述文件压缩任务的优先级与压缩机的空闲程度进行匹配；根据与所述文件压缩任务匹配的压缩机对所述文件压缩任务进行压缩。

【技术特征摘要】
1.一种文件压缩方法，其特征在于，包括：根据优先级队列对文件压缩任务进行优先级排序；根据统计接收机的计算能力确定压缩机的空闲程度；根据所述文件压缩任务的优先级与压缩机的空闲程度进行匹配；根据与所述文件压缩任务匹配的压缩机对所述文件压缩任务进行压缩。2.根据权利要求1所述的压缩方法，其特征在于，所述根据优先级队列对文件压缩任务进行优先级排序的步骤具体包括：根据所述文件的流行趋势、特色和编辑、付费类型和紧急上线程度进行优先级排序。3.根据权利要求1所述的压缩方法，其特征在于，所述根据统计接收机的计算能力确定压缩机的空闲程度的步骤包括：根据所述压缩机的综合评价确定所述压缩机的空闲程度和承载能力；根据所述压缩机的空闲程度和承载能力分配所述文件压缩任务。4.根据权利要求1所述的压缩方法，其特征在于，所述根据与所述文件压缩任务匹配的压缩机对所述文件压缩任务进行压缩的步骤之前还包括：根据所述文件进行指纹识别，判断所述文件是否被重复压缩；当所述文件没有被重复压缩时，对所述文件进行压缩。5.一种文件压缩系统，其特征在...

【专利技术属性】
技术研发人员：路建鑫，李杨，
申请(专利权)人：北京酷我科技有限公司，
类型：发明
国别省市：北京,11