一种确定数据存储占比的方法、装置及服务器制造方法及图纸

本发明专利技术公开了一种确定数据存储占比的方法、装置及服务器，所述方法包括：获取与文件数据中目标数据一一对应的标准数字型数据，所述文件数据中的目标数据为多种类型的数据；确定所述标准数字型数据的第一数值区间与目标数据块所对应的标准数字型数据的第二数值区间的交集数值区间，所述目标数据块为所述文件数据的任一数据块；基于预设哈希函数确定所述交集数值区间中的标准数字型数据在所述目标数据块所对应哈希表中的哈希下标区间，所述哈希表包括与哈希下标对应的标准数字型数据的出现次数；将所述哈希下标区间所对应的标准数字型数据的出现次数之和除以目标数据块中数据的总数量，得到所述目标数据在所述目标数据块中的存储占比。

A Method, Device and Server for Determining the Proportion of Data Storage

【技术实现步骤摘要】
一种确定数据存储占比的方法、装置及服务器
本专利技术涉及计算机
，尤其涉及一种确定数据存储占比的方法、装置及服务器。
技术介绍
近年来，随着计算机技术和互联网技术的快速发展，每天都有海量的数据产生，为了保证数据的安全，往往需要对数据进行备份存储。在数据备份处理过程中，备份数据的存储占比是影响数据备份速度和被备份的数据的精准程度的重要因数，目前现有技术还没有提供一种有效的方案可以快速的计算数据的存储占比以加快数据库的备份速度。因此，亟需一种有效可靠的方案来快速准确的确定出数据的存储占比。
技术实现思路
本专利技术提供了一种确定数据存储占比的方法、装置及服务器，可以快速准确的确定出各种类型数据的存储占比。一方面，本专利技术提供了一种确定数据存储占比的方法，所述方法包括：获取与文件数据中目标数据一一对应的标准数字型数据，所述文件数据中的目标数据为多种类型的数据；确定所述标准数字型数据的第一数值区间与目标数据块所对应的标准数字型数据的第二数值区间的交集数值区间，所述目标数据块为所述文件数据的任一数据块；基于预设哈希函数确定所述交集数值区间中的标准数字型数据在所述目标数据块所对应哈希表中的哈希下标区间，所述哈希表包括与哈希下标对应的标准数字型数据的出现次数；将所述哈希下标区间所对应的标准数字型数据的出现次数之和除以目标数据块中数据的总数量，得到所述目标数据在所述目标数据块中的存储占比。另一方面提供了一种确定数据存储占比的装置，所述装置包括：第一标准数字型数据获取模块，用于获取与文件数据中目标数据一一对应的标准数字型数据，所述文件数据中的目标数据为多种类型的数据；交集数值区间确定模块，用于确定所述标准数字型数据的第一数值区间与目标数据块所对应的标准数字型数据的第二数值区间的交集数值区间，所述目标数据块为所述文件数据的任一数据块；第一哈希映射处理模块，用于基于预设哈希函数确定所述交集数值区间中的标准数字型数据在所述目标数据块所对应哈希表中的哈希下标区间，所述哈希表包括与哈希下标对应的标准数字型数据的出现次数；第一存储占比计算模块，用于将所述哈希下标区间所对应的标准数字型数据的出现次数之和除以目标数据块中数据的总数量，得到所述目标数据在所述目标数据块中的存储占比。另一方面提供了一种确定数据存储占比的服务器，所述服务器包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如上述的确定数据存储占比的方法。本专利技术提供的确定数据存储占比的方法、装置及服务器，具有如下技术效果：本专利技术将文件数据中目标数据转化成统一类型的标准数字型数据，确定相应的第一数值区间与数据块的第二数值区间的交集数值区间；以及该交集数值区间中的标准数字型数据在目标数据块所对应哈希表中的哈希下标区间；最后，将哈希下标区间所对应的标准数字型数据的出现次数之和除以目标数据块中数据的总数量，可以快速得到目标数据在目标数据块中的存储占比，实现无论什么类型的数据均可以以统一方式来快速确定数据存储占比。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。图1是本专利技术实施例提供的一种应用环境的示意图；图2是本专利技术实施例提供的一种生成文件数据的哈希表方法的流程示意图；图3是本专利技术实施例提供的一种基于预设哈希函数对数据块所对应的标准数字型数据进行哈希映射处理，构建所述数据块所对应的哈希表方法的流程示意图；图4是本专利技术实施例提供的一种标准数字型数据映射到哈希表的示意图；图5是本专利技术实施例提供另一种标准数字型数据映射到哈希表的示意图；图6是本专利技术实施例提供的一种哈希表存储格式的示意图；图7是本专利技术实施例提供的一种确定数据存储占比的方法的流程示意图；图8是本专利技术实施例提供的一种确定所述标准数字型数据的第一数值区间与目标数据块所对应的标准数字型数据的第二数值区间的交集数值区间方法的流程示意图；图9是本专利技术实施例提供的一种备份策略确定方法的流程示意图；图10是本专利技术实施例提供的一种确定数据存储占比的装置的结构示意图；图11是本专利技术实施例提供的一种服务器的结构示意图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本专利技术保护的范围。需要说明的是，本专利技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本专利技术的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或服务器不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。请参阅图1，图1是本专利技术实施例提供的一种应用环境的示意图，如图1所示，该应用环境至少包括服务器01和数据库02。具体的，所述服务器01可以包括一个独立运行的服务端，或者分布式服务端，或者由多个服务端组成的服务端集群。具体的，所述数据库02可以包括但不限于关系型数据库MySQL，所述数据库可以用于存储文件数据、文件数据中数据的存储占比，以及文件数据的数据块中数据的存储占比等信息。本说明书实施例中，所述服务器01可以用于对数据库02中存储的文件数据进行数据存储占比的计算。在实际应用中，文件数据可以以数据块的形式存储在数据库中，一般的，一个文件数据可以有一个或多个数据块，每个数据块中可以包括一种或多种类型的数据(元组)。为了对不同类型的数据进行存储占比的确定，可以将文件数据中的数据都转换成统一的数据类型，并通过将统一类型的数据进行哈希映射处理，得到包括与统一类型的数据相对应的哈希值的哈希表，并基于哈希表来进行数据存储占比的计算。以下首先介绍一种生成文件数据的哈希表的实施例。如图2所示，可以包括：S201：确定所述文件数据的数据块，所述数据块包括多种类型的数据。S203：将所述文件数据的数据块中的多种类型的数据转换成标准数字型数据。本说明书实施例中，所述标准数字型数据可以包括但不限于整数类型和浮点数类型的数字数据。数据的类型可以包括但不限于下述几种数据类型：数字类型、日期和时间类型、字符串类型。具体的，当数据块中的数据的类型为数字类型时，其属于可比较大小的类型，此类型可以直接作为标准数字型数据。具体的，当数据块中的数据的类型为日期和时间类型时，其属于可比较大小的类型，主要包括date(日)、time(时间)、timestamp(时间戳)、year(年)等几类。显然日期和时间类型均可按照一定的编码规则转换为标准数字型数据，比如日期类型05/01/本文档来自技高网...

【技术保护点】
1.一种确定数据存储占比的方法，其特征在于，所述方法包括：获取与文件数据中目标数据一一对应的标准数字型数据，所述文件数据中的目标数据为多种类型的数据；确定所述标准数字型数据的第一数值区间与目标数据块所对应的标准数字型数据的第二数值区间的交集数值区间，所述目标数据块为所述文件数据的任一数据块；基于预设哈希函数确定所述交集数值区间中的标准数字型数据在所述目标数据块所对应哈希表中的哈希下标区间，所述哈希表包括与哈希下标对应的标准数字型数据的出现次数；将所述哈希下标区间所对应的标准数字型数据的出现次数之和除以目标数据块中数据的总数量，得到所述目标数据在所述目标数据块中的存储占比。

【技术特征摘要】
1.一种确定数据存储占比的方法，其特征在于，所述方法包括：获取与文件数据中目标数据一一对应的标准数字型数据，所述文件数据中的目标数据为多种类型的数据；确定所述标准数字型数据的第一数值区间与目标数据块所对应的标准数字型数据的第二数值区间的交集数值区间，所述目标数据块为所述文件数据的任一数据块；基于预设哈希函数确定所述交集数值区间中的标准数字型数据在所述目标数据块所对应哈希表中的哈希下标区间，所述哈希表包括与哈希下标对应的标准数字型数据的出现次数；将所述哈希下标区间所对应的标准数字型数据的出现次数之和除以目标数据块中数据的总数量，得到所述目标数据在所述目标数据块中的存储占比。2.根据权利要求1所述的方法，其特征在于，当所述文件数据的多个数据块包括所述目标数据时，所述方法还包括：将所述哈希下标所对应的标准数字型数据的出现次数之和除以文件数据中数据的总数量，得到所述目标数据的在所述文件数据中的存储占比。3.根据权利要求1所述的方法，其特征在于，在获取与文件数据中目标数据一一对应的标准数字型数据之前，所述方法还包括：确定所述文件数据的数据块，所述数据块包括多种类型的数据；将所述文件数据的数据块中的多种类型的数据转换成标准数字型数据；基于预设哈希函数对数据块所对应的标准数字型数据进行哈希映射处理，构建所述数据块所对应的哈希表，所述哈希表包括与哈希下标对应的标准数字型数据的出现次数。4.根据权利要求3所述的方法，其特征在于，所述基于预设哈希函数对数据块所对应的标准数字型数据进行哈希映射处理，构建所述数据块所对应的哈希表包括：确定数据块所对应的标准数字型数据的分段间隔；确定所述数据块所对应的哈希元素数量；基于所述分段间隔和哈希元素数量对所述数据块所对应的标准数字型数据进行哈希映射处理，得到所述所对应的标准数字型数据的哈希下标；统计所述哈希下标所对应的标准数字型数据的出现次数；将标准数字型数据的出现次数与哈希下标一一对应，得到哈希表。5.根据权利要求4所述的方法，其特征在于，当所述文件数据的数据块中写入新数据时，所述方法还包括：将所述新数据转换成标准数字型数据；获取所述数据块中当前的最大标准数字型数据和最小标准数字型数据；计算所述最大标准数字型数据和所述最小标准数字型数据之差与所述分段间隔的比值；判断所述比值是否大于等于预设哈希扩充参数；当判断的结果为是时，调整所述数据块所对应的哈希表的哈希元素数量和所述预设哈希扩充参数。6.根据权利要求4所述的方法，其特征在于，当所述文件数据的数据块中写入新数据时，所述方法还包括：基于所述分段间隔和当前所对应的哈希元素数量对所述新数据的标准数字型数据进行哈希映射处理，得到新增哈希值；将所述新增哈希值存储至所述数据块所对应的哈希表。7.根据权利要求...

【专利技术属性】
技术研发人员：李海翔，李昊华，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：广东,44