【技术实现步骤摘要】
本专利技术属于数据压缩存储领域，涉及数据处理技术，具体是基于互联网海量数据管理的数据压缩存储系统。
技术介绍
1、数据压缩在数据库管理系统中起着至关重要的作用，通过数据压缩，可以减少数据库所占用的存储空间，提高查询效率，并降低数据传输和备份的成本；在数据压缩中，通过使用比原始数据更少的位来对数据进行编码，数据压缩方式一般包括有损数据压缩与无损数据压缩。
2、公告号为cn108304472a的专利技术专利公开了一种数据压缩存储方法以及数据压缩存储装置，该数据压缩方法能够考虑到数据内容的不同而采用不同的压缩方法，能够有效提高数据压缩效率，相比通用的gzip、snappy等数据压缩工具，在数据压缩率上有明显的提升；但是，该数据压缩方法无法根据待压缩处理数据包的数据类型选择合适的数据压缩方式，无法同时保障数据安全性与压缩处理效率。
3、针对上述技术问题，本申请提出一种解决方案。
技术实现思路
1、本专利技术的目的在于提供基于互联网海量数据管理的数据压缩存储系统，用于解决现有技术方法无法根据待压缩处理数据包的数据类型选择合适的数据压缩方式的问题；
2、本专利技术需要解决的技术问题为：如何提供一种可以根据待压缩处理数据包的数据类型选择合适的数据压缩方式的基于互联网海量数据管理的数据压缩存储系统。
3、本专利技术的目的可以通过以下技术方案实现：
4、基于互联网海量数据管理的数据压缩存储系统，包括服务器，所述服务器通信连接有类型管理模块、
5、所述类型管理模块用于对数据库中不同类型的数据存储状态进行管理分析：将数据库中存储的数据压缩包在加密之前的数据类型标记为管理对象，将管理对象对应的数据压缩包标记为管理对象的从属对象，生成管理周期，在管理周期的结束时刻获取管理对象的管理系数gl，将所有管理对象的管理系数gl通过服务器发送至加密管理模块；
6、所述加密管理模块用于对待压缩数据包的加密压缩方式进行管理分析并将管理对象标记为无损对象或深度分析对象；
7、所述临界分析模块用于对深度分析对象的决策临界值进行分析；将深度分析对象的决策临界值通过服务器发送至数据库进行存储；
8、所述压缩处理模块用于对不同类型的待压缩数据包进行加密压缩处理。
9、进一步地，管理对象的管理系数gl的获取过程包括：获取管理对象的调频值dp、丢失值ds以及找回值zh；通过公式gl＝k1*ds+k2*ds-k3*zh得到管理对象在管理周期内的管理系数gl，其中k1、k2以及k3均为比例系数，且k1>k2>k3>1。
10、进一步地，调频值dp的获取过程包括：获取管理对象的从属对象在管理周期内的调用次数，对管理对象对应所有从属对象的调用次数进行求和取平均值得到管理对象的调频值dp；丢失值ds的获取过程包括：获取管理对象的从属对象在进行加密处理时的丢失字节数与加密前数据包字节数的比值并标记为从属对象的丢失数据，对管理对象对应所有从属对象的丢失数据进行求和取平均值得到管理对象的丢失值ds；找回值zh的获取过程包括：获取管理对象的从属对象在管理周期内的数据找回请求次数并标记为从属对象的找回数据，对管理对象对应所有从属对象的找回数据进行求和取平均值得到管理对象的找回值zh。
11、进一步地，将管理对象标记为无损对象或深度分析对象的具体过程包括：通过数据库获取管理阈值glmax，将管理对象在管理周期内的管理系数gl与管理阈值glmax进行比较：若管理系数gl小于管理阈值glmax，则将管理对象标记为无损对象；若管理系数gl大于等于管理阈值glmax，则将对应的管理对象标记为深度分析对象，将深度分析对象通过服务器发送至临界分析模块。
12、进一步地，决策临界值的获取过程包括：将所有深度分析对象在管理周期内完成数据加密压缩存储过程的从属对象标记为监测对象，将监测对象在管理周期内进行的数据加密压缩存储过程标记为监测过程，将监测对象在执行监测过程之前的数据包字节数标记为监测对象的体量值，将监测对象对应监测过程的执行时长标记为执行值，将体量值与执行值的比值标记为监测对象以及监测过程的处理系数，由所有加密压缩方式为无损分析对象的监测过程对应的处理系数构成处理集合，对处理集合进行比对分析得到决策临界值。
13、进一步地，对处理集合进行比对分析的具体过程包括：对处理集合进行方差计算得到处理偏差值，通过数据库获取处理偏差阈值，将处理偏差值与处理偏差阈值进行比较：若处理偏差值小于处理偏差阈值，则将处理集合中所有元素对应监测过程体量值的最小值标记为决策临界值；若处理偏差值大于等于处理偏差阈值，则将处理集合中的最小元素与最大元素进行剔除，然后重新计算处理集合的处理偏差值，以此类推，直至处理偏差值小于处理偏差阈值。
14、进一步地，对不同类型的待压缩数据包进行加密压缩处理的具体过程包括：将待压缩数据包标记为处理对象，判定处理对象的数据类型在上一管理周期内是否被标记为无损对象：
15、若是，则直接采用无损压缩方式对处理对象加密压缩处理；
16、若否，则获取处理对象的数据包字节数并标记为处理对象的处理值，调取上一管理周期的决策临界值，将处理值与决策临界值进行比较：若处理值小于等于决策临界值，则直接采用无损压缩方式对处理对象进行加密压缩处理；若处理值大于决策临界值，则直接采用有损压缩方式对处理对象进行加密压缩处理。
17、进一步地，该基于互联网海量数据管理的数据压缩存储系统的工作方法，包括以下步骤：
18、步骤一：对数据库中不同类型的数据存储状态进行管理分析：将数据库中存储的数据压缩包在加密之前的数据类型标记为管理对象，生成管理周期，在管理周期的结束时刻获取管理对象的管理系数gl；
19、步骤二：对待压缩数据包的加密压缩方式进行管理分析，通过管理系数gl将管理对象标记为无损对象或深度分析对象；
20、步骤三：对有损压缩方式的决策临界值进行分析：将所有深度分析对象在管理周期内完成数据加密压缩存储过程的从属对象标记为监测对象，对所有监测对象的执行值与体量值进行计算得到决策临界值；
21、步骤四：对不同类型的待压缩数据包进行加密压缩处理。
22、本专利技术具备下述有益效果：
23、1、通过类型管理模块可以对数据库中不同类型的数据存储状态进行管理分析，对数据类型在管理周期内的多项管理参数进行综合分析与计算得到管理系数，通过管理系数对该数据类型采用无损数据压缩方式进行加密压缩处理的适宜程度进行反馈；
24、2、通过加密管理模块可以对待压缩数据包的加密压缩方式进行管理分析，根据管理系数对管理对象进行差异化标记，在管理对象被标记为无损对象时直接为其匹配无损数据压缩方式，保证数据完整性要求较高的数据包在完成加密压缩之后的数据安全性；
25、3、通过临界分析模块可以对深度本文档来自技高网...
【技术保护点】
1.基于互联网海量数据管理的数据压缩存储系统，其特征在于，包括服务器，所述服务器通信连接有类型管理模块、加密管理模块、临界分析模块、压缩处理模块以及数据库；
2.根据权利要求1所述的基于互联网海量数据管理的数据压缩存储系统，其特征在于，管理对象的管理系数GL的获取过程包括：获取管理对象的调频值DP、丢失值DS以及找回值ZH；通过公式GL＝k1*DS+k2*DS-k3*ZH得到管理对象在管理周期内的管理系数GL，其中k1、k2以及k3均为比例系数，且k1>k2>k3>1。
3.根据权利要求2所述的基于互联网海量数据管理的数据压缩存储系统，其特征在于，调频值DP的获取过程包括：获取管理对象的从属对象在管理周期内的调用次数，对管理对象对应所有从属对象的调用次数进行求和取平均值得到管理对象的调频值DP；丢失值DS的获取过程包括：获取管理对象的从属对象在进行加密处理时的丢失字节数与加密前数据包字节数的比值并标记为从属对象的丢失数据，对管理对象对应所有从属对象的丢失数据进行求和取平均值得到管理对象的丢失值DS；找回值ZH的获取过程包括：获取管理对象的
4.根据权利要求3所述的基于互联网海量数据管理的数据压缩存储系统，其特征在于，将管理对象标记为无损对象或深度分析对象的具体过程包括：通过数据库获取管理阈值GLmax，将管理对象在管理周期内的管理系数GL与管理阈值GLmax进行比较：若管理系数GL小于管理阈值GLmax，则将管理对象标记为无损对象；若管理系数GL大于等于管理阈值GLmax，则将对应的管理对象标记为深度分析对象，将深度分析对象通过服务器发送至临界分析模块。
5.根据权利要求4所述的基于互联网海量数据管理的数据压缩存储系统，其特征在于，决策临界值的获取过程包括：将所有深度分析对象在管理周期内完成数据加密压缩存储过程的从属对象标记为监测对象，将监测对象在管理周期内进行的数据加密压缩存储过程标记为监测过程，将监测对象在执行监测过程之前的数据包字节数标记为监测对象的体量值，将监测对象对应监测过程的执行时长标记为执行值，将体量值与执行值的比值标记为监测对象以及监测过程的处理系数，由所有加密压缩方式为无损分析对象的监测过程对应的处理系数构成处理集合，对处理集合进行比对分析得到决策临界值。
6.根据权利要求5所述的基于互联网海量数据管理的数据压缩存储系统，其特征在于，对处理集合进行比对分析的具体过程包括：对处理集合进行方差计算得到处理偏差值，通过数据库获取处理偏差阈值，将处理偏差值与处理偏差阈值进行比较：若处理偏差值小于处理偏差阈值，则将处理集合中所有元素对应监测过程体量值的最小值标记为决策临界值；若处理偏差值大于等于处理偏差阈值，则将处理集合中的最小元素与最大元素进行剔除，然后重新计算处理集合的处理偏差值，以此类推，直至处理偏差值小于处理偏差阈值。
7.根据权利要求6所述的基于互联网海量数据管理的数据压缩存储系统，其特征在于，对不同类型的待压缩数据包进行加密压缩处理的具体过程包括：将待压缩数据包标记为处理对象，判定处理对象的数据类型在上一管理周期内是否被标记为无损对象：
8.根据权利要求1-7任一项所述的基于互联网海量数据管理的数据压缩存储系统，该基于互联网海量数据管理的数据压缩存储系统的工作方法，包括以下步骤：
...【技术特征摘要】
1.基于互联网海量数据管理的数据压缩存储系统，其特征在于，包括服务器，所述服务器通信连接有类型管理模块、加密管理模块、临界分析模块、压缩处理模块以及数据库；
2.根据权利要求1所述的基于互联网海量数据管理的数据压缩存储系统，其特征在于，管理对象的管理系数gl的获取过程包括：获取管理对象的调频值dp、丢失值ds以及找回值zh；通过公式gl＝k1*ds+k2*ds-k3*zh得到管理对象在管理周期内的管理系数gl，其中k1、k2以及k3均为比例系数，且k1>k2>k3>1。
3.根据权利要求2所述的基于互联网海量数据管理的数据压缩存储系统，其特征在于，调频值dp的获取过程包括：获取管理对象的从属对象在管理周期内的调用次数，对管理对象对应所有从属对象的调用次数进行求和取平均值得到管理对象的调频值dp；丢失值ds的获取过程包括：获取管理对象的从属对象在进行加密处理时的丢失字节数与加密前数据包字节数的比值并标记为从属对象的丢失数据，对管理对象对应所有从属对象的丢失数据进行求和取平均值得到管理对象的丢失值ds；找回值zh的获取过程包括：获取管理对象的从属对象在管理周期内的数据找回请求次数并标记为从属对象的找回数据，对管理对象对应所有从属对象的找回数据进行求和取平均值得到管理对象的找回值zh。
4.根据权利要求3所述的基于互联网海量数据管理的数据压缩存储系统，其特征在于，将管理对象标记为无损对象或深度分析对象的具体过程包括：通过数据库获取管理阈值glmax，将管理对象在管理周期内的管理系数gl与管理阈值glmax进行比较：若管理系数gl小于管理阈值glmax，则将管理对象标记为无损对象；若管理系数gl大于等于管理阈值glmax，则将对...
【专利技术属性】
技术研发人员：许瑞，徐帆，
申请(专利权)人：上海德载信息技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。