一种时序网络数据集的规则化分散及收拢方法技术

本发明专利技术公开了一种时序网络数据集的规则化分散及收拢方法，其步骤包括：1)将用于存储分布式时序数据集的数据结构中各个数据序列、依据对应的封装算法规则进行封装；封装后的数据序列的数据块至少包括数据块的类型、数据块所在数据序列的标志、数据块的封装时序标识、数据块中具体的业务数据负载；2)当时序数据集基于具体业务场景不断增长，达到分散触发条件时，数据序列By裂变分出数据序列Bys；3)当时序数据集基于具体业务场景不断增长，达到收拢触发条件时，数据序列Bys向数据序列By汇集融入数据序列By。本发明专利技术可以实现快速、明确的进行新增数据集分散，从而实现数据集灵活处理。从而实现数据集灵活处理。从而实现数据集灵活处理。

【技术实现步骤摘要】
一种时序网络数据集的规则化分散及收拢方法


[0001]本专利技术涉及计算机技术及互联网领域，具体涉及互联网环境下网络数据集的规则化分散及收拢方法。

技术介绍

[0002]随着互联网时代的不断发展，时序数据库、区块链、边缘计算等网络类型数据结构下的随时间延续的数据集体积的增长，对于数据集的读取、传输及操作所需要的资源，成为了越来越多的分布式计算系统的节点处理、存储资源的瓶颈。
[0003]目前对于这类分布式数据集的数据块体积增长应对可以采用减少封装时间、提高封装费用等处理方法，从而降低需要封装数据集的体积，从而降低后续数据集的传输、处理等成本，但是减少封装时间可能导致数据一致不充分的风险，而提高费用会导致项目运行成本居高的问题。
[0004]因此，本专利技术提出一种用于互联网的时序网络数据集在增长状态下的规则化分散及收拢方法，提高互联网下的时序数据在分布式网络状态下的数据存储的更加灵活性和便捷性，从而降低分布式系统的单点处理负荷。

技术实现思路

[0005]针对现有技术中存在的技术问题，本专利技术的目的在于提供一种用于互联网的时序网络数据集在增长过程的规则化分散及收拢存储的方法，适用于所有数据集的进行分裂、收拢存储及处理等调节单点负载的应用场合，是一种应用在公共场合下的时序数据集的关联分散存储的方法。
[0006]在一个给定的计算机网络的时序网络数据集的，时序数据集有若干并行数据块序列构成，数据序列由数据块利用特征值而次第关联的构成，数据块由如图1所示的数据结构组成，其中数据负载由如图2所示的业务数据构成。当数据序列的数据块体积超过设定容量安全阈值或业务设定需要，则数据序列就依据特征值奇偶特性或其他约定规则进行分裂成偶数列数据序列，数据序列之间的业务数据形成互补，如图5和图6所示；当分散后的数据序列的数据块低于设定容量阈值或业务设定需要，则分散后的数据合并回归为之前的数据序列，如图4。
[0007]本专利技术的时序数据集的规则化分散及收拢方法，包括如下步骤：
[0008]1)将用于存储分布式时序数据集的数据结构中各个数据序列B1、～、BN依据不同的业务场景或其他设定准则选择对应的封装算法规则，可以是zip格式压缩、加密算法或其他自定义算法规则，同一条数据序列By中的数据块之间依序次关联，y＝1～N，其中这种关联可以是相邻数据块的数据特征之间锚定，或其他自定义关联方法。数据序列B1、～、BN最终依其自身业务特点封装成各自的数据依赖结构，如图4。其中，构成数据序列的数据块至少包括Fy_Sh、F_DS、Ti_(y,x)、DATA共4部分，也可以包括H_(y,(x
‑
1))、H_G(z
‑
1)作为第5、6部分，如图1，其中，Fy_Sh是数据块的类型，F_DS是数据块所在数据序列By的标志(可以是
By，也可以是一个编码或者序数)，Ti_(y,x)是第y列数据序列By中第x个数据块的封装时序标识，可以是封装时刻或其他约定标识，DATA是指数据块中具体的业务数据负载，H_(y,(x
‑
1))是第y列数据序列By中第x个数据块的前序数据块(即第x
‑
1个数据块)的数字特征值，其中，H_G(z
‑
1)是第y列数据序列By中第x个数据块的超块(即第z
‑
1个)的数字特征值。其中，超块H_G(z)是超块序列(一类数据序列)中的数据块，超块序列的数据块至少保存了其他数据序列的数据序列标志F_DS、数据封装时序Ti_(y,x)，及前序超块数字特征值H_G(z
‑
1)。“超块”的封装生成方式与普通数据块类似，同时超块接受其他数据块的数字特征值并保存，超块可以是其他普通的数据块的充当，或者也可以是专门的数据块。
[0009]其中，数据块类型Fy_Sh用来表征数据块是否分散以及分散的形式，不分散的数据序列此处置为约定值，分散类型的可以是描述参数的序列化或者描述参数的数字特征值，描述参数组织形式可以是XML、JSON、YML或其他自定义类型。构成数据块的数据负载DATA包括T_1、T_2、
…
、T_(M)，其中，T_(m)(m＝1～M)是具体业务数据条目，数据条目可以是k
‑
V(即key
‑
Value)数据结构或者由具体业务场景设定数据结构，数据结构与数据块类型Fy_Sh相匹配。
[0010]2)时序数据集基于具体业务场景不断增长，达到分散触发条件(如数据负载大于容量阈值)，数据序列By在此之后裂变分出数据序列Bys，数据序列Bys的数据结构与数据序列By相同，但是数据序列By与数据序列Bys的数据块内数据负载业务数据条目为业务场景上互相合作或互相依赖的互补集，共同构成一个业务数据集合，其中，数据序列根据业务场景需求采用规则形成互补集，这类规则包括数据条目特征值的奇偶、取模、掩码及其他约定基准归类，如图5和图6，针对数据条目的特征值取模或掩码后再根据具体业务需求进行归类。其中，数据条目特征值可以是序列化或者其他方式自定义方式求得，并将数据条目特征值的获得手段置入类型Fy_Sh的参数结构。
[0011]其中，分散触发条件可以是数据负载容量阈值，或者是其他业务场景设定。其中，DATA_为数据序列By分裂后的数据负载，DATA_s为数据序列Bys的数据负载。DATA_由T_1、T_3、
…
、T_(M
‑
1)构成，DATA_s由T_2、T_4、
…
、T_(M)构成，T_(M)可以与其他数据存在着具体的业务合作关系或没有关系，DATA_与DATA_s构成互补集。其中，数据条目T_(m)的k
‑
V结构的key可以是Value的数字特征值、封装序列或者其他业务场景设置。
[0012]3)时序数据集基于具体业务场景不断增长，达到全局触发条件(如经过时间间隔)，超块GB(z)获得各个数据序列的数据块的数字特征值H_(y,x)，超块数据块包括Ti_G(z)、DATA_G、H_(y
’
)(y
’
＝1～N,ys)、H_G(z
‑
1)部分，其中，Ti_G(z)为超块序列的数据块GB(z)的封装时间序列标识，DATA_G为超块序列的数据块的数据负载，H_(y
’
)(y
’
＝1～N,ys)为数据序列By(y
’
＝1～N,ys)的数据块数字特征，其中数据序列Bys为数据序列By分裂出来的数据序列，H_G(z
‑
1)为超块序列的第z个数据块的前序数据块(第z
‑
1个)。超块序列的“数据块”也即“超块”。
[0013]4)时序数据集基于具体业务场景不断增长，达到收拢触发条件(如分裂后的数据负载小于设定阈值，数据负载也即数据序列的数据块的封装后体积)，数据序列Bys向数据序列By汇集融入数据序列By，数据块类型Fy_Sh设定恢复未分散类型，H_本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种时序网络数据集的规则化分散及收拢方法，其步骤包括：1)将用于存储分布式时序数据集的数据结构中各个数据序列B1、～、BN依据对应的封装算法规则进行封装；封装后的数据序列By中的数据块至少包括Fy_Sh、F_DS、Ti_(y,x)、DATA；其中，Fy_Sh是数据块的类型，F_DS是数据块所在数据序列By的标志，Ti_(y,x)是第y列数据序列By中第x个数据块的封装时序标识或其他约定标识，DATA是指数据块中具体的业务数据负载；2)当时序数据集基于具体业务场景不断增长，达到分散触发条件时，数据序列By裂变分出数据序列Bys；3)当时序数据集基于具体业务场景不断增长，达到收拢触发条件时，数据序列Bys向数据序列By汇集融入数据序列By，数据块类型Fy_Sh设定为恢复未分散类型，H_(y,(x
‑
1))中增加数据序列Bys中第x个数据块的前序数据块的数字特征值H_s(y,(x
‑
1))。2.如权利要求1所述的方法，其特征在于，数据序列Bys与数据序列By具有相同的数据结构，且数据序列By与数据序列Bys的数据块内数据负载业务数据条目为互相合作的互补集；其中，DATA_为数据序列By分裂后的数据负载，DATA_s为数据序列Bys的数据负载。3.如权利要求2所述的方法，其特征在于，DATA_由T_1、T_3、
…
、T_(M
‑
1)构成，DATA_s由T_2、T_4、
…
、T_(M)构成，DATA_与DATA_s构成互补集；其中M为数据序列By分裂前的数据条目总数。4.如权利要求2所述的方法，其特征在于，数据条目T_(m)采用键值对key
‑
Value结构存储，其中键key是键值Value的数字特征值、封装序列或者其他业务场景设置，m＝1～M。5.如权利要求1所述的方法，其特征在于，所说分散触发条件为数据负载容量阈值；所述全局触发条件为一设定的时间间隔；所述收拢触发条...

【专利技术属性】
技术研发人员：史兴国，陈光宇，杨垂柏，
申请(专利权)人：苏州超块链信息科技有限公司，
类型：发明
国别省市：