一种基于数据中台的均衡化数据存储方法及系统技术方案

本发明专利技术提供了一种基于数据中台的均衡化数据存储方法及系统，其方法及系统包括：基于数据中台中数据采集子中台将采集到的待存储数据发送到数据处理子中台进行数据预处理；基于预处理数据中每个子数据的数据特性，确定对应子数据在数据中台的存储方式；基于所述存储方式，获取对应子数据的均衡权重；基于所有子数据的均衡权重，在所述数据处理子中台对所述待存储数据进行均衡化数据存储。通过对采集到的数据进行处理，确定所述数据在数据中台的存储方式，并得到对应的均衡权重来对所述存储方式进行调整，可以使得数据的存储更加均衡，同时也可以使得数据的存储空间占有率更高，减少了空间的浪费。了空间的浪费。了空间的浪费。

【技术实现步骤摘要】
一种基于数据中台的均衡化数据存储方法及系统


[0001]本专利技术涉及数据存储领域，特别涉及一种基于数据中台的均衡化数据存储方法及系统。

技术介绍

[0002]目前，计算机已经广泛普及到各行各业以及个人用户。随着计算机及相关领域的发展，计算机与外部设备的数据存储技术得到了飞速的发展。与此同时，对于数据存储的要求也越来越高，均衡化的数据存储也变得常态化，基于数据中台的均衡化存储也开始常见。
[0003]然而，现有的均衡化数据存储技术对于均衡化的存储过程中的空间利用率较低，存在一定程度上的资源空间的浪费，从而使得数据存储的成本提高。
[0004]因此，本专利技术提供了一种基于数据中台的均衡化数据存储方法及系统。

技术实现思路

[0005]本专利技术提供了一种基于数据中台的均衡化数据存储方法及系统，用以通过对采集到的数据进行处理，确定所述数据在数据中台的存储方式，并得到对应的均衡权重来对所述存储方式进行调整，可以使得数据的存储更加均衡，同时也可以使得数据的存储空间占有率更高，减少了空间的浪费。
[0006]本专利技术提供一种基于数据中台的均衡化数据存储方法，包括：步骤1：基于数据中台中数据采集子中台将采集到的待存储数据发送到数据处理子中台进行数据预处理；步骤2：基于预处理数据中每个子数据的数据特性，确定对应子数据在数据中台的存储方式；步骤3：基于所述存储方式，获取对应子数据的均衡权重；步骤4：基于所有子数据的均衡权重，在所述数据处理子中台对所述待存储数据进行均衡化数据存储。
[0007]在一种可能实现的方式中，所述基于数据中台中数据采集子中台将采集到的待存储数据发送到数据处理子中台进行数据预处理，包括：基于所述数据处理子中台对接收到的待存储数据进行数据标准化处理；基于标准化处理后的待存储数据进行数据压缩，得到预处理数据；将所述预处理数据保存在所述数据处理子中台。
[0008]在一种可能实现的方式中，所述基于预处理数据中每个子数据的数据特性，确定对应子数据在数据中台的存储方式，包括：基于每个子数据的数据特性，并基于预设数据存储分析表得到相应子数据的数据存储指数；基于每个子数据的数据存储指数，判断对应子数据的存储方式；其中，数据特性包括工业协议、采集频率、数据格式及大小以及数据分析方式中的
至少一种特性。
[0009]在一种可能实现的方式中，所述基于每个子数据的数据特性，并基于预设数据存储分析表得到相应子数据的数据存储指数，包括：将每个子数据的数据特性与预设数据存储分析表进行匹配；基于匹配结果判断对应子数据的数据存储指数；若所述数据存储指数在预设存储范围内，判定所述数据存储指数正常；否则，对数据存储指数不在预设存储范围内的子数据重新进行数据预处理以及重新与预设数据分析表进行匹配；若重新处理的存储指数仍不在预设存储范围内，则基于数据处理子中台提出处理询问。
[0010]在一种可能实现的方式中，所述基于每个子数据的存储指数，判断对应子数据的存储方式之后，还包括：确定每个子数据的初始存储地址，具体包括：按照每个子数据的存储方式，来确定相应子数据对应的待存储地址；判断所述待存储地址中是否预先存有数据，并判断所述待存储地址中的剩余空间是否足够当前子数据完整写入；若不够，获取未能完整写入的初始扩充空间，并根据所述当前子数据匹配数据类型的历史存储记录，确定同历史类型数据的历史写入地址的磨损概率；基于所述磨损概率对所述初始扩充空间进行优化，得到待扩充空间，并基于所述待扩充空间对所述当前子数据的待存储地址进行调整，得到初始存储地址；否则，将所述待存储地址作为当前子数据的初始存储地址。
[0011]在一种可能实现的方式中，所述基于所述存储方式，获取对应子数据的均衡权重，包括：获取所述子数据的数据特性以及子数据对应的存储方式；提取资源存储数据库中所有历史子数据的数据特性及历史存储方式，以及每个历史子数据对应的权重分析结果，对初始分析模型进行学习，得到权重分析模型；基于所述权重分析模型，对相应子数据的数据特性以及存储方式进行权重分析，得到对应子数据的权重分析指数；基于所述权重分析指数，判断每个子数据对应的均衡权重；对数据存储指数正常的子数据进行第一均衡权重的确定，对数据存储指数不在预设存储范围内的子数据进行第二均衡权重的确定；其中，所述均衡权重包括第一均衡权重以及第二均衡权重。
[0012]在一种可能实现的方式中，所述基于所有子数据的均衡权重，在所述数据处理子中台对所述待存储数据进行均衡化数据存储，包括：确定每个子数据所对应初始存储地址的地址权重以及数据存储偏好；解析对应子数据，并得到对应子数据的第一数据偏好以及获取对应子数据的均衡权重；根据所述地址权重与均衡权重的第一匹配关系以及数据存储偏好与第一数据偏好的第二匹配关系，确定对应子数据的初始存储地址是否有效；若有效，将对应子数据的初始存储地址视为有效存储地址；
若无效，将对应的初始存储地址暂留；确定所有有效的初始存储地址的第一个数A1以及所有无效的初始存储地址的第二个数A2；当时，判定需要基于第一个数的有效初始存储地址对第二个数的无效初始存储地址进行地址调整，其中，表示预设比较值，取值为0.4；否则，判定需要通过第二个数的无效初始存储地址本身以及扩充新的存储地址对无效的初始存储地址进行地址调整；基于地址调整结果，对所述待存储数据进行均衡化数据存储。
[0013]在一种可能实现的方式中，在所述数据处理子中台对所述待存储数据进行均衡化数据存储之后，还包括：对均衡化数据存储结果进行判断，具体包括：步骤01：基于所述待存储数据的均衡化数据存储结果，提取每组数据存储地址的实际长度，其中，每组数据包括至少一个子数据；步骤02：基于每组数据存储地址的实际长度与剩余每组数据存储地址的实际长度进行比较，得到比较结果；步骤03：基于所述比较结果确定所述均衡化数据存储结果的方差；步骤04：基于所述均衡化数据存储结果的方差与第一预设范围进行比较；若所述均衡化数据存储结果的方差小于第一预设范围的最小边界值，判定所述均衡化数据存储结果合格；若所述均衡化数据存储结果的方差处于第一预设范围的边界，则确定所有组数据存储地址的平均长度与标准数据存储地址长度的比值；若比值小于或等于预设值，则判定所述均衡化数据存储结果合格；若比值大于预设值，则对所有组数据存储地址中两组相差最大的数据存储地址进行适应性调整；基于适应性调整后的均衡化数据存储结果的方差再次与预设均衡化差异结果进行比较；若所述比较结果小于第一预设阈值范围，则基于调整后的均衡化数据存储结果，保存至数据处理子中台；若所述比较结果仍然大于第一预设阈值范围，则在数据处理子中台提出处理询问；若所述均衡化数据存储结果的方差大于第一预设范围的最大边界值，将实际长度超过预设长度的数据组中的数据重新进行数据存储均衡化；其中，适应性调整指的是调整当前被选中的两组数据内部的若干子数据，以使得当前被选中的两组数据之间的实际数据存储地址差距减小。
[0014]本专利技术提供了一种基于数据中台的均衡化数据存储系统，包括：数据采集模块：基于本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于数据中台的均衡化数据存储方法，其特征在于，包括：步骤1：基于数据中台中数据采集子中台将采集到的待存储数据发送到数据处理子中台进行数据预处理；步骤2：基于预处理数据中每个子数据的数据特性，确定对应子数据在数据中台的存储方式；步骤3：基于所述存储方式，获取对应子数据的均衡权重；步骤4：基于所有子数据的均衡权重，在所述数据处理子中台对所述待存储数据进行均衡化数据存储。2.如权利要求1所述的一种基于数据中台的均衡化数据存储方法，其特征在于，基于数据中台中数据采集子中台将采集到的待存储数据发送到数据处理子中台进行数据预处理，包括：基于所述数据处理子中台对接收到的待存储数据进行数据标准化处理；基于标准化处理后的待存储数据进行数据压缩，得到预处理数据；将所述预处理数据保存在所述数据处理子中台。3.如权利要求1所述的一种基于数据中台的均衡化数据存储方法，其特征在于，基于预处理数据中每个子数据的数据特性，确定对应子数据在数据中台的存储方式，包括：基于每个子数据的数据特性，并基于预设数据存储分析表得到相应子数据的数据存储指数；基于每个子数据的数据存储指数，判断对应子数据的存储方式；其中，数据特性包括工业协议、采集频率、数据格式及大小以及数据分析方式中的至少一种特性。4.如权利要求3所述的一种基于数据中台的均衡化数据存储方法，其特征在于，基于每个子数据的数据特性，并基于预设数据存储分析表得到相应子数据的数据存储指数，包括：将每个子数据的数据特性与预设数据存储分析表进行匹配；基于匹配结果判断对应子数据的数据存储指数；若所述数据存储指数在预设存储范围内，判定所述数据存储指数正常；否则，对数据存储指数不在预设存储范围内的子数据重新进行数据预处理以及重新与预设数据分析表进行匹配；若重新处理的存储指数仍不在预设存储范围内，则基于数据处理子中台提出处理询问。5.如权利要求3所述的一种基于数据中台的均衡化数据存储方法，其特征在于，基于每个子数据的存储指数，判断对应子数据的存储方式之后，还包括：确定每个子数据的初始存储地址，具体包括：按照每个子数据的存储方式，来确定相应子数据对应的待存储地址；判断所述待存储地址中是否预先存有数据，并判断所述待存储地址中的剩余空间是否足够当前子数据完整写入；若不够，获取未能完整写入的初始扩充空间，并根据所述当前子数据匹配数据类型的历史存储记录，确定同历史类型数据的历史写入地址的磨损概率；基于所述磨损概率对所述初始扩充空间进行优化，得到待扩充空间，并基于所述待扩
充空间对所述当前子数据的待存储地址进行调整，得到初始存储地址；否则，将所述待存储地址作为当前子数据的初始存储地址。6.如权利要求1所述的一种基于数据中台的均衡化数据存储方法，其特征在于，基于所述存储方式，获取对应子数据的均衡权重，包括：获取所述子数据的数据特性以及子数据对应的存储方式；提取资源存储数据库中所有历史子数据的数据特性及历史存储方式，以及每个历史子数据对应的权重分析结果，对初始分析模型进行学习，得到权重分析模型；基于所述权重分析模型，对相应子数据的数据特性以及存储方式进行权重分析，得到对应子数据的权重分析指数；基于所述权重分析指数，判断每个子数据对应的均衡权重；对数据存储指数正常的子数据进行第一均衡权重的确定，对数据存储...

【专利技术属性】
技术研发人员：余纪良，杨琨，何立军，李健，段国强，苏建新，汪进，何亘，王凯飞，杨立寨，王振宇，葛大伟，刘奎阳，李辰辉，
申请(专利权)人：北京云成金融信息服务有限公司，
类型：发明
国别省市：