【技术实现步骤摘要】
本专利技术涉及异构数据治理，具体为基于区块链的港口异构数据的治理平台。
技术介绍
1、异构数据是指具有不同结构、格式、语义和来源的数据。这些数据可能来自多个不同的系统、平台或组织，以各种形式存在，如文本、图像、音频、视频等；多源异构数据是指来自不同数据源的异构数据集合。
2、公开号为cn115718779a的申请公开一种多源异构数据的治理方法及系统，方法包括：确认数据来源、数据结构与数据类型；对数据进行对应存储引擎处理；对所存储数据进行计算与优化处理；对处理后的数据生成标准sql接口。本专利技术通过多源异构数据的治理系统将不同来源的不同结构数据进行存储、计算与优化处理，生成标准sql接口，消除数据孤岛，实现数据共享，快速的响应业务和应用开发的需求，提升开发运维效率。
3、针对于不同类型的异构数据，现有的治理平台大多数基于不同类型的数据，采用不同的存储区域进行存储，但因未对数据之间的关联性进行考虑，导致大量不相关的异构数据存储于同一处，后期进行数据整理归类时，其难度系数较大，其数据治理的相关效果并不佳。
技术实现思路
1、针对现有技术的不足，本专利技术提供了基于区块链的港口异构数据的治理平台，解决了因未对数据之间的关联性进行考虑，导致大量不相关的异构数据存储于同一处，后期进行数据整理归类时，其难度系数较大的问题。
2、为实现以上目的，本专利技术通过以下技术方案予以实现：基于区块链的港口异构数据的治理平台，包括：
3、数据获取端，对单个周
4、初识别端，内部设置有属性识别模型，识别对应的异构数据属于结构化数据还是非结构化数据；
5、结构化处理端，对属于结构化数据的异构数据进行接收并处理，基于处理结果对不同的异构数据进行分类，并锁定异常数据以及锁定异常源头，具体执行端为：
6、赋值处理单元，基于对应异构数据的数据特征，确认其数据相关赋值，并基于不同异构数据的不同赋值，对不同的异构数据进行分类，同时锁定异常数据，包括：
7、对单组异构数据内不同排序位置的字符或数值进行拆解，并将所拆解的字符或数值与赋值表进行比对，其中赋值表为预设表，且赋值表包括若干个赋值项，且每个赋值项对应不同的赋值；
8、基于比对结果，确定对应排序位置的相关赋值，并生成属于对应异构数据的赋值排序序列，若对应排序位置，未找到相关的赋值项，则赋值“？”，并将带有赋值“？”的对应赋值标定为异常赋值，并传输至相似度分析单元内；
9、基于单个周期内不同异构数据所产生的若干组赋值排序序列，将属于同类赋值排序序列的异构数据标定为同类数据，并将同类数据存储于数据库的特定存储位置处，不同赋值排序序列的同类数据存储于不同位置处；
10、相似度分析单元，基于所确定的异常数据以及所关联的异常赋值，识别此类异常赋值与其他赋值的相似度，基于相似度比对结果，判定此类异常赋值所对应的异常数据是否可存储于其他赋值的存储位置处，包括：
11、确定异常赋值，并将此异常赋值与本周期所产生的其他赋值排序序列进行比对，其中其他赋值排序序列均不相同：
12、确定异常赋值的总赋值个数，从赋值排序序列内确定同赋值个数的相关赋值标定为待定赋值，若不存在待定赋值，则将此异常赋值所对应的异常数据传输至数据库所设定的异常分区内进行存储；
13、将异常赋值与所确定的若干个不同的待定赋值进行一一比对，若同待定赋值的同处排序位置的赋值相同，则标记为同类项，记录同类项的总数gt，并确定同类项的总数占比：zbt＝gt÷z，其中t代表不同的待定赋值，其中z代表本异常赋值的赋值总数，若干个zbt中存在一组zbt≥y1，则将此异常赋值标定为所比对的待定赋值的次赋值，并将次赋值所对应的异构数据传输至所比对待定赋值的特定存储位置处，并对此异构数据进行异常标记，反之，则将此异常赋值所对应的异常数据传输至数据库所设定的异常分区内进行存储，其中y1为预设值；
14、占比分析单元，根据所确认的异常数据，并基于本周期的异常数据占比，来确定异常源头，包括：
15、基于异常分区内所存储的异常数据，识别此类数据的ip源头，并确认此类ip源头相关的异常数据总数zzi，其中i代表不同的ip源头；
16、再确认本ip源头在本周期内所产生的总异构数据总数，并将其标定为szi，并确定异常数据的占比值：bni＝zzi÷szi，识别占比值bni是否满足：bni≥y2，若满足，将此ip源头标定为异常源头，并直接展示于外部显示端内，其中y2为预设值，若不满足，则不进行任何标定。
17、优选的，还包括：
18、非结构化处理端，对属于非结构化数据的异构数据进行接收并处理，基于数据格式，对不同的异构数据进行分类，并对分类后的异构数据进行数据去重处理，基于去重的相关过程，建立对应异构数据的索引项，便于后期进行数据索引，且非结构化处理端包括初处理单元以及索引项确认单元。
19、优选的，所述初处理单元，首先基于数据格式，对异构数据进行分类，再对分类后的数据进行去重处理，将去重处理后的对应异构数据进行存储：
20、对本周期所产生的异构数据的数据格式进行确认，将同类数据格式的异构数据划分至同一分区内；
21、依次确认同一分区内不同异构数据所产生的重复数据，并采用对应的重复标记对所出现的重复数据进行替换，且不同的重复数据对应不同的重复标记。
22、优选的，所述索引项确认单元，基于对应异构数据内对应重复标记的存在个数以及对应存储时间点，创建属于对应异构数据的索引项；包括：
23、确认对应异构数据内重复标记的存在个数，并将其标记为ssq，其中q代表不同的异构数据；
24、再确认对应异构数据的存储时间点，将存储时间点内的相关数字按照从前至后排序，生成其数字序列，将存在个数ssq置于数字序列之后，生成属于此异构数据的相关索引项；
25、将此相关索引项与本异构数据的文件标题相关联，并将关联后的序列表进行展示。
26、本专利技术提供了基于区块链的港口异构数据的治理平台。与现有技术相比具备以下有益效果：
27、本专利技术通过针对于不同结构类的数据，采用不同的数据治理方式，保障本治理平台在数据治理过程中的全面性；
28、针对于结构化数据，对每个不同的异构数据进行特征赋值，基于赋值序列对异构数据进行初分类，再对分类过程中所产生的异常数据，基于对应异常数据的赋值比对结果，通过分析其赋值之间的相似度确定其异常数据的具体存储位置，再基于对应异常分区所产生的相关异常数据，来识别其对应ip源头所发送的总数据是否存在异常情况，并进行异常标记，以此来保障结构化数据的充分分类，来保障其结构化数据的整体治理效果；
29、针对于非结构化数据，优先采用数据去重的方式，缩减其存储容量，再基于不同非结构化数据的相关特征，确定其索引项，后续基于此索引本文档来自技高网...
【技术保护点】
1.基于区块链的港口异构数据的治理平台，其特征在于，包括：
2.根据权利要求1所述的基于区块链的港口异构数据的治理平台，其特征在于，所述赋值处理单元，对不同的异构数据进行分类的具体方式包括：
3.根据权利要求1所述的基于区块链的港口异构数据的治理平台，其特征在于，所述相似度分析单元，判定此异常数据是否可存储于其他赋值存储位置处的具体方式包括：
4.根据权利要求3所述的基于区块链的港口异构数据的治理平台，其特征在于，所述占比分析单元，确定异常源头的具体方式包括：
5.根据权利要求4所述的基于区块链的港口异构数据的治理平台，其特征在于，所述识别占比值BNi若不满足：BNi≥Y2，则不进行任何标定。
6.根据权利要求1所述的基于区块链的港口异构数据的治理平台，其特征在于，还包括：
7.根据权利要求6所述的基于区块链的港口异构数据的治理平台，其特征在于，所述初处理单元，首先基于数据格式，对异构数据进行分类，再对分类后的数据进行去重处理，将去重处理后的对应异构数据进行存储：
8.根据权利要求7所述的基于区块
9.根据权利要求8所述的基于区块链的港口异构数据的治理平台，其特征在于，所述索引项确认单元，创建属于对应异构数据的索引项的具体方式包括：
...【技术特征摘要】
1.基于区块链的港口异构数据的治理平台，其特征在于，包括：
2.根据权利要求1所述的基于区块链的港口异构数据的治理平台，其特征在于，所述赋值处理单元，对不同的异构数据进行分类的具体方式包括：
3.根据权利要求1所述的基于区块链的港口异构数据的治理平台，其特征在于，所述相似度分析单元，判定此异常数据是否可存储于其他赋值存储位置处的具体方式包括：
4.根据权利要求3所述的基于区块链的港口异构数据的治理平台，其特征在于，所述占比分析单元，确定异常源头的具体方式包括：
5.根据权利要求4所述的基于区块链的港口异构数据的治理平台，其特征在于，所述识别占比值bni若不满足：bni≥y2，则不进行任何标定。...
【专利技术属性】
技术研发人员：李世文，黄海遵，董书秋，李叶光，张高政，丘志林，叶子玉，林家颖，
申请(专利权)人：广西北港大数据科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。