【技术实现步骤摘要】
本专利技术涉及信息，尤其涉及一种用于跨域通信的高速数据流分割重构方法及系统。
技术介绍
1、随着数据流的快速增长和传输需求的提升，传统的数据处理和传输方法已经无法满足实时、高效和可靠的要求。
2、首先，传统方法无法对高速数据流进行有效的分割和标识，导致数据处理和传输效率低下。在高速数据流传输过程中，数据以连续不断的方式到达，而传统方法需要逐个处理每个数据块，无法并行处理或批量处理，导致处理效率低下。其次，传统的排序方式无法处理大规模的数据块，且无法实现跨域传输，限制了数据流的处理和传输速度。当数据块规模很大时，排序的时间开销将会非常高，导致处理速度变慢。最后，传统的数据组装方法无法准确地按照元数据和数据块标识进行组装，并且缺乏对数据块完整性的可靠校验机制。在实际应用中，元数据的格式可能存在差异或不一致，这会导致解析元数据时出现错误。如果出现元数据解析错误，将会导致后续数据块的组装错位、丢失或重复，从而影响数据的准确性。
技术实现思路
1、本部分的目的在于概述本专利技术的实施例的一些方面以及简要介绍一些较佳实施例。在本部分以及本申请的说明书摘要和专利技术名称中可能会做些简化或省略以避免使本部分、说明书摘要和专利技术名称的目的模糊，而这种简化或省略不能用于限制本专利技术的范围。
2、鉴于上述现有存在的问题，提出了本专利技术。因此，本专利技术提供了一种用于跨域通信的高速数据流分割重构方法，用来解决
技术介绍
中提出的问题。
3、为解决上述技术问题，本专利技
4、第一方面，本专利技术提供了一种用于跨域通信的高速数据流分割重构方法，包括：
5、读取高速数据流，使用cnn进行数据流分割，产生数据块；
6、将所述数据块通过哈希函数生成唯一标识，并向每个带有数据块标识的数据块中添加元数据；
7、根据元数据和数据块标识，对数据块进行排序，将排序后的数据块进行分布式流处理，实现跨域传输；
8、完成所述跨域传输后，将存储传输的数据块转移到中间数据存储区，从所述中间数据存储区读取数据块，同时根据所述元数据和数据块标识对数据块进行组装；
9、通过校验数据块组装的完整性，完成对组装后的数据流重构操作。
10、作为本专利技术所述的用于跨域通信的高速数据流分割重构方法的一种优选方案，其中：读取高速数据流，使用cnn进行数据流分割，包括：
11、读取高速数据流，利用数据读取速率匹配时的流量管理策略，获得稳定的数据输入；
12、将所述获得的稳定数据输入至cnn模型进行处理，获得初步处理后的数据，
13、基于初步处理后产生的数据结果，调整流量管理策略；
14、按照标准切割数据流的定义，得到具体的数据块；
15、当检测到所述数据块质量或完整性问题时，调整cnn参数进行数据整合，同时使用qr码，将数据块编码和分类；否则当所述数据整合未达到检测条件时，则启动备用cnn参数方案，重新进行数据分割和整合，并将具备相同特征的数据块进行归类，根据所述归类结果，完成数据读取。
16、作为本专利技术所述的用于跨域通信的高速数据流分割重构方法的一种优选方案，其中：将所述数据块通过哈希函数生成唯一标识，包括：
17、通过哈希函数，对每个数据块分别进行哈希计算，获得每个均匀分割的数据块的哈希值；若所述哈希值之间发生冲突，则调整哈希算法的参数，重新对数据块进行哈希计算，直到每个数据块获得唯一哈希值；
18、用所述每个数据块的唯一哈希值作为每个相应数据块的标识，建立数据索引，并将其备份；
19、如果数据块在传输过程中发生错误，则修复该数据块并重新传输；如果数据块遭到篡改，则将其标记为损坏的数据块，同时取出损坏的数据块，用备份中的数据块替换损坏的数据块；如果数据块在存储设备中损坏或丢失，采用硬盘模式进行修复，并更新数据索引。
20、作为本专利技术所述的用于跨域通信的高速数据流分割重构方法的一种优选方案，其中：向每个带有数据块标识的数据块中添加元数据，包括：
21、建立元数据与数据块的映射关系，将元数据嵌入到数据块中，得到元数据在数据块中的表示形式；
22、将所述表示形式进行二次嵌入，得到数据块内嵌元数据的信息；
23、利用内嵌元数据的信息，构建数据块属性索引库，将该索引库作为数据块与元数据之间的关联网络。
24、作为本专利技术所述的用于跨域通信的高速数据流分割重构方法的一种优选方案，其中：对数据块进行排序，将排序后的数据块进行分布式流处理，实现跨域传输，包括：
25、选择数据块中的任一一个元素作为基准值，将数据块分为两个子集；使得一个子集中的元素小于等于基准值，另一个子集中的元素大于基准值；
26、对两个子集排序，并遍历两个子集中的所有元素，将两个子集中的所有元素合并作为一个有序序列；
27、提取所述序列中的元素特征和参数，将元素特征转化为二进制数据，参数转换为压缩数据或序列化数据；
28、利用api接口，获取目标域的数据接收标准和传输协议；
29、通过所述传输协议，当目标域获取二进制数据时，启用checkpoint机制对二进制数据进行验证；当目标域获取压缩数据或序列化数据时，启用container snapshot机制对压缩数据或序列化数据进行验证。
30、作为本专利技术所述的用于跨域通信的高速数据流分割重构方法的一种优选方案，其中：完成所述跨域传输后，将存储传输的数据块转移到中间数据存储区，从所述中间数据存储区读取数据块，同时根据所述元数据和数据块标识对数据块进行组装，包括：
31、将元数据中的每一个数据块的数据类型、大小和结构，按照数据索引进行存储；
32、在所述存储过程中，对于没有损失和更改的数据库进行校验，如果校验通过，则判断数据块中是否包含敏感信息，若存在敏感信息，则使用aes对数据块进行加密；若不存在敏感信息，则将该数据块转移至中间数据存储区；
33、从所述中间数据存储区中按照数据块的先后进入顺序读取相应的数据块，并查询每个数据块的标识；
34、将数据块的标识与元数据进行绑定，即标识号与元数据在数据块中的表示形式。
35、作为本专利技术所述的用于跨域通信的高速数据流分割重构方法的一种优选方案，其中：通过校验数据块组装的完整性，完成对组装后的数据流重构操作，包括：
36、将组装后的数据块输入到哈希函数中，得到哈希值；
37、定义哈希编码矩阵，比较数据块组装后的哈希值与组装前数据块的哈希值，并对于每一位在哈希编码矩阵中的哈希编码进行完整性验证；
38、若数据块组装后的哈希值与组装前数据块的哈希值不一致，则表明数据块存在损坏或篡改，需返回至数据块组装处，重新执行；否则，则说明该数据块具有完整性，使用autoencoder模型对数据块中的数据流进行重构。
【技术保护点】
1.一种用于跨域通信的高速数据流分割重构方法，其特征在于，包括：
2.如权利要求1所述的用于跨域通信的高速数据流分割重构方法，其特征在于，读取高速数据流，使用CNN进行数据流分割，包括：
3.如权利要求2所述的用于跨域通信的高速数据流分割重构方法，其特征在于，将所述数据块通过哈希函数生成唯一标识，包括：
4.如权利要求3所述的用于跨域通信的高速数据流分割重构方法，其特征在于，向每个带有数据块标识的数据块中添加元数据，包括：
5.如权利要求4所述的用于跨域通信的高速数据流分割重构方法，其特征在于，对数据块进行排序，将排序后的数据块进行分布式流处理，实现跨域传输，包括：
6.如权利要求4或5所述的用于跨域通信的高速数据流分割重构方法，其特征在于，完成所述跨域传输后，将存储传输的数据块转移到中间数据存储区，从所述中间数据存储区读取数据块，同时根据所述元数据和数据块标识对数据块进行组装，包括：
7.如权利要求6所述的用于跨域通信的高速数据流分割重构方法，其特征在于，通过校验数据块组装的完整性，完成对组装后的数据流重构
8.一种用于跨域通信的高速数据流分割重构系统，基于权利要求1～7任一所述的用于跨域通信的高速数据流分割重构方法，其特征在于，包括：
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于：所述处理器执行所述计算机程序时实现权利要求1～7任一所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现权利要求1～7任一所述方法的步骤。
...【技术特征摘要】
1.一种用于跨域通信的高速数据流分割重构方法，其特征在于，包括：
2.如权利要求1所述的用于跨域通信的高速数据流分割重构方法，其特征在于，读取高速数据流，使用cnn进行数据流分割，包括：
3.如权利要求2所述的用于跨域通信的高速数据流分割重构方法，其特征在于，将所述数据块通过哈希函数生成唯一标识，包括：
4.如权利要求3所述的用于跨域通信的高速数据流分割重构方法，其特征在于，向每个带有数据块标识的数据块中添加元数据，包括：
5.如权利要求4所述的用于跨域通信的高速数据流分割重构方法，其特征在于，对数据块进行排序，将排序后的数据块进行分布式流处理，实现跨域传输，包括：
6.如权利要求4或5所述的用于跨域通信的高速数据流分割重构方法，其特征在于，完成所述跨域传输后...
【专利技术属性】
技术研发人员：胡健，张莉娜，赵志宇，肖鹏，陆光前，何映军，廖周缘，张梅，张振红，
申请(专利权)人：云南电网有限责任公司信息中心，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。