一种数据有效性检验方法技术

本发明专利技术涉及一种数据有效性检验方法，在生成数据集的各集群节点上对所述数据集的完整性进行验证；将数据集及其元数据一并发送至各集群节点的数据提交区；在所述至少两个集群节点中的每个集群节点的数据提交区内存储其余集群节点上的数据集及其元数据，并在所述至少两个集群节点中的每个集群节点中合并所述至少两个集群节点中的元数据形成元数据总表，以及合并所述至少两个集群节点中的数据集形成数据集合，依照所述元数据总表对数据集合进行校验；当数据集合通过校验时，则将所述数据集合发送至安全数据模块，由安全数据模块合并来自各集群节点上的通过校验的数据集合后，将合并结果返回给用户。

【技术实现步骤摘要】
一种数据有效性检验方法
本专利技术致力于数据安全访问，通过对数据进行分布式验证，而保证数据验证的安全性和完备性，最终将完整且正确的数据返回给用户。
技术介绍
在现有的数据同步过程中，分布式系统采用多个分布式客户端以文件共享方式向中央服务器导入数据，再在服务器端对数据的有效性或完整性进行判断，如果服务器端的安全性或性能遭遇危机，则不能保证最终获得正确、完整的数据结果。这样的方案不仅成本大、效率低下，且安全性和可靠性不能得到保证。因此，本申请提出以下方案。
技术实现思路
为了解决现有技术中的上述问题，本专利技术提出了一种数据有效性检验方法。本专利技术采用的技术方案如下：一种数据有效性检验方法，其特征在于，包括：在生成数据集的各集群节点上对所述数据集的完整性进行验证；若验证所述数据集为完整的，则获取所述数据集，并生成数据集对应的元数据，将数据集及其元数据一并发送至各集群节点的数据提交区；如果至少两个集群节点上生成的数据集之间具有逻辑关联关系，则在所述至少两个集群节点之间共享其各自拥有的数据集及其元数据；在所述至少两个集群节点中的每个集群节点的数据提交区内存储其余集群节点上的数据集及其元数据，并在所述至少两个集群节点中的每个集群节点中合并所述至少两个集群节点中的元数据形成元数据总表，以及合并所述至少两个集群节点中的数据集形成数据集合，依照所述元数据总表对数据集合进行校验；当数据集合通过校验时，则将所述数据集合发送至安全数据模块，由安全数据模块合并来自各集群节点上的通过校验的数据集合后，将合并结果返回给用户。优选地，所述在数据集所在集群节点上对所述数据集的完整性进行验证包括：对生成数据集的集群节点进行问询，当获取到完整标记时，验证所述数据集为完整的；或者当接收到所述生成数据集的集群节点生成数据集的集群节点提交的完整标记时，验证所述数据集为完整的；其中所述完整标记是由所述生成数据集的集群节点生成数据集的集群节点在所述数据集生成完成之后产生的。优选地，合并所述至少两个集群节点中的元数据形成元数据总表，依照所述元数据总表对数据集合进行校验包括：在所述至少两个集群节点中的每个集群节点上根据合并生成的元数据总表对数据集合进行分片，然后对每个分片进行校验并得到校验和，合并各个分片对应的校验和产生总校验结果，如果在所述至少两个集群节点中的每个集群节点上的总校验结果相同，则数据集合通过校验。本专利技术的有益效果包括：在不改变任何原有系统的前提下，通过建立一种分离式多路访问的分布式数据验证方式，对数据进行分布式验证，而保证数据验证的安全性和完备性。同时允许用户自定义数据验证方式，最终将验证的结果数据返回给对应的用户。【附图说明】此处所说明的附图是用来提供对本专利技术的进一步理解，构成本申请的一部分，但并不构成对本专利技术的不当限定，在附图中；图1是本专利技术方法的流程图。【具体实施方式】下面将结合附图以及具体实施例来详细说明本专利技术，其中的示意性实施例以及说明仅用来解释本专利技术，但并不作为对本专利技术的限定。参见附图1，一种数据有效性检验方法，首先，在生成数据集的各集群节点上对所述数据集的完整性进行验证；若验证所述数据集为完整的，则获取所述数据集，并生成数据集对应的元数据，将数据集及其元数据一并发送至各集群节点的数据提交区。优选地，所述在数据集所在集群节点上对所述数据集的完整性进行验证，包括：对生成数据集的集群节点进行问询，当获取到完整标记时，验证所述数据集为完整的；或者当接收到所述生成数据集的集群节点生成数据集的集群节点提交的完整标记时，验证所述数据集为完整的；其中所述完整标记是由所述生成数据集的集群节点生成数据集的集群节点在所述数据集生成完成之后产生的。如果至少两个集群节点上生成的数据集之间具有逻辑关联关系，则在所述至少两个集群节点之间共享其各自拥有的数据集及其元数据。在所述至少两个集群节点中的每个集群节点的数据提交区内存储其余集群节点上的数据集及其元数据，并在所述至少两个集群节点中的每个集群节点中合并所述至少两个集群节点中的元数据形成元数据总表，以及合并所述至少两个集群节点中的数据集形成数据集合，依照所述元数据总表对数据集合进行校验。合并所述至少两个集群节点中的元数据形成元数据总表，依照所述元数据总表对数据集合进行校验包括：在所述至少两个集群节点中的每个集群节点上根据合并生成的元数据总表对数据集合进行分片，然后对每个分片进行校验并得到校验和，合并各个分片对应的校验和产生总校验结果，如果在所述至少两个集群节点中的每个集群节点上的总校验结果相同，则数据集合通过校验。当数据集合通过校验时，则将所述数据集合发送至安全数据模块，由安全数据模块合并来自各集群节点上的通过校验的数据集合后，将合并结果返回给用户。其中，可以根据压缩格式对数据集进行过滤，以过滤掉无效数据。例如，校验源数据(数据文件)，排除不符合指定压缩格式的文件，如任务log日志文件等非数据的文件，从而排除不必要的数据量，以降低系统负担。以上所述仅是本专利技术的较佳实施方式，故凡依本专利技术专利申请范围所述的构造、特征及原理所做的等效变化或修饰，均包括于本专利技术专利申请范围内。本文档来自技高网...

【技术保护点】
一种数据有效性检验方法，其特征在于，包括：在生成数据集的各集群节点上对所述数据集的完整性进行验证；若验证所述数据集为完整的，则获取所述数据集，并生成数据集对应的元数据，将数据集及其元数据一并发送至各集群节点的数据提交区；如果至少两个集群节点上生成的数据集之间具有逻辑关联关系，则在所述至少两个集群节点之间共享其各自拥有的数据集及其元数据；在所述至少两个集群节点中的每个集群节点的数据提交区内存储其余集群节点上的数据集及其元数据，并在所述至少两个集群节点中的每个集群节点中合并所述至少两个集群节点中的元数据形成元数据总表，以及合并所述至少两个集群节点中的数据集形成数据集合，依照所述元数据总表对数据集合进行校验；当数据集合通过校验时，则将所述数据集合发送至安全数据模块，由安全数据模块合并来自各集群节点上的通过校验的数据集合后，将合并结果返回给用户。

【技术特征摘要】
1.一种数据有效性检验方法，其特征在于，包括：在生成数据集的各集群节点上对所述数据集的完整性进行验证；若验证所述数据集为完整的，则获取所述数据集，并生成数据集对应的元数据，将数据集及其元数据一并发送至各集群节点的数据提交区；如果至少两个集群节点上生成的数据集之间具有逻辑关联关系，则在所述至少两个集群节点之间共享其各自拥有的数据集及其元数据；在所述至少两个集群节点中的每个集群节点的数据提交区内存储其余集群节点上的数据集及其元数据，并在所述至少两个集群节点中的每个集群节点中合并所述至少两个集群节点中的元数据形成元数据总表，以及合并所述至少两个集群节点中的数据集形成数据集合，依照所述元数据总表对数据集合进行校验；当数据集合通过校验时，则将所述数据集合发送至安全数据模块，由安全数据模块合并来自各集群节点上的通过校验的数据集合后，将合并结果返回...

【专利技术属性】
技术研发人员：林殷，徐凤桐，李垚，
申请(专利权)人：航天星图科技北京有限公司，
类型：发明
国别省市：北京,11