一种基于大数据量下批量导入数据的方法及装置制造方法及图纸

本发明专利技术提供了一种基于大数据量下批量导入数据的方法及装置，其中，该方法包括：预先设置目标数据库表的至少一个字段主键与至少一个数据节点之间的对应关系；获取待处理数据文件，其中，待处理数据文件包括至少两条待处理数据；根据每一条待处理数据包括的至少一个元数据，以及每一个元数据分别对应的参考数据节点，生成临时数据表；校验临时数据表中的每一个元数据是否合格；当临时数据表中存在至少一个目标元数据不合格时，对临时数据表中不合格的各个目标元数据进行删除处理；根据对应关系，将处理后的临时数据表中的各个元数据批量导入到目标数据库表的各个字段主键下。通过本发明专利技术的技术方案，可提高数据导入效率。

【技术实现步骤摘要】
一种基于大数据量下批量导入数据的方法及装置
本专利技术涉及计算机
，特别涉及一种基于大数据量下批量导入数据的方法及装置。
技术介绍
大数据时代下，随着信息系统的广泛应用，数据量日趋增加，通常需要将大量的数据导入至数据库的目标数据库表中。目前，进行大批量数据导入时，通常需要将待处理数据文件中的大量待处理数据逐一导入目标数据库表中，每将一条待处理数据导入到目标数据库表之后，还需要对导入目标数据库表的该条待处理数据中的各个元数据进行校验，以确定导入到目标数据库表中的各个元数据是否合格，然后对目标数据库表中不合格的元数据进行删除，从而实现将待处理数据文件中的各个待处理数据导入到目标数据库表。上述技术方案中，每一个待处理数据的各个元数据需要逐一导入到目标数据库表，同时，还需要访问导入目标数据库表的每一个元数据以校验每一个元数据是否合格。可见，通过上述技术方案实现将大批量数据导入目标数据库表时，需要频繁访问目标数据库表所对应的数据库，可能影响目标数据库表所对应的数据库的响应速度，进而影响数据导入效率。
技术实现思路
本专利技术实施例提供了一种基于大数据量下批量导入数据的方法及装置，可提要数据导入效率。第一方面，本专利技术提供了一种基于大数据量下批量导入数据的方法，包括：预先设置目标数据库表的至少一个字段主键与至少一个数据节点之间的对应关系；获取待处理数据文件，其中，所述待处理数据文件包括至少两条待处理数据，每一条所述待处理数据包括至少一个元数据，每一条所述待处理数据的每一个所述元数据分别对应有一个参考数据节点；根据每一条所述待处理数据包括的至少一个元数据，以及每一个所述元数据分别对应的参考数据节点，生成临时数据表；校验所述临时数据表中的每一个所述元数据是否合格；当所述临时数据表中存在至少一个目标元数据不合格时，对所述临时数据表中不合格的各个所述目标元数据进行删除处理；根据所述对应关系，将处理后的所述临时数据表中的各个所述元数据批量导入到所述目标数据库表的各个所述字段主键下。优选地，所述校验所述临时数据表中的每一个所述元数据是否合格，包括：针对于所述临时数据表中的每一个所述元数据，校验所述至少一个数据节点是否包括当前所述元数据所对应的参考数据节点；在所述至少一个数据节点不包括当前所述元数据所对应的参考数据节点时，确定当前所述元数据不合格。优选地，在所述校验所述临时数据表中的每一个所述元数据是否合格之前，还包括：确定至少一个所述字段主键所分别对应的至少一个参考元数据；则，所述校验所述临时数据表中的每一个所述元数据是否合格，包括：针对于所述临时数据表中的每一个所述元数据，确定对应当前所述元数据的参考数据节点所对应的目标字段主键；在确定的所述目标字段主键所对应的至少一个参考元数据不包括当前所述元数据时，确定当前所述元数据所属的待处理数据的各个元数据均不合格。优选地，在所述校验所述临时数据表中的每一个所述元数据是否合格之前，还包括：确定所述目标数据库表的每一个所述字段主键所分别对应的字符约束条件；则，所述校验所述临时数据表中的每一个所述元数据是否合格，包括：针对于所述临时数据表中的每一个所述元数据，确定对应当前所述元数据的参考数据节点所对应的目标字段主键；校验当前所述元数据是否符合所述目标字段主键所对应的约束条件；在当前所述元数据不符合所述目标字段主键所对应的约束条件时，确定当前所述元数据不合格。优选地，所述约束条件包括：数据类型、数据长度及数据阈值中的任意一种或多种。第二方面，本专利技术实施例提供了一种基于大数据量下批量导入数据的装置，包括：设置模块，用于预先设置目标数据库表的至少一个字段主键与至少一个数据节点之间的对应关系；数据获取模块，用于获取待处理数据文件，其中，所述待处理数据文件包括至少两条待处理数据，每一条所述待处理数据包括至少一个元数据，每一条所述待处理数据的每一个所述元数据分别对应有一个参考数据节点；表格构建模块，用于根据每一条所述待处理数据包括的至少一个元数据，以及每一个所述元数据分别对应的参考数据节点，生成临时数据表；校验模块，用于校验所述临时数据表中的每一个所述元数据是否合格；删除处理模块，用于当所述临时数据表中存在至少一个目标元数据不合格时，对所述临时数据表中不合格的各个所述目标元数据进行删除处理；导入处理模块，用于根据所述对应关系，将处理后的所述临时数据表中的各个所述元数据批量导入到所述目标数据库表的各个所述字段主键下。优选地，所述校验模块，包括：第一校验单元和第一确定单元；其中，所述第一校验单元，用于针对于所述临时数据表中的每一个所述元数据，校验所述至少一个数据节点是否包括当前所述元数据所对应的参考数据节点；所述第一确定单元，用于在所述至少一个数据节点不包括当前所述元数据所对应的参考数据节点时，确定当前所述元数据不合格。优选地，还包括：第一确定模块；其中，所述第一确定模块，用于确定至少一个所述字段主键所分别对应的至少一个参考元数据；则，所述校验模块，包括：第二校验单元和第二确定单元；其中，所述第二校验单元，用于针对于所述临时数据表中的每一个所述元数据，确定对应当前所述元数据的参考数据节点所对应的目标字段主键；所述第二确定单元，用于在确定的所述目标字段主键所对应的至少一个参考元数据不包括当前所述元数据时，确定当前所述元数据所属的待处理数据的各个元数据均不合格。优选地，还包括：第二确定模块；其中，所述第二确定模块，用于确定所述目标数据库表的每一个所述字段主键所分别对应的字符约束条件；则，所述校验模块，包括：第三确定单元、第三校验单元和第四确定单元；其中，所述第三确定单元，用于针对于所述临时数据表中的每一个所述元数据，确定对应当前所述元数据的参考数据节点所对应的目标字段主键；所述第三校验单元，用于校验当前所述元数据是否符合所述目标字段主键所对应的约束条件；所述第四确定单元，用于在当前所述元数据不符合所述目标字段主键所对应的约束条件时，确定当前所述元数据不合格。优选地，所述约束条件包括：数据类型、数据长度及数据阈值中的任意一种或多种。本专利技术实施例提供了一种基于大数据量下批量导入数据的方法及装置，该方法中，一方面，通过生成临时数据表的方式，在临时数据表中对各条待处理数据的每一个元数据进行校验，以将不合格的元数据删除，从而确保被导入到目标数据表中的全部元数据均为合格的元数据，可降低访问目标数据库表所对应的数据库的访问频次；另一方面，根据预先设置的对应关系，将处理后的临时数据表中的各个元数据批量导入到目标数据库表的各个字段主键下，不再向目标数据库表逐一导入各个元数据，可进一步降频数据库访问频次。综上所述，本专利技术实施例提供的技术方案在将大批量数据导入到目标数据库表时，可降低访问目标数据库表所对应的数据库的访问频次，不会影响数据库响应速度，从而提高数据导入效率。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1是本专利技术一实施例提供的一种基于大数据量下批量导入数据的方法的流程图；图2是本专利技术一实施例提供的本文档来自技高网...

【技术保护点】
一种基于大数据量下批量导入数据的方法，其特征在于，包括：预先设置目标数据库表的至少一个字段主键与至少一个数据节点之间的对应关系，还包括：获取待处理数据文件，其中，所述待处理数据文件包括至少两条待处理数据，每一条所述待处理数据包括至少一个元数据，每一条所述待处理数据的每一个所述元数据分别对应有一个参考数据节点；根据每一条所述待处理数据包括的至少一个元数据，以及每一个所述元数据分别对应的参考数据节点，生成临时数据表；校验所述临时数据表中的每一个所述元数据是否合格；当所述临时数据表中存在至少一个目标元数据不合格时，对所述临时数据表中不合格的各个所述目标元数据进行删除处理；根据所述对应关系，将处理后的所述临时数据表中的各个所述元数据批量导入到所述目标数据库表的各个所述字段主键下。

【技术特征摘要】
1.一种基于大数据量下批量导入数据的方法，其特征在于，包括：预先设置目标数据库表的至少一个字段主键与至少一个数据节点之间的对应关系，还包括：获取待处理数据文件，其中，所述待处理数据文件包括至少两条待处理数据，每一条所述待处理数据包括至少一个元数据，每一条所述待处理数据的每一个所述元数据分别对应有一个参考数据节点；根据每一条所述待处理数据包括的至少一个元数据，以及每一个所述元数据分别对应的参考数据节点，生成临时数据表；校验所述临时数据表中的每一个所述元数据是否合格；当所述临时数据表中存在至少一个目标元数据不合格时，对所述临时数据表中不合格的各个所述目标元数据进行删除处理；根据所述对应关系，将处理后的所述临时数据表中的各个所述元数据批量导入到所述目标数据库表的各个所述字段主键下。2.根据权利要求1所述的方法，其特征在于，所述校验所述临时数据表中的每一个所述元数据是否合格，包括：针对于所述临时数据表中的每一个所述元数据，校验所述至少一个数据节点是否包括当前所述元数据所对应的参考数据节点；在所述至少一个数据节点不包括当前所述元数据所对应的参考数据节点时，确定当前所述元数据不合格。3.根据权利要求1所述的方法，其特征在于，在所述校验所述临时数据表中的每一个所述元数据是否合格之前，还包括：确定至少一个所述字段主键所分别对应的至少一个参考元数据；则，所述校验所述临时数据表中的每一个所述元数据是否合格，包括：针对于所述临时数据表中的每一个所述元数据，确定对应当前所述元数据的参考数据节点所对应的目标字段主键；在确定的所述目标字段主键所对应的至少一个参考元数据不包括当前所述元数据时，确定当前所述元数据所属的待处理数据的各个元数据均不合格。4.根据权利要求1所述的方法，其特征在于，在所述校验所述临时数据表中的每一个所述元数据是否合格之前，还包括：确定所述目标数据库表的每一个所述字段主键所分别对应的字符约束条件；则，所述校验所述临时数据表中的每一个所述元数据是否合格，包括：针对于所述临时数据表中的每一个所述元数据，确定对应当前所述元数据的参考数据节点所对应的目标字段主键；校验当前所述元数据是否符合所述目标字段主键所对应的约束条件；在当前所述元数据不符合所述目标字段主键所对应的约束条件时，确定当前所述元数据不合格。5.根据权利要求4所述的方法，其特征在于，所述约束条件包括：数据类型、数据长度及数据阈值中的任意一种或多种。6.一种基于大数据量下批量导入数据的装置，其特征在于，包括：设置模块，用于预先设置目标数据库表的至少一个字段...

【专利技术属性】
技术研发人员：王志刚，左斌，
申请(专利权)人：山东浪潮通软信息科技有限公司，
类型：发明
国别省市：山东,37