System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 数据表检核方法、装置、电子设备和存储介质制造方法及图纸_技高网

数据表检核方法、装置、电子设备和存储介质制造方法及图纸

技术编号:42607460 阅读:8 留言:0更新日期:2024-09-03 18:16
本公开涉及一种数据表检核方法、装置、电子设备和存储介质,涉及数据库技术领域。其中的方法包括:获取至少一个目标数据表;响应于确定至少一个目标数据表中存在不包括主键的目标数据表,为不包括主键的目标数据表确定主键;响应于确定各目标数据表包括主键,根据预设的检核规则对各目标数据表中的数据进行检核,确定各目标数据表中的异常数据;将异常数据存储到预先创建的异常数据表中。应用本公开可以将各个数据表中的异常数据存储在单个异常数据表中,不仅有效地减少了异常数据表的数量,减少了对存储空间的占用,还可以便于对异常数据的统计、检索等需求。

【技术实现步骤摘要】

本申请涉及数据库,尤其涉及一种数据表检核方法、装置、电子设备和存储介质


技术介绍

1、数据质量检核,是在大数据背景下,对用户所有的数据库、数据表、数据基于一定的规则,对数据的规范性、完整性、准确性、有效性、唯一性、及时性进行检核。数据表基于一定的规则检核之后,用户需要查看哪些数据是异常数据,以便于对异常数据进行治理。例如,数据湖中有一张自然人基本信息表,如果要检核人员身份证信息字段数据的准确性,可以创建身份证号码检核规则,基于身份证规则sql查询出不符合要求的数据条数以及具体哪些数据身份证信息有问题,这就需要对检核出来的有异常数据进行保存以便于查看。

2、现有的异常数据保存方案存在占用空间大、不便于查看统计的问题。


技术实现思路

1、本公开的实施例提供了一种数据表检核方法、装置、电子设备和存储介质。

2、第一方面,本公开的实施例提供了一种数据表检核方法,包括:获取至少一个目标数据表;响应于确定至少一个目标数据表中存在不包括主键的目标数据表,为不包括主键的目标数据表确定主键;响应于确定各目标数据表包括主键,根据预设的检核规则对各目标数据表中的数据进行检核,确定各目标数据表中的异常数据;将异常数据存储到预先创建的异常数据表中。

3、第二方面,本公开的实施例提供了一种数据表检核装置,包括:数据表获取单元,被配置成获取至少一个目标数据表;主键确定单元,被配置成响应于确定至少一个目标数据表中存在不包括主键的目标数据表,为不包括主键的目标数据表确定主键;数据表检核单元,被配置成响应于确定各目标数据表包括主键,根据预设的检核规则对各目标数据表中的数据进行检核,确定各目标数据表中的异常数据;异常数据存储单元,被配置成将异常数据存储到预先创建的异常数据表中。

4、第三方面,本公开的实施例提供了一种电子设备,包括存储器、处理器、总线及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如第一方面所描述的数据表检核方法。

5、第四方面,本公开的实施例提供了一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现如第一方面所描述的数据表检核方法。

6、应用本公开的技术方案,可以将各个数据表中的异常数据存储在单个异常数据表中,不仅有效地减少了异常数据表的数量,减少了对存储空间的占用,还可以便于对异常数据的统计、检索等需求。

7、应当理解,本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征,也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

本文档来自技高网...

【技术保护点】

1.一种数据表检核方法,包括:

2.根据权利要求1所述的方法,其中,所述为所述不包括主键的目标数据表确定主键,包括:

3.根据权利要求2所述的方法,其中,所述根据所述组合唯一键,确定主键,包括:

4.根据权利要求2所述的方法,其中,所述为所述不包括主键的目标数据表确定主键,包括:

5.根据权利要求1所述的方法,其中,所述方法还包括:

6.根据权利要求5所述的方法,其中,所述在所述异常数据分区中创建所述异常数据表,包括:

7.根据权利要求1所述的方法,其中,所述方法还包括:

8.一种数据表检核装置,包括:

9.一种电子设备,包括存储器、处理器、总线及存储在存储器上并可在处理器上运行的计算机程序,其中,所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述的数据表检核方法。

10.一种非暂态计算机可读存储介质,其上存储有计算机程序,其特征在于,该计算机程序被处理器执行时实现如权利要求1至7任一项所述的数据表检核方法。

【技术特征摘要】

1.一种数据表检核方法,包括:

2.根据权利要求1所述的方法,其中,所述为所述不包括主键的目标数据表确定主键,包括:

3.根据权利要求2所述的方法,其中,所述根据所述组合唯一键,确定主键,包括:

4.根据权利要求2所述的方法,其中,所述为所述不包括主键的目标数据表确定主键,包括:

5.根据权利要求1所述的方法,其中,所述方法还包括:

6.根据权利要求5所述的方法,其中,所述在所述异常数据分区中创建所述异常数...

【专利技术属性】
技术研发人员:师莎
申请(专利权)人:中电云计算技术有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1