数据校验方法和装置制造方法及图纸

技术编号:14786041 阅读:131 留言:0更新日期:2017-03-11 00:05
本申请实施例公开了一种数据校验方法及装置,用以解决现有技术中不能及时发现数据出现异常的问题。所述数据校验方法包括:校验模块获取子系统的数据,并向数据质量系统发送所述数据;数据质量系统根据接收的所述数据得到数据模型;数据质量系统获取所述数据模型的校验规则及所述校验规则中的数据变量;校验模块从所述数据质量系统获取所述子系统对应的数据模型的校验规则及所述校验规则中的数据变量;校验模块获取所述子系统的数据变量的实际值,并判断所述数据变量的实际值是否符合所述校验规则。

【技术实现步骤摘要】

本申请涉及计算机互联网
,特别涉及一种数据校验方法及装置。
技术介绍
在处理互联网业务的系统中,数据出现异常的情况时有发生。系统中的数据在使用和存储等过程中都有可能出现异常。例如:系统错误的使用数据,进而导致使用后的数据出现异常;系统将数据向磁盘存储过程中磁盘发生故障,进而导致存储后的数据出现异常等。这些系统的数据出现异常,可能会对公司造成不必要的损失。现有技术中,一般是在数据出现异常一段时间后由日志监控到数据存在异常或者有用户反映出现异常,才能发现数据出现异常。综上所述,现有技术中存在不能及时发现数据出现异常的问题。
技术实现思路
本申请实施例的目的是提供一种数据校验方法及装置,用以解决现有技术中存在不能及时发现数据出现异常的问题。为解决上述技术问题,本申请实施例提供了:一种数据校验方法,包括:校验模块获取子系统的数据,并向数据质量系统发送所述数据;数据质量系统根据接收的所述数据得到数据模型;数据质量系统获取所述数据模型的校验规则及所述校验规则中的数据变量;校验模块从所述数据质量系统获取所述子系统对应的数据模型的校验规则及所述校验规则中的数据变量;校验模块获取所述子系统的数据变量的实际值,并判断所述数据变量的实际值是否符合所述校验规则。一种数据校验方法,包括:校验模块获取子系统的数据,并向数据质量系统发送所述数据;数据质量系统根据接收的所述数据得到数据模型;数据质量系统获取所述数据模型的校验规则及所述校验规则中的数据变量;校验模块从所述数据质量系统获取所述子系统对应的数据模型的校验规则及所述校验规则中的数据变量;校验模块获取所述子系统的数据变量的实际值,并向所述数据质量系统发送所述数据变量的实际值;数据质量系统接收所述数据变量的实际值,并判断所述数据变量的实际值是否符合所述校验规则。一种数据校验方法,包括:获取子系统的数据,并向数据质量系统发送所述数据;从所述数据质量系统获取所述子系统对应的数据模型的校验规则及所述校验规则中的数据变量;获取所述子系统的数据变量的实际值,并判断所述数据变量的实际值是否符合所述校验规则。一种数据校验方法,包括:获取子系统的数据,并向数据质量系统发送所述数据;从所述数据质量系统获取所述子系统对应的数据模型的校验规则及所述校验规则中的数据变量;获取所述子系统的数据变量的实际值;向所述数据质量系统发送所述数据变量的实际值。一种数据校验方法,包括:接收校验模块发送的子系统的数据;根据所述数据得到数据模型;获取所述数据模型的校验规则及所述校验规则中的数据变量;接收所述校验模块发出的获取所述校验规则及所述校验规则中的数据变量的请求;向所述校验模块发送所述校验规则及所述校验规则中的数据变量。一种数据校验方法,包括:接收校验模块发送的子系统的数据;根据所述数据得到数据模型;获取所述数据模型的校验规则及所述校验规则中的数据变量;接收所述校验模块发出的获取所述校验规则及所述校验规则中的数据变量的请求;向所述校验模块发送所述校验规则及所述校验规则中的数据变量;接收所述校验模块发送的所述数据变量的实际值;判断所述数据变量的实际值是否符合所述校验规则。一种数据校验装置,包括:第一获取单元,用于获取子系统的数据;第一发送单元,用于向数据质量系统发送所述数据;第二获取单元,用于从所述数据质量系统获取所述子系统对应的数据模型的校验规则及所述校验规则中的数据变量;第三获取单元,用于获取所述子系统的数据变量的实际值;第一判断单元,用于判断所述数据变量的实际值是否符合所述校验规则。一种数据校验装置,包括:第四获取单元,用于获取子系统的数据;第二发送单元,用于向数据质量系统发送所述数据;第五获取单元,用于从所述数据质量系统获取所述子系统对应的数据模型的校验规则及所述校验规则中的数据变量;第六获取单元,用于获取所述子系统的数据变量的实际值;第三发送单元,用于向所述数据质量系统发送所述数据变量的实际值。一种数据校验装置,包括:第一接收单元,用于接收校验模块发送的子系统的数据;第一生成单元,用于根据所述数据得到数据模型;第七获取单元,用于获取所述数据模型的校验规则及所述校验规则中的数据变量;第二接收单元,用于接收所述校验模块发出的获取所述校验规则及所述校验规则中的数据变量的请求;第四发送单元,用于向所述校验模块发送所述校验规则及所述校验规则中的数据变量。一种数据校验装置,包括:第三接收单元,用于接收校验模块发送的子系统的数据;第二生成单元,用于根据所述数据得到数据模型;第八获取单元,用于获取所述数据模型的校验规则及所述校验规则中的数据变量;第三接收单元,用于接收所述校验模块发出的获取所述校验规则及所述校验规则中的数据变量的请求;第五发送单元,用于向所述校验模块发送所述校验规则及所述校验规则中的数据变量;第五接收单元,用于接收所述校验模块发送的所述数据变量的实际值;第二判断单元,用于判断所述数据变量的实际值是否符合所述校验规则。由以上本申请实施例提供的技术方案可见,本申请实施例提供的一种数据校验方法及装置。工作人员通过数据质量系统可以对业务系统中子系统编写校验规则;获取校验规则后,集合获取的数据变量的实际值,可以判断所述数据变量的实际值是否符合校验规则。这样,可以实时监控业务系统中子系统的数据是否出现异常。附图说明为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请中记载的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。图1为本申请一实施例中提供的数据校验的系统架构图;图2为本申请一实施例中提供的数据校验方法的流程图;图3为本申请一实施例中提供的S240的具体流程图;图4为本申请一实施例中提供的数据校验方法的流程图;图5为本申请一实施例中提供的数据校验方法的流程图;图6为本申请一实施例中提供的数据校验方法的流程图;图7为本申请一实施例中提供的子系统示意图;图8为本申请一实施例中提供的数据校验方法的流程图;图9为本申请一实施例中提供的数据校验方法的流程图;图10为本申请一实施例中提供的校验模块为主体的示意图;图11为本申请一实施例中提供的校验模块为主体的示意图;图12为本申请一实施例中提供的校验模块为主体的示意图;图13为本申请一实施例中提供的校验模块为主体的示意图;图14为本申请一实施例中提供的校验模块为主体的示意图;图15为本申请一实施例中提供的数据质量系统为主体的示意图;图16为本申请一实施例中提供的数据质量系统为主体的示意图;图17为本申请一实施例中提供的数据质量系统为主体的示意图;图18为本申请一实施例中提供的数据质量系统为主体的示意图;图19为本申请一实施例中提供的数据质量系统为主体的示意图;图20为本申请一实施例中提供的数据校验装置的模块示意图;图21为本申请一实施例中提供的数据校验装置的模块示意图;图22为本申请一实施例中提供的数据校验装置的模块示意图;图23为本申请一实施例中提供的数据校验装置的模块示意图。具体实施方式为了使本
的人员更好地理解本申请中的技术方案,下面将结合本申请实施例中的附图本文档来自技高网
...
<a href="http://www.xjishu.com/zhuanli/55/201510557323.html" title="数据校验方法和装置原文来自X技术">数据校验方法和装置</a>

【技术保护点】
一种数据校验方法,其特征在于,包括:校验模块获取子系统的数据,并向数据质量系统发送所述数据;数据质量系统根据接收的所述数据得到数据模型;数据质量系统获取所述数据模型的校验规则及所述校验规则中的数据变量;校验模块从所述数据质量系统获取所述子系统对应的数据模型的校验规则及所述校验规则中的数据变量;校验模块获取所述子系统的数据变量的实际值,并判断所述数据变量的实际值是否符合所述校验规则。

【技术特征摘要】
1.一种数据校验方法,其特征在于,包括:校验模块获取子系统的数据,并向数据质量系统发送所述数据;数据质量系统根据接收的所述数据得到数据模型;数据质量系统获取所述数据模型的校验规则及所述校验规则中的数据变量;校验模块从所述数据质量系统获取所述子系统对应的数据模型的校验规则及所述校验规则中的数据变量;校验模块获取所述子系统的数据变量的实际值,并判断所述数据变量的实际值是否符合所述校验规则。2.如权利要求1所述的方法,所述数据质量系统根据接收的所述数据得到数据模型之前,还包括:校验模块生成所述子系统的标识,并向数据质量系统发送所述标识;相应地,所述数据质量系统获取所述数据模型的校验规则及所述校验规则中的数据变量之后,还包括:数据质量系统接收所述标识,将所述标识与所述校验规则及所述校验规则中的数据变量关联;相应地,所述校验模块从所述数据质量系统获取所述子系统对应的数据模型的校验规则及所述校验规则中的数据变量,包括:校验模块从所述数据质量系统获取所述标识关联的校验规则及所述校验规则中的数据变量。3.如权利要求1所述的方法,其特征在于,还包括:校验模块向所述数据质量系统发送校验结果;数据质量系统接收所述校验结果。4.如权利要求3所述的方法,其特征在于,所述数据质量系统接收所述校验结果,具体包括:数据质量系统接收所述校验结果;若所述校验结果为失败,则发出告警。5.如权利要求1所述的方法,其特征在于,还包括:若校验结果为失败,则所述校验模块向所述数据质量系统发送校验结果;数据质量系统接收所述校验结果并发出告警。6.一种数据校验方法,其特征在于,包括:校验模块获取子系统的数据,并向数据质量系统发送所述数据;数据质量系统根据接收的所述数据得到数据模型;数据质量系统获取所述数据模型的校验规则及所述校验规则中的数据变量;校验模块从所述数据质量系统获取所述子系统对应的数据模型的校验规则及所述校验规则中的数据变量;校验模块获取所述子系统的数据变量的实际值,并向所述数据质量系统发送所述数据变量的实际值;数据质量系统接收所述数据变量的实际值,并判断所述数据变量的实际值是否符合所述校验规则。7.如权利要求6所述的方法,其特征在于,所述数据质量系统根据接收的所述数据得到数据模型之前,还包括:校验模块生成所述子系统的标识,并向数据质量系统发送所述标识;相应地,所述数据质量系统获取所述数据模型的校验规则及所述校验规则中的数据变量之后,还包括:数据质量系统接收所述标识,将所述标识与所述校验规则及所述校验规则中的数据变量关联;相应地,所述校验模块从所述数据质量系统获取所述子系统对应的数据模型的校验规则及所述校验规则中的数据变量,包括:校验模块从所述数据质量系统获取所述标识关联的校验规则及所述校验
\t规则中的数据变量。8.如权利要求6所述的方法,其特征在于,所述判断所述数据变量的实际值是否符合所述校验规则,具体包括:判断所述数据变量的实际值是否符合所述校验规则;若否,则发出警告。9.一种数据校验方法,其特征在于,包括:获取子系统的数据,并向数据质量系统发送所述数据;从所述数据质量系统获取所述子系统对应的数据模型的校验规则及所述校验规则中的数据变量;获取所述子系统的数据变量的实际值,并判断所述数据变量的实际值是否符合所述校验规则。10.如权利要求9所述的方法,其特征在于,所述校验规则的校验类型包括检查规则和熔断规则中的至少一种。11.如权利要求9所述的方法,其特征在于,所述获取所述子系统的数据变量的实际值,并判断所述数据变量的实际值是否符合所述校验规则,具体包括:通过拦截器监控子系统是否执行;若监控到子系统执行,通过反射方法获取所述子系统的数据变量的实际值;若所述数据变量的实际值不符合所述校验规则,则发出告警。12.如权利要求9所述的方法,其特征在于,所述从所述数据质量系统获取所述子系统对应的数据模型的校验规则及所述校验规则中的数据变量之后,还包括:将所述校验规则及所述校验规则中的数据变量存储于所述子系统中。13.如权利要求9所述的方法,其特征在于,所述获取子系统的数据,并向数据质量系统发送所述数据之后,还包括:生成所述子系统的标识,并向数据质量系统发送所述标识;相应地,所述从所述数据质量系统获取所述子系统对应的数据模型的校验规则及所述校验规则中的数据变量,包括:从所述数据质量系统获取所述标识关联的校验规则及所述校验规则中的数据变量。14.如权利要求13所述的方法,其特征在于,所述标识包括唯一的签名。15.如权利要求9所述的方法,其特征在于,还包括:向所述数据质量系统发送校验结果。16.如权利要求15所述的方法,其特征在于,所述向所述数据质量系统发送校验结果,具体包括:若校验结果为失败,则所述校验模块向所述数据质量系统发送校验结果。17.一种数据校验方法,其特征在于,包括:获取子系统的数据,并向数据质量系统发送所述数据;从所述数据质量系统获取所述子系统对应的数据模型的校验规则及所述校验规则中的数据变量;获取所述子系统的数据变量的实际值;向所述数据质量系统发送所述数据变量的实际值。18.如权利要求17所述的方法,其特征在于,所述校验规则的校验类型包括检查规则和熔断规则中的至少一种。19.如权利要求17所述的方法,其特征在于,所述获取所述子系统的数据变量的实际值,具体包括:通过拦截器监控子系统是否执行;若监控到子系统执行,通过反射方法获取所述子系统的数据变量的实际值。20.如权利要求17所述的方法,其特征在于,所述从所述数据质量系统获取所述子系统对应的数据模型的校验规则及所述校验规则中的数据变量之后,还包括:将所述校验规则及所述校验规则中的数据变量存储于所述子系统中。21.如权利要求17所述的方法,其特征在于,所述获取子系统的数据,并向数据质量系统发送所述数据之后,还包括:生成所述子系统的标识,并向数据质量系统发送所述标识;相应地,所述从所述数据质量系统获取所述子系统对应的数据模型的校验规则及所述校验规则中的数据变量,包括:从所述数据质量系统获取所述标识关联的校验规则及所述校验规则中的数据变量。22.如权利要求21所述的方法,其特征在于,所述标识包括唯一的签名。23.一种数据校验方法,其特征在于,包括:接收校验模块发送的子系统的数据;根据所述数据得到数据模型;获取所述数据模型的校验规则及所述校验规则中的数据变量;接收所述校验模块发出的获取所述校验规则及所述校验规则中的数据变量的请求;向所述校验模块发送所述校验规则及所述校验规则中的数据变量。24.如权利要求23所述的方法,其特征在于,所述校验规则包括表达式语言编写的规则表达式或自定义语言编写的规则表达式。25.如权利要求23所述的方法,其特征在于,所述校验...

【专利技术属性】
技术研发人员:周鹏举郑高超陈亮
申请(专利权)人:阿里巴巴集团控股有限公司
类型:发明
国别省市:开曼群岛;KY

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1