数据有效性验证方法及装置制造方法及图纸

本发明专利技术公开了一种数据有效性验证方法及装置。其中，该方法包括：获取元数据；确定验证元数据的至少一个应用场景；根据应用场景，确定与应用场景对应的配置参数，其中，配置参数用于表征应用场景的测试环境数据，测试环境数据至少包括：当前应用场景的账户登录参数；将任意一个应用场景对应的配置参数分别加载至元数据，生成至少一个待验证数据；获取任意一个应用场景对应的验证项目；基于验证项目验证待验证数据，得到验证结果。本发明专利技术解决了现有技术中数据有效性检查装置所采用的检查方法碎片化高、复用性差、可扩展性差、耦合性高和演化能力低，导致的数据有效性检查装置的稳定性差、维护成本和风险高的问题。

【技术实现步骤摘要】
数据有效性验证方法及装置
本专利技术涉及信息处理领域，具体而言，涉及一种数据有效性验证方法及装置。
技术介绍
随着互联网的发展，各大在线搜索服务提供商通过开放平台吸引第三方进行应用创新和整合，例如：百度凤巢、百度网盟和奇虎点睛(360搜索)。同时他们也各自提供了一整套在线管理平台。如果对一个需要千万级关键词和多平台投放的客户来说，管理和优化无疑是他们的噩梦。因此第三方离线管理系统，整合主流在线搜索服务，为用户提供一站式全平台离线广告管理系统。离线广告管理系统除了无法满足实时数据分析和查看需求外，其它增删改都是实时性的。为了保证这种离线系统与各平台在线系统数据一致性，离线系统内部需要周期性的同各大平台进行单向数据同步(在线系统数据同步到离线系统)。数据同步过程中，有两个核心要素需要特别关注：第一：数据的有效性；第二：数据的一致性；针对以上两点，可以明显看到数据有效性是数据一致性的前提，如果无法有效地屏蔽脏数据，就无法保证数据健壮性，更谈不上一致性，对后续的数据分析和挖掘都会产生阻碍和影响。同时，产生脏数据的条件和环境因平台的不同可能有相似性，也有差异性。现有技术大部分针对具体应用场景，将检查逻辑分散到业务处理过程中，碎片化非常严重。而且，这样做很难使检查逻辑具有复用性。系统在演化过程中，数据有效性检查矫正工作往往是在原有基础上以补丁的方式进行。在违背开放封闭的设计原则的同时，对系统的稳定性造成影响。当系统庞大到一定程度，一旦发现多平台出现检查漏洞，则需要深入各个业务处理逻辑内部进行修正，维护成本和风险剧增。以上方案具有以下缺陷：1、碎片化。维护成本高，影响系统稳定性，随着系统发展，风险高。2、可扩展性差。违背开放封闭的设计原则。3、耦合性高。作为业务逻辑一部分，对应处理某种具体的应用场景。4、复用性差。应对通用的检查逻辑，复用性差，最多是逻辑的复用。5、演化能力低。缺乏灵活的演化能力，牵一发而洞全身，演化成本高。针对现有技术中数据有效性检查装置所采用的检查方法碎片化高、复用性差、可扩展性差、耦合性高和演化能力低，导致的数据有效性检查装置的稳定性差、维护成本和风险高的问题，目前尚未提出有效的解决方案。
技术实现思路
本专利技术的主要目的在于提供一种数据有效性验证方法及装置，以解决现有技术中。数据有效性检查装置所采用的检查方法碎片化高、复用性差、可扩展性差、耦合性高和演化能力低，导致的数据有效性检查装置的稳定性差、维护成本和风险高的问题。为了实现上述目的，根据本专利技术实施例的一个方面，提供了一种数据有效性验证方法。该方法包括：获取元数据；确定验证元数据的至少一个应用场景；根据应用场景，确定与应用场景对应的配置参数，其中，配置参数用于表征应用场景的测试环境数据，测试环境数据至少包括：当前应用场景的账户登录参数；将任意一个应用场景对应的配置参数分别加载至元数据，生成至少一个待验证数据，其中，元数据与任意一个应用场景对应的配置参数具有关联关系；获取任意一个应用场景对应的验证项目，其中，验证项目用于表征待验证数据在应用场景进行验的验证步骤；基于验证项目验证待验证数据，得到验证结果。为了实现上述目的，根据本专利技术实施例的另一方面，提供了一种数据有效性验证装置，该装置包括第一获取模块，用于获取元数据；第一确定模块，用于确定验证元数据的至少一个应用场景；第二确定模块，用于根据应用场景，确定与应用场景对应的配置参数，其中，配置参数用于表征应用场景的测试环境数据，测试环境数据至少包括：当前应用场景的账户登录参数；第一生成模块，用于将任意一个应用场景对应的配置参数分别加载至元数据，生成至少一个待验证数据，其中，元数据与任意一个应用场景对应的配置参数具有关联关系；第二获取模块，用于获取任意一个应用场景对应的验证项目，其中，验证项目用于表征待验证数据在应用场景进行验的验证步骤；验证模块，用于基于验证项目验证待验证数据，得到验证结果。根据专利技术实施例，通过获取元数据；确定验证元数据的至少一个应用场景；根据应用场景，确定与应用场景对应的配置参数，其中，配置参数用于表征应用场景的测试环境数据，测试环境数据至少包括：当前应用场景的账户登录参数；将任意一个应用场景对应的配置参数分别加载至元数据，生成至少一个待验证数据，其中，元数据与任意一个应用场景对应的配置参数具有关联关系；获取任意一个应用场景对应的验证项目，其中，验证项目用于表征待验证数据在应用场景进行验的验证步骤；基于验证项目验证待验证数据，得到验证结果，解决了现有技术中数据有效性检查装置所采用的检查方法碎片化高、复用性差、可扩展性差、耦合性高和演化能力低，导致的数据有效性检查装置的稳定性差、维护成本和风险高的问题。实现了提高验证数据有效性方法的模块化和复用性，降低维护成本和演化成本的效果。附图说明构成本申请的一部分的附图用来提供对本专利技术的进一步理解，本专利技术的示意性实施例及其说明用于解释本专利技术，并不构成对本专利技术的不当限定。在附图中：图1是根据本专利技术实施例一的数据有效性验证方法的流程图；图2是根据本专利技术实施例一优选的数据有效性验证方法的流程图；图3是根据本专利技术实施例的数据有效性验证系统框图；图4是根据本专利技术实施例二的数据有效性验证装置的结构示意图；图5是根据本专利技术实施例二优选的数据有效性验证装置的结构示意图；以及图6是根据本专利技术实施例二优选的数据有效性验证装置的结构示意图。具体实施方式需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本专利技术。为了使本
的人员更好地理解本专利技术方案，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分的实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本专利技术保护的范围。需要说明的是，本专利技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本专利技术的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。实施例1本专利技术实施例提供了一种数据有效性验证方法。图1是根据本专利技术实施例的数据有效性验证方法的流程图。如图1所示，该方法包括步骤如下：步骤S21，获取元数据。具体的，上述步骤S21中的元数据为投放于各个应用场景中的原始数据，并且，上述元数据包含用于自描述的信息，其中，元数据，是一种自描述性的数据，它需要预定义在元数据库中，发生变动性比较小。例如：一个参数，它可以告诉使用者，这种参数是什么类类型、参数名、是否可空和参数值是多少，以及可见性，用户可以通过配置装置进行元数据的维护。步骤S23，确定验证元数据的至少一个应用场景。具体的，通过上述步骤S23，确定上述元数据投放的应用场景，这些应用场景可以是一个，也可以是多个。步骤S25，根据应用场景本文档来自技高网...

【技术保护点】
一种数据有效性验证方法，其特征在于，包括：获取元数据；确定验证所述元数据的至少一个应用场景；根据所述应用场景，确定与所述应用场景对应的配置参数，其中，所述配置参数用于表征所述应用场景的测试环境数据，所述测试环境数据至少包括：当前应用场景的账户登录参数；将任意一个所述应用场景对应的配置参数分别加载至所述元数据，生成至少一个待验证数据，其中，所述元数据与任意一个所述应用场景对应的配置参数具有关联关系；获取任意一个所述应用场景对应的验证项目，其中，所述验证项目用于表征所述待验证数据在所述应用场景进行验的验证步骤；基于所述验证项目验证所述待验证数据，得到验证结果。

【技术特征摘要】
1.一种数据有效性验证方法，其特征在于，包括：获取元数据；确定验证所述元数据的至少一个应用场景；根据所述应用场景，确定与所述应用场景对应的配置参数，其中，所述配置参数用于表征所述应用场景的测试环境数据，所述测试环境数据至少包括：当前应用场景的账户登录参数；将任意一个所述应用场景对应的配置参数分别加载至所述元数据，生成至少一个待验证数据，其中，所述元数据与任意一个所述应用场景对应的配置参数具有关联关系；获取任意一个所述应用场景对应的验证项目，其中，所述验证项目用于表征所述待验证数据在所述应用场景进行验证的验证步骤；基于所述验证项目验证所述待验证数据，得到验证结果。2.根据权利要求1所述的方法，其特征在于，所述基于所述验证项目验证所述待验证数据，得到验证结果的步骤包括：根据所述验证项目创建验证规则，其中，所述验证规则用于表征各个所述验证项目间的约束关系；根据所述验证规则，对所述待验证数据进行验证，其中，对所述待验证数据进行验证的方法至少包括：元数据必输项验证、上下级实体关系验证和空数据验证。3.根据权利要求2所述的方法，其特征在于，在所述基于所述验证项目验证所述待验证数据，得到验证结果之后，所述方法还包括：根据所述应用场景、所述配置参数、所述验证项目、所述验证规则和所述验证结果，生成验证报告。4.根据权利要求3所述的方法，其特征在于，在所述根据所述应用场景、所述配置参数、所述验证项目、所述验证规则和所述验证结果，生成验证报告之后，方法还包括：对所述验证报告中的错误信息进行识别，确定错误类型；根据所述错误类型，划分错误级别。5.根据权利要求1所述的方法，其特征在于，在所述基于所述验证项目验证所述待验证数据，得到验证结果之后，所述方法还包括：判断所述验证项目的通用性，划分所述验证项目的项目通用等级，其中，所述项目通用等级至少包括：共有级、私有级；根据所述项目通用等级，储存于验证项目库，其中，所述验证项目库至少包括：验证项目私有库和验证项目共有库，用于存储所述验证项目。6.根据权利要求2所述的方法，其特征在于，在所述根据所述验证规则，对所述待验证数据进行验证之后，所述方法还包括：判断所述验证规则的通用性，划分所述验证规则的...

【专利技术属性】
技术研发人员：商平锋，
申请(专利权)人：北京国双科技有限公司，
类型：发明
国别省市：北京;11