数据质量管控的方法及装置制造方法及图纸

本发明专利技术提供了一种数据质量管控的方法及装置，可用于金融领域。所述方法包括：对指标的使用频度、指标信度及指标效度进行加权评价，得到指标评分结果；其中，每一指标来源于一个聚合，每一聚合来源于多个明细；根据所述指标评分结果，判断是否存在数据质量问题；若获知存在数据质量问题，通过指标评分结果、指标与聚合的对应关系以及聚合与明细的对应关系，确定目标明细。本发明专利技术通过明细、聚合及指标的数据对应关系，以及利用对指标的评分结果，及时有效的开展质量管控，定位问题本源，实现数据质量的管控。

【技术实现步骤摘要】
数据质量管控的方法及装置
本专利技术涉及金融行业的数据处理
，尤指一种数据质量管控的方法及装置。
技术介绍
目前，针对金融机构监管数据质量的管控，由于各银行机构的部门划分和科技建设的历史原因，交易系统数据质量标准和监管报送质量要求存在不对称的情况，已经无法满足监管机构针对加强监管的要求。因此，银行业在解决数据质量问题过程中，存在缺乏有效的检测，分析和追踪的手段，较难有效快速的发现、解决问题等缺陷。
技术实现思路
本专利技术实施例的主要目的在于提供一种数据质量管控的方法及装置，实现数据质量问题可追踪且可定位，有效管理数据质量问题。为了实现上述目的，本专利技术实施例提供一种数据质量管控的方法，所述方法包括：对指标的使用频度、指标信度及指标效度进行加权评价，得到指标评分结果；其中，每一指标来源于一个聚合，每一聚合来源于多个明细；根据所述指标评分结果，判断是否存在数据质量问题；若获知存在数据质量问题，通过指标评分结果、指标与聚合的对应关系以及聚合与明细的对应关系，确定目标明细。可选的，在本专利技术一实施例中，所述对指标的使用频度、指标信度及指标效度进行加权评价，得到指标评分结果包括：根据指标的报表生成次数，及指标被单独查阅的次数进行加权评价，得到指标使用频度；根据指标校验通过次数及总检验次数，确定指标信度；根据指标出现的次数，确定指标效度。可选的，在本专利技术一实施例中，所述根据所述指标评分结果，判断是否存在数据质量问题包括：若判断获知所述指标评分结果低于指标预设阈值，则确定存在数据质量问题。可选的，在本专利技术一实施例中，所述通过指标评分结果、指标与聚合的对应关系以及聚合与明细的对应关系，确定目标明细包括：根据指标评分结果，确定与指标对应的聚合的评分；根据聚合的评分，确定与聚合对应的明细的评分；对比明细的评分与明细预设阈值，确定目标明细。可选的，在本专利技术一实施例中，所述方法还包括：对所述目标明细进行数据质量管控。本专利技术实施例还提供一种数据质量管控的装置，所述装置包括：指标评价模块，用于对指标的使用频度、指标信度及指标效度进行加权评价，得到指标评分结果；其中，每一指标来源于一个聚合，每一聚合来源于多个明细；质量问题判断模块，用于根据所述指标评分结果，判断是否存在数据质量问题；数据质量管控模块，用于若获知存在数据质量问题，通过指标评分结果、指标与聚合的对应关系以及聚合与明细的对应关系，确定目标明细。可选的，在本专利技术一实施例中，所述指标评价模块包括：使用频度单元，用于根据指标的报表生成次数，及指标被单独查阅的次数进行加权评价，得到指标使用频度；指标信度单元，用于根据指标校验通过次数及总检验次数，确定指标信度；指标效度单元，用于根据指标出现的次数，确定指标效度。可选的，在本专利技术一实施例中，所述质量问题判断模块包括质量问题判断单元，若判断获知所述指标评分结果低于指标预设阈值，则确定存在数据质量问题。可选的，在本专利技术一实施例中，所述数据质量管控模块包括：聚合评分单元，用于根据指标评分结果，确定与指标对应的聚合的评分；明细评分单元，用于根据聚合的评分，确定与聚合对应的明细的评分；目标明细单元，用于对比明细的评分与明细预设阈值，确定目标明细。可选的，在本专利技术一实施例中，所述数据质量管控模块还包括数据质量管控单元，用于对所述目标明细进行数据质量管控。本专利技术还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述方法。本专利技术还提供一种计算机可读存储介质，所述计算机可读存储介质存储有执行上述方法的计算机程序。本专利技术通过明细、聚合及指标的数据对应关系，以及利用对指标的评分结果，及时有效的开展质量管控，定位问题本源，实现数据质量的管控。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术实施例一种数据质量管控的方法的流程图；图2为本专利技术实施例中数据层次对应关系示意图；图3A-图3B为本专利技术实施例中各层次的关系示意图；图4A-图4B为本专利技术实施例中指标与报表及制度与报表关系示意图；图5为本专利技术实施例中监管数据关系示意图；图6为本专利技术一具体实施例中数据管质量控过程的示意图；图7为本专利技术另一具体实施例中数据质量管控过程的示意图；图8为本专利技术再一具体实施例中数据质量管控过程的示意图；图9为本专利技术实施例一种数据质量管控的装置的结构示意图；图10为本专利技术一实施例所提供的电子设备的结构示意图。具体实施方式本专利技术实施例提供一种数据质量管控的方法及装置。需要说明的是，本专利技术的数据质量管控的方法及装置可用于金融领域，也可用于除金融领域之外的任意领域，本专利技术的数据质量管控的方法及装置的应用领域不做限定。下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。如图1所示为本专利技术实施例一种数据质量管控的方法的流程图，图中所示方法包括：步骤S1，对指标的使用频度、指标信度及指标效度进行加权评价，得到指标评分结果；其中，每一指标来源于一个聚合，每一聚合来源于多个明细。其中，如图2所示，业务数据包括原始明细层、聚合汇总层、抽象指标层及包装展现层。各层数据的对应关系如图3A-图3B所示，包括：原始明细层包括多个明细，明细对应于业务交易动作的结果；聚合汇总层包括多个聚合，聚合为明细经过数据清洗后，按业务领域汇总整合的结果，每一聚合来源于多个明细；抽象指标层包括多个指标，指标为聚合按照不同统计维度抽象成具有业务定义的合计值，一般为余额、发生额、笔数、户数等，每一指标来源于一个聚合；包装展现层包括多个报表，报表有具体表样，且其报表项由一个或多个指标通过基本的运算而得到的报表集合，每一报表来源于多个指标。此外，对于某一指标，通过对其使用频度、信度、效度的加权，可以客观的得到其评分结果，评分越高表示该指标越好。步骤S2，根据指标评分结果，判断是否存在数据质量问题。其中，通过比较指标评分结果与指标评分的预设阈值，判断该指标是否存在数据质量问题。一般的，指标评分结果低于预设阈值时，判定为存在数据质量问题。步骤S3，若获知存在数据质量问题，通过指标评分结果、指标与聚合的对应关系以及聚合与明细的对应关系，确定目标明细。其中，指标与聚合的对应关系为一个指标来源于一个聚合，一个聚合可对应多个指标，聚合与明细的对应关系为一个聚合来源于多个明细本文档来自技高网...

【技术保护点】
1.一种数据质量管控的方法，其特征在于，所述方法包括：/n对指标的使用频度、指标信度及指标效度进行加权评价，得到指标评分结果；其中，每一指标来源于一个聚合，每一聚合来源于多个明细；/n根据所述指标评分结果，判断是否存在数据质量问题；/n若获知存在数据质量问题，通过指标评分结果、指标与聚合的对应关系以及聚合与明细的对应关系，确定目标明细。/n

【技术特征摘要】
1.一种数据质量管控的方法，其特征在于，所述方法包括：
对指标的使用频度、指标信度及指标效度进行加权评价，得到指标评分结果；其中，每一指标来源于一个聚合，每一聚合来源于多个明细；
根据所述指标评分结果，判断是否存在数据质量问题；
若获知存在数据质量问题，通过指标评分结果、指标与聚合的对应关系以及聚合与明细的对应关系，确定目标明细。


2.根据权利要求1所述的方法，其特征在于，所述对指标的使用频度、指标信度及指标效度进行加权评价，得到指标评分结果包括：
根据指标的报表生成次数，及指标被单独查阅的次数进行加权评价，得到指标使用频度；
根据指标校验通过次数及总检验次数，确定指标信度；
根据指标出现的次数，确定指标效度。


3.根据权利要求1所述的方法，其特征在于，所述根据所述指标评分结果，判断是否存在数据质量问题包括：若判断获知所述指标评分结果低于指标预设阈值，则确定存在数据质量问题。


4.根据权利要求1所述的方法，其特征在于，所述通过指标评分结果、指标与聚合的对应关系以及聚合与明细的对应关系，确定目标明细包括：
根据指标评分结果，确定与指标对应的聚合的评分；
根据聚合的评分，确定与聚合对应的明细的评分；
对比明细的评分与明细预设阈值，确定目标明细。


5.根据权利要求1所述的方法，其特征在于，所述方法还包括：对所述目标明细进行数据质量管控。


6.一种数据质量管控的装置，其特征在于，所述装置包括：
指标评价模块，用于对指标的使用频度、指标信度及指标效度进行加权评价，得到指标评分结果；其中，每一指标来源于一个聚合，每一聚合...

【专利技术属性】
技术研发人员：赵枫，黄浩，薛飞，李梦姣，
申请(专利权)人：中国工商银行股份有限公司，
类型：发明
国别省市：北京;11