System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind()
【技术实现步骤摘要】
本申请涉及数据处理,特别是涉及一种报表数据溯源方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。
技术介绍
1、随着数据处理技术的发展,出现了报表数据溯源技术,利用报表数据溯源技术可以对存入数仓系统的报表数据进行溯源。
2、传统技术中,通常是先获取原始报表数据的元数据,然后根据元数据确定原始报表数据的来源表,从而可以解析到报表之间的血缘关系,基于此可以进行溯源。
3、然而,这种报表数据溯源方式,只能解析出与原始报表数据直接关联的来源表,无法追溯报表数据存入数仓系统中的加工过程,因此报表数据溯源的效果较差。
技术实现思路
1、基于此,有必要针对上述技术问题,提供一种能够提升报表数据溯源效果的报表数据溯源方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。
2、第一方面,本申请提供了一种报表数据溯源方法,包括:
3、获取原始报表数据和所述报表数据对应的第一结构化查询信息,并对所述第一结构化查询信息进行语法解析,得到第一解析结果,其中,所述第一解析结果表征所述原始报表数据中各数据表与接入后数据表之间的关联关系,所述接入后数据表为数仓系统中数据运营层中的数据表;
4、获取所述原始报表数据接入所述数仓系统后的元数据,其中,所述元数据至少包括所述原始报表数据对应的多张存储数据表和存储过程中的多个第二结构化查询信息;
5、对所述多个第二结构化查询信息进行语法解析,得到第二解析结果,其中,所述第二解析结果表征
6、根据所述多张存储数据表在所述数仓系统中的层级信息、所述第一解析结果和所述第二解析结果,生成所述原始报表数据对应的数据溯源结果。
7、在其中一个实施例中,所述对所述第一结构化查询信息进行语法解析,得到第一解析结果,包括:
8、获取所述第一结构化查询信息在所述原始报表数据中所对应数据表的表名称信息,其中,所述第一结构化查询信息用于将所述原始报表数据中的数据表加工为接入后数据表;
9、将所述第一结构化查询信息与所述表名称信息进行拼接,得到拼接信息;
10、对所述拼接信息进行结构化查询语言的语法解析,得到第一解析结果。
11、在其中一个实施例中,在所述根据所述多张存储数据表在所述数仓系统中的层级信息、所述第一解析结果和所述第二解析结果,生成所述原始报表数据对应的数据溯源结果之前,所述方法还包括:
12、根据所述多张存储数据表在所述数仓系统中所处的系统架构层级,分别对所述多张存储数据表进行标识,得到每一所述存储数据表的层级标识;
13、将所述多张存储数据表的层级标识共同作为层级信息。
14、在其中一个实施例中,所述对所述多个第二结构化查询信息进行语法解析,得到第二解析结果,包括:
15、针对每一所述第二结构化查询信息,在所述第二结构化查询信息中去除条件判断关键字和预设类型的数据库函数,得到目标结构化查询信息;
16、对所有所述目标结构化查询信息进行语法解析,得到第二解析结果。
17、在其中一个实施例中,所述数据溯源结果包括溯源结构树;所述根据所述多张存储数据表在所述数仓系统中的层级信息、所述第一解析结果和所述第二解析结果,生成所述原始报表数据对应的数据溯源结果,包括:
18、生成根节点,其中,所述根节点包括所述原始报表数据;
19、根据所述层级信息、所述第一解析结果和所述第二解析结果,从所述根节点递归生成各个树层级下的树节点,得到溯源结构树,其中,一个所述树节点对应一张所述存储数据表或者对应一个第二结构化查询信息。
20、在其中一个实施例中,所述数仓系统包括数据运营层、数据明细层、数据服务层和应用数据层;所述根据所述层级信息和所述第二解析结果,从所述根据所述层级信息、所述第一解析结果和所述第二解析结果,从所述根节点递归生成各个树层级下的树节点,得到溯源结构树,包括:
21、根据所述层级信息和所述第一解析结果,生成所述根节点对应的至少一个第一树节点,其中,所述第一树节点处于溯源结构树的第一树层级,所述第一树节点对应所述数据运营层的存储数据表或者第二结构化查询信息;
22、根据所述层级信息和所述第二解析结果,依次递归生成第二树层级的至少一个第二树节点、第三树层级的至少一个第三树节点和第四树层级的至少一个第四树节点;
23、其中,所述第二树节点对应所述数据明细层的存储数据表或者第二结构化查询信息,所述第三树节点对应所述数据服务层的存储数据表或者第二结构化查询信息,所述第四树节点对应所述应用数据层的存储数据表。
24、第二方面,本申请还提供了一种报表数据溯源装置,包括:
25、第一解析模块,用于获取原始报表数据和所述报表数据对应的第一结构化查询信息,并对所述第一结构化查询信息进行语法解析,得到第一解析结果,其中,所述第一解析结果表征所述原始报表数据中各数据表与接入后数据表之间的关联关系,所述接入后数据表为数仓系统中数据运营层中的数据表;
26、获取模块,用于获取所述原始报表数据接入所述数仓系统后的元数据,其中,所述元数据至少包括所述原始报表数据对应的多张存储数据表和存储过程中的多个第二结构化查询信息;
27、第二解析模块,用于对所述多个第二结构化查询信息进行语法解析,得到第二解析结果,其中,所述第二解析结果表征所述多张存储数据表之间的关联关系;
28、溯源模块,用于根据所述多张存储数据表在所述数仓系统中的层级信息、所述第一解析结果和所述第二解析结果,生成所述原始报表数据对应的数据溯源结果。
29、在其中一个实施例中,所述第一解析模块还用于:
30、获取所述第一结构化查询信息在所述原始报表数据中所对应数据表的表名称信息,其中,所述第一结构化查询信息用于将所述原始报表数据中的数据表加工为接入后数据表;将所述第一结构化查询信息与所述表名称信息进行拼接,得到拼接信息;对所述拼接信息进行结构化查询语言的语法解析,得到第一解析结果。
31、在其中一个实施例中,所述装置还包括:
32、层级标识模块,用于根据所述多张存储数据表在所述数仓系统中所处的系统架构层级,分别对所述多张存储数据表进行标识,得到每一所述存储数据表的层级标识;将所述多张存储数据表的层级标识共同作为层级信息。
33、在其中一个实施例中,所述第二解析模块还用于:
34、针对每一所述第二结构化查询信息,在所述第二结构化查询信息中去除条件判断关键字和预设类型的数据库函数,得到目标结构化查询信息;对所有所述目标结构化查询信息进行语法解析,得到第二解析结果。
35、在其中一个实施例中,所述数据溯源结果包括溯源结构树;所述溯源模块还用于:
36、生成根节点,其中,所述根节点包括所述原始报表数据;根据所述层级本文档来自技高网...
【技术保护点】
1.一种报表数据溯源方法,其特征在于,所述方法包括:
2.根据权利要求1所述的方法,其特征在于,所述对所述第一结构化查询信息进行语法解析,得到第一解析结果,包括:
3.根据权利要求1所述的方法,其特征在于,在所述根据所述多张存储数据表在所述数仓系统中的层级信息、所述第一解析结果和所述第二解析结果,生成所述原始报表数据对应的数据溯源结果之前,所述方法还包括:
4.根据权利要求1所述的方法,其特征在于,所述对所述多个第二结构化查询信息进行语法解析,得到第二解析结果,包括:
5.根据权利要求1所述的方法,其特征在于,所述数据溯源结果包括溯源结构树;所述根据所述多张存储数据表在所述数仓系统中的层级信息、所述第一解析结果和所述第二解析结果,生成所述原始报表数据对应的数据溯源结果,包括:
6.根据权利要求5所述的方法,其特征在于,所述数仓系统包括数据运营层、数据明细层、数据服务层和应用数据层;所述根据所述层级信息和所述第二解析结果,从所述根据所述层级信息、所述第一解析结果和所述第二解析结果,从所述根节点递归生成各个树层级下的树节点,
7.一种报表数据溯源装置,其特征在于,所述装置包括:
8.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述的方法的步骤。
9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。
10.一种计算机程序产品,包括计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。
...【技术特征摘要】
1.一种报表数据溯源方法,其特征在于,所述方法包括:
2.根据权利要求1所述的方法,其特征在于,所述对所述第一结构化查询信息进行语法解析,得到第一解析结果,包括:
3.根据权利要求1所述的方法,其特征在于,在所述根据所述多张存储数据表在所述数仓系统中的层级信息、所述第一解析结果和所述第二解析结果,生成所述原始报表数据对应的数据溯源结果之前,所述方法还包括:
4.根据权利要求1所述的方法,其特征在于,所述对所述多个第二结构化查询信息进行语法解析,得到第二解析结果,包括:
5.根据权利要求1所述的方法,其特征在于,所述数据溯源结果包括溯源结构树;所述根据所述多张存储数据表在所述数仓系统中的层级信息、所述第一解析结果和所述第二解析结果,生成所述原始报表数据对应的数据溯源结果,包括:
6.根据权利要求5所述的...
【专利技术属性】
技术研发人员:孙立达,陈辰,马奔,范蕊,白龙,胡潇涵,朱雨晗,齐彦伟,
申请(专利权)人:中国人寿保险股份有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。