System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 数据存储方法、装置、计算机设备和存储介质制造方法及图纸_技高网

数据存储方法、装置、计算机设备和存储介质制造方法及图纸

技术编号:40665159 阅读:27 留言:0更新日期:2024-03-18 18:59
本申请涉及一种数据存储方法、装置、计算机设备、存储介质和计算机程序产品。该方法包括:获取各业务主题对应的要素信息;要素信息包含业务实体和行为信息;针对每个业务主题,识别各目标系统包含的业务主题的要素信息,并根据各目标系统包含的业务主题的要素信息和预设的标准系统识别策略,确定业务主题的标准系统;根据标准系统包含的数据统计粒度,构建标准系统对应的标准数据模型;确定各目标系统中除标准系统以外的其他目标系统与标准数据模型的标准转换关系,并基于标准数据模型和标准转换关系对各目标系统中的数据进行存储,得到目标数据表。采用本方法能够避免资源浪费。

【技术实现步骤摘要】

本申请涉及数据存储,特别是涉及一种数据存储方法、装置、计算机设备、存储介质和计算机程序产品。


技术介绍

1、随着计算机技术的发展,数据仓库的应用越来越广泛。数据仓库可以用于存储组织内各种数据源产生的数据,提供一个面向主题的、集中的、一致的、实时的数据存储和分析平台,以便支持组织内部各类olap(联机分析处理)应用分析。

2、相关技术中,数据仓库中设置有dwd(data ware house detail,数据仓库明细)层,主要用于将从业务数据库中同步过来的ods层数据进行清洗和整合成相应的事实表。事实表作为数据仓库维度建模的核心,通常紧紧围绕着业务过程来设计。具体的,由业务方先提出业务需求,然后根据该业务需求构建数据模型,进而通过该数据模型整合输出事实表。

3、基于上述方案,数据模型是根据特定的业务需求构建,而实际应用中业务需求经常变化,导致数据模型无法适配其他业务需求,需要频繁构建并存储各种数据模型,导致资源浪费。


技术实现思路

1、基于此,有必要针对上述技术问题,提供一种能够避免资源浪费的数据存储方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。

2、第一方面,本申请提供了一种数据存储方法,包括:

3、获取各业务主题对应的要素信息;所述要素信息包含业务实体和行为信息;

4、针对每个业务主题,识别各目标系统包含的所述业务主题的要素信息,并根据各所述目标系统包含的所述业务主题的要素信息和预设的标准系统识别策略,确定所述业务主题的标准系统;

5、根据所述标准系统包含的数据统计粒度,构建所述标准系统对应的标准数据模型;

6、确定各所述目标系统中除所述标准系统以外的其他目标系统与所述标准数据模型的标准转换关系,并基于所述标准数据模型和所述标准转换关系对各所述目标系统中的数据进行存储,得到目标数据表。

7、在其中一个实施例中,所述获取各业务主题对应的要素信息,包括:

8、获取预设的各业务主题、以及所述业务主题对应的业务关联信息;

9、针对每个业务主题,将所述业务主题对应的业务关联信息输入至预先训练的要素识别模型,得到所述业务主题对应的要素信息。

10、在其中一个实施例中,所述根据各所述目标系统包含的所述业务主题的要素信息和预设的标准系统识别策略,确定所述业务主题的标准系统,包括:

11、根据各所述目标系统包含的所述业务主题的要素信息、以及各业务主题对应的要素信息,确定每个所述目标系统与所述业务主题的匹配度;

12、根据每个所述目标系统的创建信息,确定每个所述目标系统的可靠度;

13、根据每个所述目标系统与所述业务主题的匹配度、以及每个所述目标系统的可靠度,在各所述目标系统中,确定所述业务主题对应的标准系统。

14、在其中一个实施例中,所述根据每个所述目标系统与所述业务主题的匹配度、以及每个所述目标系统的可靠度,在各所述目标系统中,确定所述业务主题对应的标准系统,包括:

15、根据每个所述目标系统与所述业务主题的匹配度、以及每个所述目标系统的可靠度,在各所述目标系统中,确定候选标准系统;

16、针对各所述目标系统中除所述候选标准系统以外的每个目标系统,确定所述目标系统与所述候选标准系统之间的转换难度分数,并根据各转换难度分数确定综合难度评分;

17、在综合难度评分小于预设阈值的情况下,将所述候选标准系统作为所述业务主题对应的标准系统。

18、在其中一个实施例中,所述标准转换关系包含要素转换关系和格式转换关系,所述确定各所述目标系统中除所述标准系统以外的其他目标系统与所述标准数据模型的标准转换关系,包括:

19、针对各所述目标系统中除所述标准系统以外的每个目标系统,通过语义识别模型,在所述目标系统和所述标准系统包含的要素信息中,识别相同语义的要素信息,并基于所述相同语义的要素信息,建立要素转换关系;

20、针对所述标准系统包含的每个要素信息,确定所述要素信息在各所述目标系统中的数据格式,根据所述要素信息在所述标准系统中的数据格式、以及所述要素信息在各所述目标系统中的数据格式,建立格式转换关系。

21、在其中一个实施例中,所述方法还包括:

22、获取衍生指标列表,所述衍生指标列表包含多个衍生指标;

23、确定各所述衍生指标对应的数据统计粒度,并按照所述衍生指标对应的数据统计粒度,对所述目标数据表中的数据进行数据聚合处理,得到轻度汇总数据表。

24、第二方面,本申请还提供了一种数据存储装置,所述装置包括:

25、第一获取模块,用于获取各业务主题对应的要素信息;所述要素信息包含业务实体和行为信息;

26、确定模块,用于针对每个业务主题,识别各目标系统包含的所述业务主题的要素信息,并根据各所述目标系统包含的所述业务主题的要素信息和预设的标准系统识别策略,确定所述业务主题的标准系统;

27、构建模块,用于根据所述标准系统包含的数据统计粒度,构建所述标准系统对应的标准数据模型;

28、存储模块,用于确定各所述目标系统中除所述标准系统以外的其他目标系统与所述标准数据模型的标准转换关系,并基于所述标准数据模型和所述标准转换关系对各所述目标系统中的数据进行存储,得到目标数据表。

29、在其中一个实施例中,所述第一获取模块,具体用于:

30、获取预设的各业务主题、以及所述业务主题对应的业务关联信息;

31、针对每个业务主题,将所述业务主题对应的业务关联信息输入至预先训练的要素识别模型,得到所述业务主题对应的要素信息。

32、在其中一个实施例中,所述确定模块,具体用于:

33、根据各所述目标系统包含的所述业务主题的要素信息、以及各业务主题对应的要素信息,确定每个所述目标系统与所述业务主题的匹配度;

34、根据每个所述目标系统的创建信息,确定每个所述目标系统的可靠度;

35、根据每个所述目标系统与所述业务主题的匹配度、以及每个所述目标系统的可靠度,在各所述目标系统中,确定所述业务主题对应的标准系统。

36、在其中一个实施例中,所述确定模块,具体用于:

37、根据每个所述目标系统与所述业务主题的匹配度、以及每个所述目标系统的可靠度,在各所述目标系统中,确定候选标准系统;

38、针对各所述目标系统中除所述候选标准系统以外的每个目标系统,确定所述目标系统与所述候选标准系统之间的转换难度分数,并根据各转换难度分数确定综合难度评分;

39、在综合难度评分小于预设阈值的情况下,将所述候选标准系统作为所述业务主题对应的标准系统。

40、在其中一个实施例中,所述标准转换关系包含要素转换关系和格式转换关系,所述存储模块,具体用于:

41、针对各所述目标系统中本文档来自技高网...

【技术保护点】

1.一种数据存储方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述获取各业务主题对应的要素信息,包括:

3.根据权利要求1所述的方法,其特征在于,所述根据各所述目标系统包含的所述业务主题的要素信息和预设的标准系统识别策略,确定所述业务主题的标准系统,包括:

4.根据权利要求3所述的方法,其特征在于,所述根据每个所述目标系统与所述业务主题的匹配度、以及每个所述目标系统的可靠度,在各所述目标系统中,确定所述业务主题对应的标准系统,包括:

5.根据权利要求1所述的方法,其特征在于,所述标准转换关系包含要素转换关系和格式转换关系,所述确定各所述目标系统中除所述标准系统以外的其他目标系统与所述标准数据模型的标准转换关系,包括:

6.根据权利要求1所述的方法,其特征在于,所述方法还包括:

7.一种数据存储装置,其特征在于,所述装置包括:

8.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述的方法的步骤。

9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。

10.一种计算机程序产品,包括计算机程序,其特征在于,该计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。

...

【技术特征摘要】

1.一种数据存储方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述获取各业务主题对应的要素信息,包括:

3.根据权利要求1所述的方法,其特征在于,所述根据各所述目标系统包含的所述业务主题的要素信息和预设的标准系统识别策略,确定所述业务主题的标准系统,包括:

4.根据权利要求3所述的方法,其特征在于,所述根据每个所述目标系统与所述业务主题的匹配度、以及每个所述目标系统的可靠度,在各所述目标系统中,确定所述业务主题对应的标准系统,包括:

5.根据权利要求1所述的方法,其特征在于,所述标准转换关系包含要素转换关系和格式转换关系,所述确定各所述目标系统中除所述标准系统以...

【专利技术属性】
技术研发人员:许天娇王厚玉范铮陈学亮王毅赵振邦刘宇璐
申请(专利权)人:中国人寿保险股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1