一种数据仓库源表变更方法、系统、设备和存储介质技术方案

本申请公开了一种数据仓库源表变更方法、系统、设备和存储介质。可应用于大数据技术领域或金融领域。该方法包括：根据各技术缓冲层表的优先级确定对应的比对调度策略；所述比对调度策略包括比对频率和比对内容；按照各技术缓冲层表的比对频率，获取对应时间节点的源数据下发平台的表结构信息；将各技术缓冲层表结构信息中的比对内容与所述源数据下发平台的表结构信息中的对应内容做比对，得到比对结果；根据所述比对结果，生成对应的执行脚本；执行所述执行脚本，以完成数据仓库源表变更。该方法根据不同优先级按对应的比对调度策略，定时获取源数据下发平台的表结构信息，并将其与技术缓冲层的源表的自动比对，及时更新源表。及时更新源表。及时更新源表。

【技术实现步骤摘要】
一种数据仓库源表变更方法、系统、设备和存储介质


[0001]本申请涉及大数据
，特别是涉及一种数据仓库源表变更方法、系统、设备和存储介质。

技术介绍

[0002]随着科学技术的发展，数据湖作为一种用于存储和管理大规模数据的数据存储库，在各企业的生产任务中的应用越来越广泛。
[0003]在数据湖进行大量的生产任务实施时，源数据下发平台(Data Center Data Source，DCDS)会下发源表至数据仓库，数据仓库建模层级划分为技术缓冲层，整合模型层，结果层(包括共性加工层、应用计算层和应用接口层)，技术缓冲层表即为数据仓库接入的源表。
[0004]然而，源数据下发平台频繁出现表结构变更的情况，由于表结构变更同步为人工处理，效率低下，致使源数据下发平台出现表结构变更时，数据仓库的技术缓冲层接入的源表结构经常不能及时同步变更，使得后续数据加工出错，且耗费大量人力和时间，数据湖生产效率低下。

技术实现思路

[0005]基于上述问题，本申请提供了一种数据仓库源表变更方法、系统、设备和存储介质，以实现数据仓库源表及时同步源数据下发平台的表结构变更，提升数据湖任务生产效率。
[0006]本申请公开了如下技术方案：
[0007]本申请第一方面提供一种数据仓库源表变更方法，包括：
[0008]根据各技术缓冲层表的优先级确定对应的比对调度策略；所述比对调度策略包括比对频率和比对内容；
[0009]按照各所述技术缓冲层表的比对频率，获取对应时间节点的源数据下发平台的表结构信息；
[0010]将各技术缓冲层表结构信息中的比对内容与所述源数据下发平台的表结构信息中的对应内容做比对，得到比对结果；
[0011]根据所述比对结果，生成对应的执行脚本；
[0012]执行所述执行脚本，以完成数据仓库源表变更。
[0013]在一个可能的实现方式中，所述根据各技术缓冲层表的优先级确定对应的比对调度策略，包括：
[0014]根据所述技术缓冲层表的优先级为高优先级，确定比对调度策略为每个小周期内任意两个预设时间节点进行内容第一粒度比对，每个单位时间内进行第二粒度比对；
[0015]根据所述技术缓冲层表的优先级为中优先级，确定比对调度策略为每个小周期内任意一个预设时间节点进行内容第一粒度比对，每个单位时间内进行第二粒度比对；
[0016]根据所述技术缓冲层表的优先级为低优先级，确定比对调度策略为每个大周期内任意一个预设时间节点进行内容第一粒度比对，每个单位时间内进行第二粒度比对；所述内容第一粒度比对的比对内容多余所述内容第二颗粒度比对的内容；
[0017]所述小周期包含多个单位时间，所述每个大周期包括多个小周期。
[0018]在一个可能的实现方式中，所述内容第一粒度比对，包括：
[0019]字段名比对和字段类型比对；
[0020]所述内容第二粒度比对，包括：字段个数比对。
[0021]在一个可能的实现方式中，所述方法还包括：根据各结果层表的应用类型和表的层间关系，确定各所述技术缓冲层表的优先级；所述表的层间关系为不同层的表间的数据关联关系。
[0022]在一个可能的实现方式中，所述根据各结果层表的应用类型和表的层间关系，确定各技术缓冲层表的优先级，包括：
[0023]根据各结果层表的应用类型和表的层间关系，确定各整合模型层表的应用类型；所述整合模型层为所述结果层的前置层；所述技术缓冲层为所述整合模型层的前置层；
[0024]根据各所述整合模型层表的应用类型和表的层间关系，确定各所述技术缓冲层表的使用频率；
[0025]根据各所述技术缓冲层表的使用频率确定对应的优先级。
[0026]在一个可能的实现方式中，所述根据所述比对结果，生成对应的执行脚本，包括：
[0027]根据表结构修改的比对结果，生成修改表结构的执行脚本；
[0028]根据新增表结构的比对结果，生成新建表结构的执行脚本。
[0029]在一个可能的实现方式中，所述方法还包括：将所述比对结果通过邮件发送给用户。
[0030]本申请第二方面提供一种数据仓库源表变更系统，包括：
[0031]比对调度策略确定模块，用于根据各技术缓冲层表的优先级确定对应的比对调度策略；所述比对调度策略包括比对频率和比对内容；
[0032]获取模块，用于按照各所述技术缓冲层表的比对频率，获取对应时间节点的源数据下发平台的表结构信息；
[0033]比对模块，用于将各技术缓冲层表结构信息中的比对内容与所述源数据下发平台的表结构信息中的对应内容做比对，得到比对结果；
[0034]脚本生成模块，用于根据所述比对结果，生成对应的执行脚本；
[0035]变更模块，用于执行所述执行脚本，以完成数据仓库源表变更。
[0036]本申请第三方面提供一种数据仓库源表变更设备，包括：存储器，处理器，及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现如本申请第一方面所述的数据仓库源表变更方法。
[0037]本申请第四方面提供一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述指令在终端设备上运行时，使得所述终端设备执行如本申请第一方面所述的数据仓库源表变更方法。
[0038]相较于现有技术，本申请具有以下有益效果：
[0039]本申请提供的一种数据仓库源表变更方法，该方法根据不同优先级按对应的比对
调度策略，依据调度策略定时获取源数据下发平台的表结构信息，并将其与技术缓冲层的源表的自动比对，根据比对结果，生成并执行对应的执行脚本，自动完成数据仓库源表变更，使数据仓库接入的源表及时与源数据下发平台的表结构变更及时同步，提高数据湖生产效率。
附图说明
[0040]为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0041]图1为本申请实施例提的数据加工链路图；
[0042]图2为本申请实施例提供的一种数据仓库源表变更方法流程图；
[0043]图3为本申请实施例提的数据仓库内部数据加工链路图；
[0044]图4为本申请实施例提的比对调度策略示意图；
[0045]图5为本申请实施例提供的一种数据仓库源表变更系统结构图；
[0046]图6为本申请实施例提供的另一种数据仓库源表变更系统结构图；
[0047]图7为本申请实施例提供的一种计算机设备结构图。
具体实施方式
[0048]正如前文所述，随着科学技术的发展，数据湖作为一种用于存储和管理大规模数据的数据存储库，在各企业的生产任务中的应用越来越广泛。
[0049]在数本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据仓库源表变更方法，其特征在于，包括：根据各技术缓冲层表的优先级确定对应的比对调度策略；所述比对调度策略包括比对频率和比对内容；按照各所述技术缓冲层表的比对频率，获取对应时间节点的源数据下发平台的表结构信息；将各技术缓冲层表结构信息中的比对内容与所述源数据下发平台的表结构信息中的对应内容做比对，得到比对结果；根据所述比对结果，生成对应的执行脚本；执行所述执行脚本，以完成数据仓库源表变更。2.根据权利要求1所述的方法，其特征在于，所述根据各技术缓冲层表的优先级确定对应的比对调度策略，包括：根据所述技术缓冲层表的优先级为高优先级，确定比对调度策略为每个小周期内任意两个预设时间节点进行内容第一粒度比对，每个单位时间内进行第二粒度比对；根据所述技术缓冲层表的优先级为中优先级，确定比对调度策略为每个小周期内任意一个预设时间节点进行内容第一粒度比对，每个单位时间内进行第二粒度比对；根据所述技术缓冲层表的优先级为低优先级，确定比对调度策略为每个大周期内任意一个预设时间节点进行内容第一粒度比对，每个单位时间内进行第二粒度比对；所述内容第一粒度比对的比对内容多余所述内容第二颗粒度比对的内容；所述小周期包含多个单位时间，所述每个大周期包括多个小周期。3.根据权利要求2所述的方法，其特征在于，所述内容第一粒度比对，包括：字段名比对和字段类型比对；所述内容第二粒度比对，包括：字段个数比对。4.根据权利要求1所述的方法，其特征在于，所述方法还包括：根据各结果层表的应用类型和表的层间关系，确定各所述技术缓冲层表的优先级；所述表的层间关系为不同层的表间的数据关联关系。5.根据权利要求4所述的方法，其特征在于，所述根据各结果层表的应用类型和表的层间关系，确定各所述技术缓冲层表的优先级，包括：根据各结果层表的应用类型和表的层间关系，确定各整合模型层表的应用类型...

【专利技术属性】
技术研发人员：谢冬玲，
申请(专利权)人：中国银行股份有限公司，
类型：发明
国别省市：