一种基于数据中台的数据指标建设系统与方法技术方案

本发明专利技术的一个技术方案是提供了一种基于数据中台的数据指标建设系统，在数据中台的数据集成功能板块按照数据仓库分层规则接入各业务系统数据并分层存储，其特征在于，所述数据指标建设系统包括主题域模块；指标建设模块，进一步包括业务场景单元、业务指标单元以及技术指标单元。本发明专利技术的另一个技术方案是提供了一种前述的数据指标建设系统的部署应用方法。根据本发明专利技术提供的技术方案，为企业不精通SQL代码的业务人员提供一种便捷开发，部署应用的基于数据中台的数据指标建设系统与方法。本发明专利技术的数据指标建设基于数据中台体系搭建，可实现各业务系统数据无缝衔接、跨系统、跨业务数据集成，搭建数据指标，打通业务数据连通性。通性。通性。

【技术实现步骤摘要】
一种基于数据中台的数据指标建设系统与方法


[0001]本专利技术涉及数据指标建设领域，尤其涉及一种基于数据中台的数据指标建设系统与方法，旨在将数据中台大数据仓库与数据指标建设过程打通，通过建立主题域、主题、业务场景对指标进行归类管理，通过指标建设对数据指标进行批量建设、管理，降低开发门槛，开发工作量。

技术介绍

[0002]随着工业互联网的快速发展，数据指标的体量越来越大，而数据中台是一套可持续“让企业的数据用起来”的机制，是依据企业的行业特性及特有的业务模式，通过一整套数据指标建设及管理体系把数据变成可持续服务于业务的资产。
[0003]公开号为CN112085366A的专利技术专利申请《一种对企业组织指标数据进行中台化处理的装置及方法》，提供一种对企业组织指标数据进行中台化处理的装置及方法，包括指标模型建立模块，指标定义模块，指标服务接口，指标数据获取模块。通过该专利技术，用户可以实现指标的统一管理，规范指标定义口径，快速对接前后台系统获取指标数据，但是该工具不具备批量定义指标的能力，当指标数量庞大的时候，手工逐一建立指标，比较繁琐，且重复性工作量大。
[0004]公开号为CN114564191A的专利技术专利申请《基于模板的智能电站数据中台指标创建方法及系统》，提供的基于模板的智能电站数据中台指标创建方法及系统，在数据统计分析时，根据模板的特征快速展现并横向对比指标数据，提供了不同维度的属性、脚本等数据分析功能。但是该专利技术中虽然提供了一种基于模板的方式进行批量创建数据指标，但是该方法需要提前定义通用模板和分析脚本，而分析脚本的创建，一般需要有一定编程基础的专业人士才能完成，不适合业务人员使用。
[0005]公开号为CN114519067A的专利技术专利申请《一种基于自动化SQL编写的数据指标查询模型》，提供一种基于自动化SQL编写的数据指标查询模型，通过数据指标配置和查询模型算法，实现由机器代替人工的方式，自动批量生成符合业务需求的查询结果。但是该专利技术需要开发人员提前在数据仓库中通过代码按照不同主题建设多种主题并配置唯一标识，而一般开发人员对业务主题的理解划分是非常有局限性的，容易产生定义偏差，导致指标管理混乱。

技术实现思路

[0006]本专利技术的目的是：为了提高数据指标建设效率，将数据中台应用到数据指标建设中，为数据指标建设提供了一种新的技术方案。
[0007]为了达到上述目的，本专利技术的一个技术方案是提供了一种基于数据中台的数据指标建设系统，在数据中台的数据集成功能板块按照数据仓库分层规则接入各业务系统数据并分层存储，其特征在于，所述数据指标建设系统包括：
[0008]主题域模块，用于按业务将分层存储的各业务系统数据划分为不同主题域以及主
题，分别为不同的主题域以及主题赋予唯一的主题域标识以及主题标识；
[0009]指标建设模块，进一步包括业务场景单元、业务指标单元以及技术指标单元，其中：业务场景单元用于建立业务场景，并为每个业务场景赋予唯一的业务场景标识；业务指标单元用于定义指标名称、指标计算口径、指标计算公式、统计周期、指标管理部门，指定业务场景，并赋予唯一指标标识；技术指标单元用于根据业务指标单元定义的指标计算口径创建原子指标以及衍生指标，并为原子指标以及衍生指标赋予唯一标识，衍生指标是由原子指标、时间周期、业务修饰词构成，其中：引用数据中台中封装的时间维度参数做为时间周期，若数据中台中无合适的时间周期参数可用，则自定义创建时间周期；业务修饰词是基于创建原子指标时选择的数据仓库中取数表中维度字段来创建，用来框定原子指标业务维度；一个原子指标，指定一个时间周期，并搭配多个维度业务修饰词，能够批量生成多个衍生指标。
[0010]优选地，创建原子指标时，原子指标的配置项包括：
[0011]配置指标名称，数据指标的定义说明，与业务指标名称对应，并自动生成指标编码；
[0012]选择所属主题域、主题、业务场景；
[0013]选择指标来源；
[0014]选择度量字段名称；
[0015]选择计算函数，用于自动化生成原子指标计算逻辑；
[0016]选择原子指标在数据仓库中存储库。
[0017]优选地，通过文件导入的方式实现批量原子指标创建。
[0018]优选地，创建衍生指标时，衍生指标的配置项包括：
[0019]配置指标名称，数据指标的定义说明，与业务指标名称对应，并自动生成指标编码；
[0020]选择所属主题域、主题；
[0021]配置原子指标、时间周期、多个维度业务修饰词；
[0022]选择衍生指标在数据仓库中存储库。
[0023]优选地，在所述数据仓库中建立数据原始层、数据明细层以及数据应用层，其中：数据原始层用于存储各业务系统原始数据；数据明细层用于存储经过数据处理、清洗、转换之后的明细数据；数据应用层用于存储指标加工落盘数据
[0024]本专利技术的另一个技术方案是提供了一种前述的数据指标建设系统的部署应用方法，其特征在于，包括以下步骤：
[0025]步骤S1、用户进入数据中台，点击数据开发板块，进入数据集成模块；
[0026]步骤S2、在数据集成模块，选择对应的数据源端数据库表以及目标端数据库表，配置数据采集规则，执行采集调度；
[0027]步骤S3、点击数据指标的主题域模块，新建主题域、主题，新建主题时需选择已有的主题域类型，并赋予主题唯一编码；
[0028]进入数据指标的指标建设模块，进入二级列表业务场景单元，新建业务场景；
[0029]步骤S4、点击数据指标的指标建设模块，进入二级列表业务指标单元，根据配置项定义业务指标，并指定所属业务场景；
[0030]步骤S5、通过步骤S4定义的指标计算口径，新建原子指标，新建原子指标可通过页面单一原子指标配置新建，或者通过线下excel配置好之后一键导入批量新建，完成原子指标配置；
[0031]步骤S6、提交步骤S5的原子指标配置，生成原子指标；
[0032]步骤S7、基于步骤S6已生成的原子指标，选择数据中台已有的时间周期参数进行配置，如没有合适的时间周期参数，先基于业务要求创建时间周期参数再进行配置；
[0033]步骤S8、基于步骤S7，在已配置好时间周期参数的基础上，进一步配置多个业务修饰词，一个原子指标配置一个时间周期参数、配置多个业务修饰词；
[0034]步骤S9、基于步骤S8的配置项，执行生成操作，生成多个衍生指标；
[0035]步骤S10、对已生成的多个衍生指标提交测试，测试通过，传递执行步骤S11，测试不通过，则重新检查配置后，返回步骤S7；
[0036]步骤S11、测试通过的衍生指标，执行发布上线，完成批量衍生指标建设。
[0037]本专利技术提供了一种基于数据中台的数据指标建设方案，对数据指标批量建设、管理，提高数据指标应用效率。与现有技术相比，本专利技术具有如下有益效果：
[0038]1)根据本专利技术提供的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于数据中台的数据指标建设系统，在数据中台的数据集成功能板块按照数据仓库分层规则接入各业务系统数据并分层存储，其特征在于，所述数据指标建设系统包括：主题域模块，用于按业务将分层存储的各业务系统数据划分为不同主题域以及主题，分别为不同的主题域以及主题赋予唯一的主题域标识以及主题标识；指标建设模块，进一步包括业务场景单元、业务指标单元以及技术指标单元，其中：业务场景单元用于建立业务场景，并为每个业务场景赋予唯一的业务场景标识；业务指标单元用于定义指标名称、指标计算口径、指标计算公式、统计周期、指标管理部门，指定业务场景，并赋予唯一指标标识；技术指标单元用于根据业务指标单元定义的指标计算口径创建原子指标以及衍生指标，并为原子指标以及衍生指标赋予唯一标识，衍生指标是由原子指标、时间周期、业务修饰词构成，其中：引用数据中台中封装的时间维度参数做为时间周期，若数据中台中无合适的时间周期参数可用，则自定义创建时间周期；业务修饰词是基于创建原子指标时选择的数据仓库中取数表中维度字段来创建，用来框定原子指标业务维度；一个原子指标，指定一个时间周期，并搭配多个维度业务修饰词，能够批量生成多个衍生指标。2.如权利要求1所述的一种基于数据中台的数据指标建设系统，其特征在于，创建原子指标时，原子指标的配置项包括：配置指标名称，数据指标的定义说明，与业务指标名称对应，并自动生成指标编码；选择所属主题域、主题、业务场景；选择指标来源；选择度量字段名称；选择计算函数，用于自动化生成原子指标计算逻辑；选择原子指标在数据仓库中存储库。3.如权利要求2所述的一种基于数据中台的数据指标建设系统，其特征在于，通过文件导入的方式实现批量原子指标创建。4.如权利要求1所述的一种基于数据中台的数据指标建设系统，其特征在于，创建衍生指标时，衍生指标的配置项包括：配置指标名称，数据指标的定义说明，与业务指标名称对应，并自动生成指标编码；选择所属主题域、主题；配置原子...

【专利技术属性】
技术研发人员：卢倩兮，邢晨，方文，喻英武，盛旭东，潘燕，
申请(专利权)人：上海电器科学研究院，
类型：发明
国别省市：