基于大数据宽表的指标自动定义方法、系统及存储介质技术方案

本发明专利技术公开了基于大数据宽表的指标自动定义方法、系统及存储介质，所述方法包括：接收录入的基础数据集，所述基础数据集包括基础指标和所述基础指标对应的相关因素，所述基础指标包括发送量、周转量和收入，所述相关因素包括数据类型、数据名称、数据源、数据维度、数据口径、数据版本和数据值；识别录入的基础数据集中的基础指标及其所对应的相关因素；根据各基础指标和各相关因素得到自定义衍生指标。本发明专利技术旨在简化指标定义，满足用户的灵活使用，为后续的灵活分析奠定基础。为后续的灵活分析奠定基础。为后续的灵活分析奠定基础。

【技术实现步骤摘要】
基于大数据宽表的指标自动定义方法、系统及存储介质


[0001]本专利技术涉及大数据处理领域，尤其涉及基于大数据宽表的指标自动定义方法、系统及存储介质。

技术介绍

[0002]现有商业智能(Business Intelligence，简称
‑
BI)，又称商业智慧或商务智能，指用现代数据仓库技术、线上分析处理技术、数据挖掘和数据展现技术进行数据分析以实现商业价值。目前传统的BI技术主要面向基础指标进行抽取、转换和装载，而面向指标的定义、计算和存储才能对业务起到分析作用，但指标的定义对计算机大数据专业知识要求高，不容易被企业管理人员所接受，进而急需提出一种适用于普通大众均可使用的数据分析处理方式。
[0003]现有公开号为CN112633761A的专利技术提出了指标数据的查询方法、装置、设备及存储介质，通过引入了实时分析数据库和缓存数据库，并调用指标计算引擎根据指标查询请求在实时分析数据库和缓存数据库中查询指标数据，并对指标数据进行标准化处理，生成目标聚合指标数据，解决了无法查询实时指标数据的问题，且无需第三方提供计算好的指标数据，提高了查询指标数据的效率，其中整个定义指标的过程以结果为导向，需要对指标进行分析，逆向推导出需要创建的指标，并且需要专人进行指标的定义和维护，进而无法实现分析数据的灵活分析。

技术实现思路

[0004]本专利技术的主要目的在于提供基于大数据宽表的指标自动定义方法、系统及存储介质，旨在解决现有的指标定义专业性较强的技术问题。
[0005]为实现上述目的，本专利技术提供一种基于大数据宽表的指标自动定义方法，所述方法包括以下步骤：
[0006]接收录入的基础数据集，所述基础数据集包括基础指标和所述基础指标对应的相关因素，所述基础指标包括发送量、周转量和收入，所述相关因素包括数据类型、数据名称、数据源、数据维度、数据口径、数据版本和数据值；
[0007]识别录入的基础数据集中的基础指标及其所对应的相关因素；
[0008]根据各基础指标和各相关因素得到自定义衍生指标。
[0009]可选地，所述根据各基础指标和各相关因素得到的自定义衍生指标的步骤，包括：
[0010]根据各相关因素的顺向扩展，自动定义得到多个衍生指标，所述顺向扩展包括数据维度的扩展、数据源的扩展、指标编码的扩展。
[0011]可选地，所述根据各相关因素的顺向扩展，自动定义得到多个衍生指标的步骤，包括：
[0012]根据相关因素中的数据维度自由组合成各种维度组合，得到各种维度组合的衍生指标。
[0013]可选地，所述根据相关因素中的数据维度自由组合成各种维度组合，得到各种维度组合的衍生指标的步骤，包括：
[0014]识别各基础指标所对应的数据源；
[0015]根据各数据源与数据维度自由组合得到初始衍生指标；
[0016]判断初始衍生指标中的目标对象的在各维度组合中是否重复；
[0017]若是，则确定目标对象的维度优先级；
[0018]若否，则直接生成目标对象的衍生指标。
[0019]可选地，所述确定目标对象的维度优先级的步骤，包括：
[0020]确定含有目标对象的各初始衍生指标中的最细粒度，并保留最细粒度最小的维度组合为目标对象的衍生指标。
[0021]可选地，所述根据所述基础指标和各相关因素得到的自定义衍生指标的步骤，包括：
[0022]根据各自定义衍生指标所包括的基础指标、相关因素进行指标计算得到对应的自定义衍生指标的指标值。
[0023]可选地，所述根据所述基础指标和各相关因素得到的自定义衍生指标的步骤之后，包括：
[0024]根据自定义衍生指标中的基础指标自动分配对应的时间戳；
[0025]根据各时间戳以列式存储方式保存对应的自定义衍生指标。
[0026]此外，为实现上述目的，本专利技术还提供一种基于大数据宽表的指标自动定义方法系统，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于大数据宽表的指标自动定义程序，所述基于大数据宽表的指标自动定义程序被所述处理器执行时实现如权利要求上述任一项所述的基于大数据宽表的指标自动定义方法的步骤。
[0027]此外，为实现上述目的，本专利技术还提供一种存储介质，所述存储介质上存储有基于大数据宽表的指标自动定义程序，所述基于大数据宽表的指标自动定义程序被处理器执行时实现如上述任一项所述的基于大数据宽表的指标自动定义方法的步骤。
[0028]本专利技术提供一种基于大数据宽表的指标自动定义方法，通过接收录入的基础数据集，所述基础数据集包括基础指标和所述基础指标对应的相关因素，所述基础指标包括发送量、周转量和收入，所述相关因素包括数据类型、数据名称、数据源、数据维度、数据口径、数据版本和数据值；识别录入的基础数据集中的基础指标及其所对应的相关因素；根据各基础指标和各相关因素得到自定义衍生指标。进而实现了不需要人为的定义指标，在记录基础指标时，通过基础指标中的维度，让系统自动生成各种维度组合的指标，进而免除繁琐的人工操作，也避免人工定义过程的存在遗漏的风险，同时，提前将会把单维度的指标和多维度组合的最小粒度指标都自动定义且计算出来，满足用户的灵活使用，为后续的灵活分析奠定基础。
附图说明
[0029]图1是本专利技术实施例方案涉及的基于大数据宽表的指标自动定义系统的结构示意图；
[0030]图2为本专利技术基于大数据宽表的指标自动定义方法一实施例的流程示意图。
[0031]本专利技术目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
[0032]应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。
[0033]如图1所示，图1是本专利技术实施例方案涉及的基于大数据宽表的指标自动定义系统的结构示意图。
[0034]如图1所示，该系统可以包括：处理器1001，例如CPU，通信总线1002，用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以红外接收模块，用于接收用户通过遥控器触发的控制指令，可选的用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI
‑
FI接口)。存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non
‑
volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
[0035]本领域技术人员可以理解，图1中示出的基于大数据宽表的指标自动定义系统的结构并不构成对基于大数据宽表的指标自动定义系统的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
[0036]本专利技术基于大数据宽表的指标自动定义系统的具体实施例与下述基于大数据宽表的指标自动定义基于本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于大数据宽表的指标自动定义方法，其特征在于，所述方法包括以下步骤：接收录入的基础数据集，所述基础数据集包括基础指标和所述基础指标对应的相关因素，所述基础指标包括发送量、周转量和收入，所述相关因素包括数据类型、数据名称、数据源、数据维度、数据口径、数据版本和数据值；识别录入的基础数据集中的基础指标及其所对应的相关因素；根据各基础指标和各相关因素得到自定义衍生指标。2.根据权利要求1所述的一种基于大数据宽表的指标自动定义方法，其特征在于，所述根据各基础指标和各相关因素得到的自定义衍生指标的步骤，包括：根据各相关因素的顺向扩展，自动定义得到多个衍生指标，所述顺向扩展包括数据维度的扩展、数据源的扩展、指标编码的扩展。3.根据权利要求2所述的一种基于大数据宽表的指标自动定义方法，其特征在于，所述根据各相关因素的顺向扩展，自动定义得到多个衍生指标的步骤，包括：根据相关因素中的数据维度自由组合成各种维度组合，得到各种维度组合的衍生指标。4.根据权利要求3所述的一种基于大数据宽表的指标自动定义方法，其特征在于，所述根据相关因素中的数据维度自由组合成各种维度组合，得到各种维度组合的衍生指标的步骤，包括：识别各基础指标所对应的数据源；根据各数据源与数据维度自由组合得到初始衍生指标；判断初始衍生指标中的目标对象在各维度组合中是否重复；若是，则确定目标对象的维度优先级；若否，则直接生成目标对象的衍生指标。5.根...

【专利技术属性】
技术研发人员：龚连平，
申请(专利权)人：湖南铁路联创技术发展有限公司，
类型：发明
国别省市：