基于大数据的数据处理方法、装置、设备及可读存储介质制造方法及图纸

本发明专利技术公开了一种基于大数据的数据处理方法、装置、设备及计算机可读存储介质，述基于大数据的数据处理方法包括：在检测到包含数据主体的明细主键组件被选择时，获取所述明细主键组件对应的明细主键物理表；获取选择的维度组件和指标组件，并获取所述维度组件对应的维度物理表，以及获取所述指标组件对应的指标物理表；将所述明细主键物理表与所述维度物理表进行左关联，以及将所述明细主键物理表与所述指标物理表进行左关联，生成明细数据；基于所述明细数据，生成数据宽表，以基于所述数据宽表进行数据处理。本发明专利技术提高了数据处理效率，并提高了数据处理的灵活性。

【技术实现步骤摘要】
基于大数据的数据处理方法、装置、设备及可读存储介质
本专利技术涉及金融科技(Fintech)
，尤其涉及一种基于大数据的数据处理方法、装置、设备及计算机可读存储介质。
技术介绍
随着金融科技及互联网技术的迅速发展，越来越多的技术(大数据、分布式、区块链Blockchain、人工智能等)应用在金融领域。目前，对业务数据进行处理的模型均为建立在数据结构稳定，以及维度和指标不易改变的场景下，例如Kimball(金博尔)维度模型、星型模型、雪花型模型等，这些模型通常采用维度表和事实表的方式对数据进行组织和管理，即一个事实对应一组维度表，以实现多维分析。然而，随着大数据技术的普及，数据呈现爆炸式的增长，在一些数据分析应用场景下，维度和指标的口径定义会不断发生变化，导致现有模型显露出一系列的缺陷。例如，为实现多维分析，需将多种维度和指标进行组合以生成宽表，然后从宽表中排除无效的维度和指标，以使基于有效的维度和指标进行数据分析等数据处理操作，这过程需要耗费大量的数据开发工作，导致对数据进行挖掘、沉淀、呈现等数据处理操作效率过低。综上所述，如何提高数据处理效率是目前亟需解决的问题。
技术实现思路
本专利技术的主要目的在于提供一种基于大数据的数据处理方法、装置、设备及计算机可读存储介质，旨在提高数据处理效率，并提高数据处理的灵活性。为实现上述目的，本专利技术提供一种基于大数据的数据处理方法，所述基于大数据的数据处理方法包括以下步骤：在检测到包含数据主体的明细主键组件被选择时，获取所述明细主键组件对应的明细主键物理表；获取选择的维度组件和指标组件，并获取所述维度组件对应的维度物理表，以及获取所述指标组件对应的指标物理表；将所述明细主键物理表与所述维度物理表进行左关联，以及将所述明细主键物理表与所述指标物理表进行左关联，生成明细数据；基于所述明细数据，生成数据宽表，以基于所述数据宽表进行数据处理。可选地，所述基于所述明细数据，生成数据宽表的步骤包括：将所述明细数据按照维度进行分组，得到分组数据；或，将所述明细数据按照指标进行分组，得到分组数据；将所述分组数据插入到宽表的物理表中，得到数据宽表。可选地，所述在检测到包含数据主体的明细主键组件被选择时，获取所述明细主键组件对应的明细主键物理表的步骤之后，还包括：将所述明细主键物理表的主键进行关联扩展，以使所述主键包含多个主键字段。可选地，所述在检测到包含数据主体的明细主键组件被选择时，获取所述明细主键组件对应的明细主键物理表的步骤之前，还包括：获取第一字段定义，其中，所述第一字段定义为基于构建明细主键组件的业务需求，提取对应的业务明细表的字段得到，所述第一字段定义包括主键字段、维度字段、指标字段和日期分区字段；基于所述第一字段定义，构建明细主键物理表；基于所述第一字段定义及所述明细主键物理表，构建明细主键组件，以供基于所述明细主键组件与其他组件进行组合生成数据宽表。可选地，所述基于所述第一字段定义，构建明细主键物理表的步骤之后，还包括：在初始化时，获取第一口径代码，其中，所述第一口径代码为基于构建明细主键组件的业务需求确定的代码；基于所述第一口径代码，生成所述明细主键物理表的数据；其中，所述基于所述第一字段定义及所述明细主键物理表，构建明细主键组件的步骤包括：基于所述第一字段定义、所述明细主键物理表及所述第一口径代码，构建明细主键组件。可选地，所述在检测到包含数据主体的明细主键组件被选择时，获取所述明细主键组件对应的明细主键物理表的步骤之前，还包括：获取第二字段定义，其中，所述第二字段定义为基于构建维度组件的业务需求确定得到，所述第二字段定义包括主键字段、维度字段和日期分区字段；基于所述第二字段定义，构建维度物理表；基于所述第二字段定义及所述维度物理表，构建维度组件，以供基于所述维度组件与其他组件进行组合生成数据宽表。可选地，所述基于所述第二字段定义，构建维度物理表的步骤之后，还包括：在初始化时，获取第二口径代码，其中，所述第二口径代码为基于构建维度组件的业务需求确定的代码；基于所述第二口径代码，生成所述维度物理表的数据；其中，所述基于所述第二字段定义及所述维度物理表，构建维度组件的步骤包括：基于所述第二字段定义、所述维度物理表及所述第二口径代码，构建维度组件。可选地，所述基于所述第二口径代码，生成所述维度物理表的数据的步骤之后，还包括：基于所述维度物理表的数据，统计所述维度物理表的枚举值总数和/或去重条数；和/或，基于所述维度物理表的数据，确定所述维度物理表的枚举值在预设时间段内的变化情况；基于所述枚举值总数和/或所述去重条数和/或所述变化情况，生成维度数据概览；其中，所述基于所述第二字段定义及所述维度物理表，构建维度组件的步骤包括：基于所述第二字段定义、所述维度物理表、所述第二口径代码及所述维度数据概览，构建维度组件。可选地，所述在检测到包含数据主体的明细主键组件被选择时，获取所述明细主键组件对应的明细主键物理表的步骤之前，还包括：获取第三字段定义，其中，所述第三字段定义为基于构建指标组件的业务需求确定得到，所述第三字段定义包括主键字段和指标字段；基于所述第三字段定义，构建指标物理表；基于所述第三字段定义及所述指标物理表，构建指标组件，以供基于所述指标组件与其他组件进行组合生成数据宽表。可选地，所述基于所述第三字段定义，构建指标物理表的步骤之后，还包括：在初始化时，获取第三口径代码，其中，所述第三口径代码为基于构建指标组件的业务需求确定的代码；基于所述第三口径代码，生成所述指标物理表的数据；其中，所述基于所述第三字段定义及所述指标物理表，构建指标组件的步骤包括：基于所述第三字段定义、所述指标物理表及所述第三口径代码，构建指标组件。可选地，所述基于所述第三口径代码，生成所述指标物理表的数据的步骤之后，还包括：将所述指标物理表的数据按照预设运算规则进行运算，得到运算值，其中，所述运算值包括最大值、最小值、平均值、中位数和众数中的至少一种；和/或，基于所述指标物理表的数据，确定所述指标物理表的指标数据分布情况；基于所述运算值和/或所述指标数据分布情况，生成指标数据概览；其中，所述基于所述第三字段定义及所述指标物理表，构建指标组件的步骤包括：基于所述第三字段定义、所述指标物理表、所述第三口径代码及所述指标数据概览，构建指标组件。可选地，所述将所述明细主键物理表与所述维度物理表进行左关联，以及将所述明细主键物理表与所述指标物理表进行左关联，生成明细数据的步骤之前，还包括：将所述维度物理表和所述指标物理表按照预设个数进行分组，得到物理表组；其中，所述将所述明细主键物理表与所述维度物理表进本文档来自技高网...

【技术保护点】
1.一种基于大数据的数据处理方法，其特征在于，所述基于大数据的数据处理方法包括以下步骤：/n在检测到包含数据主体的明细主键组件被选择时，获取所述明细主键组件对应的明细主键物理表；/n获取选择的维度组件和指标组件，并获取所述维度组件对应的维度物理表，以及获取所述指标组件对应的指标物理表；/n将所述明细主键物理表与所述维度物理表进行左关联，以及将所述明细主键物理表与所述指标物理表进行左关联，生成明细数据；/n基于所述明细数据，生成数据宽表，以基于所述数据宽表进行数据处理。/n

【技术特征摘要】
1.一种基于大数据的数据处理方法，其特征在于，所述基于大数据的数据处理方法包括以下步骤：
在检测到包含数据主体的明细主键组件被选择时，获取所述明细主键组件对应的明细主键物理表；
获取选择的维度组件和指标组件，并获取所述维度组件对应的维度物理表，以及获取所述指标组件对应的指标物理表；
将所述明细主键物理表与所述维度物理表进行左关联，以及将所述明细主键物理表与所述指标物理表进行左关联，生成明细数据；
基于所述明细数据，生成数据宽表，以基于所述数据宽表进行数据处理。


2.如权利要求1所述的基于大数据的数据处理方法，其特征在于，所述基于所述明细数据，生成数据宽表的步骤包括：
将所述明细数据按照维度进行分组，得到分组数据；或，
将所述明细数据按照指标进行分组，得到分组数据；
将所述分组数据插入到宽表的物理表中，得到数据宽表。


3.如权利要求1所述的基于大数据的数据处理方法，其特征在于，所述在检测到包含数据主体的明细主键组件被选择时，获取所述明细主键组件对应的明细主键物理表的步骤之后，还包括：
将所述明细主键物理表的主键进行关联扩展，以使所述主键包含多个主键字段。


4.如权利要求1所述的基于大数据的数据处理方法，其特征在于，所述在检测到包含数据主体的明细主键组件被选择时，获取所述明细主键组件对应的明细主键物理表的步骤之前，还包括：
获取第一字段定义，其中，所述第一字段定义为基于构建明细主键组件的业务需求，提取对应的业务明细表的字段得到，所述第一字段定义包括主键字段、维度字段、指标字段和日期分区字段；
基于所述第一字段定义，构建明细主键物理表；
基于所述第一字段定义及所述明细主键物理表，构建明细主键组件，以供基于所述明细主键组件与其他组件进行组合生成数据宽表。


5.如权利要求4所述的基于大数据的数据处理方法，其特征在于，所述基于所述第一字段定义，构建明细主键物理表的步骤之后，还包括：
在初始化时，获取第一口径代码，其中，所述第一口径代码为基于构建明细主键组件的业务需求确定的代码；
基于所述第一口径代码，生成所述明细主键物理表的数据；
其中，所述基于所述第一字段定义及所述明细主键物理表，构建明细主键组件的步骤包括：
基于所述第一字段定义、所述明细主键物理表及所述第一口径代码，构建明细主键组件。


6.如权利要求1所述的基于大数据的数据处理方法，其特征在于，所述在检测到包含数据主体的明细主键组件被选择时，获取所述明细主键组件对应的明细主键物理表的步骤之前，还包括：
获取第二字段定义，其中，所述第二字段定义为基于构建维度组件的业务需求确定得到，所述第二字段定义包括主键字段、维度字段和日期分区字段；
基于所述第二字段定义，构建维度物理表；
基于所述第二字段定义及所述维度物理表，构建维度组件，以供基于所述维度组件与其他组件进行组合生成数据宽表。


7.如权利要求6所述的基于大数据的数据处理方法，其特征在于，所述基于所述第二字段定义，构建维度物理表的步骤之后，还包括：
在初始化时，获取第二口径代码，其中，所述第二口径代码为基于构建维度组件的业务需求确定的代码；
基于所述第二口径代码，生成所述维度物理表的数据；
其中，所述基于所述第二字段定义及所述维度物理表，构建维度组件的步骤包括：
基于所述第二字段定义、所述维度物理表及所述第二口径代码，构建维度组件。


8.如权利要求7所述的基于大数据的数据处理方法，其特征在于，所述基于所述第二口径代码，生成所述维度物理表的数据的步骤之后，还包括：
基于所述维度物理表的数据，统计所述维度物理表的枚举值总数和/或去重条数；和/或，
基于所述维度物理表的数据，确定所述维度物理表的枚举值在预设时间段内的变化情况；
基于所述枚举值总数和/或所述去重条数和/或所述变化情况，生成维度数据概览；
其中，所述基于所述第二字段定义及所述维度物理表，构建维度组件的步骤包括：
基于所述第二字段定义、所述维度物理表、所述第二口径代码及所述维度数据概览，构建维度组件。


9.如权利要求1所述的基于大数据的数据处理方法，其特征在于，所述在检测到包含数据主体的...

【专利技术属性】
技术研发人员：周中和，陈婷，吴三平，王宗泽，
申请(专利权)人：深圳前海微众银行股份有限公司，
类型：发明
国别省市：广东;44