【技术实现步骤摘要】
【】本申请涉及数据处理，尤其涉及一种事实表降维处理方法、装置、设备及介质。
技术介绍
0、
技术介绍
1、在数据集市建设中，需要通过业务部门的分析场景，创建各种分析报表、各种展示图形，通过报表和图形的展示直观的体现出业务部门的经营数据、考核数据、分析数据等。在现有的数据集市搭建与数据展示中，传统使用事实表来加工好应用数据，不同的报表和图形通过该事实表数据进行sql语句编写出需要的结果数据。事实表当前经常处于分户账颗粒度，这样的设计思路虽然可以满足各种场景的报表查询，但是存在一个很大的弊端，每张报表与图形都需要在数据处理过程中从很大的事实表抽取数据，这样消耗硬件资源加大，无论是内存使用还是cpu的使用都处于高位的情况。
2、如图1所示，相关技术方案中，展示层的数据直接来源于大宽表，虽然实现了数据来源没问题，但是效率和数据量都存在弊端。
3、也就是说，目前业务部门需要通过报表和驾驶舱形式获得经营数据、考核数据、分析数据等，该部分数据是直接通过分户账颗粒度的事实表sql查询获取，这样就使得分户账颗粒度的事实表多次查询遍历，使得硬件资源无法及时释放，影响了系统的高效性；通过事实表的每日数据的存储，使得磁盘空间压力很大。
技术实现思路
0、
技术实现思路
1、本申请实施例提供了一种事实表降维处理方法、装置、设备及介质，旨在解决相关技术中事实表占用较大磁盘空间，使得硬件资源无法及时释放等技术问题。
2、第一方面，本申请实施例提供了
3、获取原始事实表数据；
4、根据预设维度模型，对所述原始事实表数据进行降维处理，得到对应的多个维度的目标事实表数据；
5、按照维度分类，存储并展示所述目标事实表数据。
6、在一个实施例中，可选的，所述方法还包括：
7、获取历史事实表数据以及所述历史事实表数据对应的历史查询记录；
8、根据查询维度不同，对所述历史查询记录进行分类，得到分类结果；
9、统计每类查询维度对应的历史查询记录数量，并根据所述历史查询记录数量确定该类查询维度对应的权重值；
10、将每类查询维度对应的权重值与预设阈值进行比较，将权重值大于预设阈值的查询维度确定为目标查询维度；
11、根据所述目标查询维度，生成对应的预设维度模型。
12、在一个实施例中，可选的，所述根据所述目标查询维度，生成对应的预设维度模型，包括：
13、根据所述目标查询维度的历史查询记录和对应的查询数据，确定维度分类和维度查询指标；
14、根据所述维度分类和维度查询指标生成对应的预设维度模型。
15、在一个实施例中，可选的，所述根据所述历史查询记录数量确定该类查询维度对应的权重值，包括：
16、根据每类查询维度的历史查询记录数量，按照预设置信度计算公式计算该类查询维度在所有历史查询记录中对应的置信度值；
17、将所述置信度值确定为该类查询维度对应的权重值。
18、在一个实施例中，可选的，所述预设维度模型包括以下至少一项：客户维度模型、渠道维度模型、机构维度模型、产品维度模型和机构产品维度模型。
19、在一个实施例中，可选的，根据预设维度模型，对所述原始事实表数据进行降维处理，得到对应的多个维度的目标事实表数据，包括：
20、确定所述预设维度模型对应的目标维度分类和目标维度查询指标；
21、对所述原始事实表数据进行表结构和数据结构分析，得到分析结果；
22、根据所述分析结果，按照所述目标维度分类和目标维度查询指标从所述原始事实表数据中提取目标维度数据；
23、对所述目标维度数据进行聚合处理，以得到对应的目标事实表数据。
24、在一个实施例中，可选的，所述方法还包括：
25、接收输入的数据查询指令；
26、确定所述数据查询指令对应的目标维度分类；
27、根据所述目标维度分类查询并提取对应的事实表数据。
28、第二方面，本申请实施例提供了一种事实表降维处理装置，包括：
29、获取模块，用于获取原始事实表数据；
30、处理模块，用于根据预设维度模型，对所述原始事实表数据进行降维处理，得到对应的多个维度的目标事实表数据；
31、展示模块，用于按照维度分类，存储并展示所述目标事实表数据。
32、第三方面，提供了一种计算机设备，包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述事实表降维处理方法的步骤。
33、第四方面，提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时实现上述事实表降维处理方法的步骤。
34、以上事实表降维处理方法、装置、系统、设备及存储介质所实现的方案中，获取原始事实表数据；根据预设维度模型，对所述原始事实表数据进行降维处理，得到对应的多个维度的目标事实表数据；按照维度分类，存储并展示所述目标事实表数据。在本专利技术中，对事实表数据进行降维处理，这样，后续在进行数据查询等操作时，可以直接查询降维后的目标事实表数据，从而减小磁盘存储压力，提升数据处理效率，避免回跑逻辑占用大部分资源，同时避免在业务部门变更分析表样时不能及时响应出准确数据，解决了业务数据的及时性。
本文档来自技高网...【技术保护点】
1.一种事实表降维处理方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
3.根据权利要求2所述的方法，其特征在于，所述根据所述目标查询维度，生成对应的预设维度模型，包括：
4.根据权利要求2所述的方法，其特征在于，所述根据所述历史查询记录数量确定该类查询维度对应的权重值，包括：
5.根据权利要求1所述的方法，其特征在于，所述预设维度模型包括以下至少一项：客户维度模型、渠道维度模型、机构维度模型、产品维度模型和机构产品维度模型。
6.根据权利要求1所述的方法，其特征在于，根据预设维度模型，对所述原始事实表数据进行降维处理，得到对应的多个维度的目标事实表数据，包括：
7.根据权利要求1至6中任一项所述的方法，其特征在于，所述方法还包括：
8.一种事实表降维处理装置，其特征在于，所述装置包括：
9.一种计算机设备，其特征在于，包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；
10.一种计算机可读存储介质，其特征在于，存储有计算
...【技术特征摘要】
1.一种事实表降维处理方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
3.根据权利要求2所述的方法，其特征在于，所述根据所述目标查询维度，生成对应的预设维度模型，包括：
4.根据权利要求2所述的方法，其特征在于，所述根据所述历史查询记录数量确定该类查询维度对应的权重值，包括：
5.根据权利要求1所述的方法，其特征在于，所述预设维度模型包括以下至少一项：客户维度模型、渠道维度模型、机构维度模型、产品维度模型和机构产品维度模型。
6.根据...
【专利技术属性】
技术研发人员：王福亮，
申请(专利权)人：北银金融科技有限责任公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。