System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind()
【技术实现步骤摘要】
本专利技术实施例涉及计算机,特别涉及一种弱中心化的数据集成方法、装置、设备及存储介质。
技术介绍
1、目前大多数企业都在使用数仓或者数据湖集中存储公司运营中产生的大量明细数据,存储该类数据不仅需要占用大量的存储空间,并且数据同步(数据同步:数据在业务系统与数据系统之间互相流转)需要占用大量的网络带宽。而在进行数据分析时,就需要系统汇集所有明细数据,再进行计算,分析得到结果,整体流程长,数据处理量庞大,且具有强中心化特性,因此导致存储成本、网络成本及计算成本居高不下。
技术实现思路
1、本专利技术提供了一种能够弱中心化甚至去中心化地实现数据集成、数据处理的弱中心化的数据集成装置及方法。
2、为了解决上述技术问题,本专利技术实施例提供了一种弱中心化的数据集成装置,包括:
3、多个采集模块,分别用于采集医药系统的不同类型明细数据,并基于对应类型的明细数据进行计算,生成指标数据,每一类所述明细数据对应所述医药系统的一核心指标,不同的所述核心指标用于在不同维度上描述所述医药系统的运营状态,所述指标数据用于分析确定所述医药系统当前满足对应的核心指标的情况;
4、控制模块,用于响应于第一指令,控制多个所述采集模块中的第一模块基于采集的所述医药系统的第一明细数据计算生成第一指标数据,所述第一指令与第一核心指标相关;
5、上报模块,用于获得所述第一指标数据,并上报所述第一指标数据。
6、作为一可选实施例,所述核心指标至少包括日活跃用户数量、
7、作为一可选实施例,所述第一指令包括需要获取的数据信息;
8、所述控制模块还用于:
9、基于所述第一指令中的数据信息确定用于计算生成与所述数据信息对应的第一指标数据的第一模块。
10、作为一可选实施例,所述第一指令包括需要获取的数据信息;
11、所述控制模块还用于:
12、基于所述第一指令中的数据信息确定对应的第一核心指标;
13、基于所述第一核心指标确定用于计算生成与所述数据信息对应的第一指标数据的第一模块。
14、作为一可选实施例,所述响应于第一指令,控制所述医药系统的第一模块基于采集的医药系统的第一明细数据计算生成第一指标数据,包括:
15、响应于第一指令,控制所述医药系统的第一模块周期性地基于采集的医药系统的第一明细数据计算生成第一指标数据,所述第一指标数据格式符合预设的业务库表格式,所述业务库表格式至少包括以下至少之一:一范式、二范式、三范式。
16、作为一可选实施例,所述装置还包括:
17、第一获得模块,用于获得第二指令,所述第二指令为分析所述第一指标数据出现异常状态的原因;
18、确定模块,用于响应于所述第二指令,基于各个所述采集模块计算的指标数据确定与所述第二指令的内容及时间相关的至少一个第二指标数据;
19、第二获得模块,用于获得所述至少一个第二指标数据;
20、分析模块,用于根据所述第二指令对所述至少一个第二指标数据进行相应分析,得到分析结果;
21、所述上报模块还用于上报所述分析结果。
22、作为一可选实施例,所述基于各个所述采集模块计算的指标数据确定与所述第二指令的内容及时间相关的至少一个第二指标数据,包括:
23、基于所述第二指令的内容确定导致所述第一指标数据出现异常状态的因子,所述因子与用户登录情况、用户搜索情况、用户支付情况、用于加购情况中的一种或多种相关;
24、基于所述因子自各个所述采集模块计算的指标数据中确定所述至少一个第二指标数据。
25、作为一可选实施例,所述装置还包括:
26、第三获得模块,用于获得由不同的所述采集模块生成的指标数据;
27、存储模块,用于匹配存储所述采集模块的标识信息及其对应的指标数据;
28、所述基于所述因子自各个所述采集模块计算的指标数据中确定所述至少一个第二指标数据,包括:
29、基于所述因子在本地存储的指标数据中确定是否具有匹配的第二指标数据,若有,则基于存储的指标数据确定所述至少一个第二指标数据;
30、若没有,则基于所述因子指示目标采集模块计算生成指定指标数据;
31、获得所述指定指标数据,并基于所述指定指标数据确定所述至少一个第二指标数据。
32、作为一可选实施例,所述基于所述第二指令对所述至少一个第二指标数据进行相应分析,得到分析结果,包括:
33、基于所述第二指令的内容确定对应的分析模型;
34、基于确定的所述分析模型对所述至少一个第二指标数据进行相应分析,得到分析结果。
35、本专利技术另一实施例同时提供一种弱中心化的数据集成方法,应用于医药系统中,所述医药系统具有多个采集模块,用于分别采集医药系统的不同类型明细数据,并基于对应类型的明细数据进行计算,生成指标数据,每一类所述明细数据对应所述医药系统的一核心指标,不同的所述核心指标用于在不同维度上描述所述医药系统的运营状态,所述指标数据用于分析确定所述医药系统当前满足对应的核心指标的情况,所述方法包括:
36、响应于第一指令,控制多个所述采集模块中的第一模块基于采集的所述医药系统的第一明细数据计算生成第一指标数据,所述第一指令与第一核心指标相关;
37、上报模块,用于获得所述第一指标数据,并上报所述第一指标数据。
38、本专利技术另一实施例还提供一种计算机设备,包括:
39、一个或多个处理器;
40、存储器,配置为存储一个或多个程序;
41、当所述一个或多个程序被所述一个或多个处理器执行时,使得所述一个或多个处理器实现如上文中所述的弱中心化的数据集成方法。
42、本专利技术另一实施例还提供一种存储介质,所述存储介质包括存储的程序,其中,在所述程序运行时控制包括所述存储介质的设备执行如上文中所述的弱中心化的数据集成方法。
43、基于上述实施例的公开可以获知,本专利技术实施例具备的有益效果包括避免了大量的明细数据流动,全部明细数据的集中存储,故降低了存储成本,同时利用系统中的各模块同时参与所需数据的计算处理,弱化了以往方案的数据中心,也即,通过一个弱数据中心实现目标数据的收集以及数据分析,整个过程不涉及各模块收集的明细数据的流动,也不需要大规模存储设施来集中存储全部明细数据,更不需要基于全部明细数据进行集中处理。
本文档来自技高网...【技术保护点】
1.一种弱中心化的数据集成装置,其特征在于,包括:
2.根据权利要求1所述的弱中心化的数据集成装置,其特征在于,所述核心指标至少包括日活跃用户数量、日成交额、日订单量。
3.根据权利要求2所述的弱中心化的数据集成装置,其特征在于,所述第一指令包括需要获取的数据信息;
4.根据权利要求2所述的弱中心化的数据集成装置,其特征在于,所述第一指令包括需要获取的数据信息;
5.根据权利要求1所述的弱中心化的数据集成装置,其特征在于,所述响应于第一指令,控制所述医药系统的第一模块基于采集的医药系统的第一明细数据计算生成第一指标数据,包括:
6.根据权利要求1所述的弱中心化的数据集成装置,其特征在于,所述装置还包括:
7.根据权利要求6所述的弱中心化的数据集成装置,其特征在于,所述基于各个所述采集模块计算的指标数据确定与所述第二指令的内容及时间相关的至少一个第二指标数据,包括:
8.根据权利要求7所述的弱中心化的数据集成装置,其特征在于,所述装置还包括:
9.根据权利要求6所述的弱中心化的数据集成装
10.一种弱中心化的数据集成方法,应用于医药系统中,其特征在于,所述医药系统具有多个采集模块,用于分别采集医药系统的不同类型明细数据,并基于对应类型的明细数据进行计算,生成指标数据,每一类所述明细数据对应所述医药系统的一核心指标,不同的所述核心指标用于在不同维度上描述所述医药系统的运营状态,所述指标数据用于分析确定所述医药系统当前满足对应的核心指标的情况,所述方法包括:
...【技术特征摘要】
1.一种弱中心化的数据集成装置,其特征在于,包括:
2.根据权利要求1所述的弱中心化的数据集成装置,其特征在于,所述核心指标至少包括日活跃用户数量、日成交额、日订单量。
3.根据权利要求2所述的弱中心化的数据集成装置,其特征在于,所述第一指令包括需要获取的数据信息;
4.根据权利要求2所述的弱中心化的数据集成装置,其特征在于,所述第一指令包括需要获取的数据信息;
5.根据权利要求1所述的弱中心化的数据集成装置,其特征在于,所述响应于第一指令,控制所述医药系统的第一模块基于采集的医药系统的第一明细数据计算生成第一指标数据,包括:
6.根据权利要求1所述的弱中心化的数据集成装置,其特征在于,所述装置还包括:
7.根据权利要求6所述的弱中心化的数据集成装置,其特征...
【专利技术属性】
技术研发人员:苑湖,林海,
申请(专利权)人:叮当快药科技集团有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。