【技术实现步骤摘要】
本专利技术涉及互联网，尤其一种业务变更数据的处理方法、装置、设备及存储介质。
技术介绍
1、随着互联网的飞速发展和互联网各类网络应用的不断深入，大数据时代已经到来，互联网数据量增长迅速，并且需要处理的互联网的数据结构以及数据类型也越来越多样。目前应用市场上对数据的需求与日俱增，为了保证数据服务时效性质量，客户端通常需要从第三方数据库中调用数据。
2、但是，随着数据呈现爆炸式增长，传统数据处理模式已经不适用对海量数据的分析，不能实时感知数据的变化状态，在业务更变时数据的计算效率较慢。
技术实现思路
1、本专利技术提供了一种业务变更数据的处理方法、装置、设备及存储介质，以解决上述技术问题，有效提高了业务更变时数据的处理、计算效率。
2、为了解决上述技术问题，本专利技术提供了一种业务变更数据的处理方法，包括：
3、实时获取业务信息；
4、获取业务信息中的若干个第一数据源；
5、确定各第一数据源的分类类目；
6、基于分类类目，对若干个第一数据源进行并行流式计算，得到若干个流式计算结果并输出。
7、本专利技术的有益效果为：
8、本专利技术获取业务信息中的若干个第一数据源，并基于各第一数据源的分类类目，对若干个第一数据源进行并行流式计算，得到若干个流式计算结果并输出，由此，本专利技术通过对数据源进行并行流式计算，可以在数据产生的同时进行处理，以实现实时感知业务信息数据的变化状态，并且，无需将数据存储
9、作为优选方案，所述实时获取业务信息，包括：
10、采取分布式部署方式将若干个业务信息采集系统进行部署；
11、控制若干个业务信息采集系统实时采集初始业务信息；
12、对初始业务信息进行预处理得到业务信息。
13、本优选方案控制分布式部署的若干个业务信息采集系统实时采集初始业务信息，可以实现实时业务信息的多段、多节点、全路径的采集，以保证业务信息的全面性。
14、作为优选方案，所述对初始业务信息进行预处理得到业务信息，包括：
15、获取初始业务信息中的若干个初始数据源；
16、对若干个初始数据源进行清洗，以对若干个初始数据源进行聚类分析，得到每个初始数据源的分类类目；
17、基于每个初始数据源的分类类目对初始业务信息进行更新，得到业务信息。
18、本优选方案对若干个初始数据源进行清洗，用以对若干个初始数据源进行聚类，可以将重复数据或相似数据进行聚类，并得到每个初始数据源的分类类目，便于后续可以基于分类类目，对数据进行并行流式计算，提高后续计算的便利性和效率。
19、作为优选方案，所述基于分类类目，对若干个第一数据源进行并行流式计算，得到若干个流式计算结果并输出，包括：
20、基于分类类目，将若干个第一数据源进行聚类，得到多个聚类分类；所述聚类分类包括消息队列数据、数据库、缓存和文件；
21、采用不同的流式计算框架，同时对多个聚类分类进行流式计算，得到若干个流式计算结果；
22、根据业务场景和应用时间响应需求，将多个流式计算结果封装为多个实例，以进行部署输出。
23、本优选方案基于分类类目将若干个第一数据源进行聚类，得到多个聚类分类，然后采用不同的流式计算框架，同时对多个聚类分类进行流式计算，得到若干个流式计算结果，可以实时感知业务数据的变化状态，极大提高业务数据处理、计算的便利性和效率。
24、作为优选方案，在所述基于分类类目，对若干个第一数据源进行并行流式计算，得到若干个流式计算结果并输出之后，还包括：
25、对若干个流式计算结果进行有效性校验，得到若干个校验数据；
26、将若干个校验数据写入到预设数据库中。
27、本优选方案对获取的流式计算结果进行有效性校验后，将校验数据写入到预设数据库，通过有效性校验，可以过滤掉无效或错误的数据，避免因错误或无效数据导致的系统错误或异常，保证入库数据的准确性和质量，从而提高客户端调用业务数据的用户体验。
28、作为优选方案，所述的一种业务变更数据的处理方法，还包括：
29、获取与每个第一数据源对应的热备副本或可重放数据副本；
30、当第一数据源出现数据故障时，将热备副本替换第一数据源，或启用可重放数据副本更新第一数据源。
31、本优选方案中，每个第一数据源都具有对应的热备副本或可重放数据副本，当第一数据源发生故障时，可以通过热备副本进行接管，减少中断时间；或者同时还可以增设一个可重放数据副本，在热备副本接管失败时时，可以通过可重放数据副本重新启动并发放丢失的数据，以进一步降低中断所造成的影响，保证数据供给客户的连续性，保证客户对于业务数据的使用体验。
32、相应的，为了解决上述技术问题，本专利技术还提供了一种业务变更数据的处理装置，包括：数据获取模块、第一获取模块、类目确定模块和计算处理模块；
33、其中，所述数据获取模块用于实时获取业务信息；
34、所述第一获取模块用于获取业务信息中的若干个第一数据源；
35、所述类目确定模块用于确定各第一数据源的分类类目；
36、所述计算处理模块用于基于分类类目，对若干个第一数据源进行并行流式计算，得到若干个流式计算结果并输出。
37、作为优选方案，所述数据获取模块包括：系统部署单元、实时采集单元和信息处理单元；
38、其中，所述系统部署单元用于采取分布式部署方式将若干个业务信息采集系统进行部署；
39、所述实时采集单元用于控制若干个业务信息采集系统实时采集初始业务信息；
40、所述信息处理单元用于对初始业务信息进行预处理得到业务信息。
41、本专利技术还提供了一种终端设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任意一项所述业务变更数据的处理方法的步骤。
42、本专利技术还提供了一种存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述任意一项所述业务变更数据的处理方法的步骤。
本文档来自技高网...【技术保护点】
1.一种业务变更数据的处理方法，其特征在于，包括：
2.如权利要求1所述的一种业务变更数据的处理方法，其特征在于，所述实时获取业务信息，包括：
3.如权利要求2所述的一种业务变更数据的处理方法，其特征在于，所述对初始业务信息进行预处理得到业务信息，包括：
4.如权利要求1所述的一种业务变更数据的处理方法，其特征在于，所述基于分类类目，对若干个第一数据源进行并行流式计算，得到若干个流式计算结果并输出，包括：
5.如权利要求1所述的一种业务变更数据的处理方法，其特征在于，在所述基于分类类目，对若干个第一数据源进行并行流式计算，得到若干个流式计算结果并输出之后，还包括：
6.如权利要求1所述的一种业务变更数据的处理方法，其特征在于，还包括：
7.一种业务变更数据的处理装置，其特征在于，包括：数据获取模块、第一获取模块、类目确定模块和计算处理模块；
8.如权利要求7所述的一种业务变更数据的处理装置，其特征在于，所述数据获取模块包括：系统部署单元、实时采集单元和信息处理单元；
9.一种终端设备，
10.一种存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任意一项所述业务变更数据的处理方法的步骤。
...【技术特征摘要】
1.一种业务变更数据的处理方法，其特征在于，包括：
2.如权利要求1所述的一种业务变更数据的处理方法，其特征在于，所述实时获取业务信息，包括：
3.如权利要求2所述的一种业务变更数据的处理方法，其特征在于，所述对初始业务信息进行预处理得到业务信息，包括：
4.如权利要求1所述的一种业务变更数据的处理方法，其特征在于，所述基于分类类目，对若干个第一数据源进行并行流式计算，得到若干个流式计算结果并输出，包括：
5.如权利要求1所述的一种业务变更数据的处理方法，其特征在于，在所述基于分类类目，对若干个第一数据源进行并行流式计算，得到若干个流式计算结果并输出之后，还包括：
6.如权利要求1所述的一种业务...
【专利技术属性】
技术研发人员：危阜胜，梁哲恒，蔡乾乾，李兰芳，吴震寰，汤渊，陈晓瑜，
申请(专利权)人：广东电网有限责任公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。