【技术实现步骤摘要】
本专利技术涉及数据同步，尤其涉及一种同步过程中实时生成统计结果的方法，本专利技术还涉及一种用于运行所述同步过程中实时生成统计结果的系统与电子设备。
技术介绍
1、随着互联网技术的发展，互联网技术深入社会发展的方方面面。数字化是势不可挡的社会发展趋势。在联业务车和营销业务领域中，由于终端和节点多，存在大量的统计类业务；产生的大量数据通过mysql服务器进行数据同步操作，在计算数据分类存储的过程中，将消耗服务器巨大的资源，会导致服务器卡顿，使得等待结果的时间过长让人无法忍受。
2、因此，如何提供一种同步过程中实时生成统计结果的方法，其能够有效的降低mysql服务器的计算压力，降低负载和能耗，已经成为本领域技术人员亟待完成的目标。
技术实现思路
1、为解决上述技术问题，本专利技术的主要目的在于提供一种同步过程中实时生成统计结果的方法，能够有效的降低mysql服务器的计算压力，降低负载和能耗，此外，本专利技术还提供一种同步过程中实时生成统计结果的系统与电子设备，同样具有上述有益效果。
2、为实现上述目的，本专利技术提供一种基于数据同步过程中实时生成统计类业务最终结果的方法，该方法包括：生成业务特征判断树；基于mysql的二进制日志，识别出实时增量数据；基于所述业务特征判断树，识别出原始业务sql的单表数据；获取预上线的业务统计sql；对所述业务统计sql进行处理，生成特征值、动作和数据标签；基于所述特征值、所述动作和所述数据标签生成发布规则；结合所述数据标签，对所述
3、进一步地，在本专利技术提供的同步过程中实时生成统计结果的方法中，所述“生成业务特征判断树”包括：构建各业务领域的业务特征库；通过机器学习的方式，从所述业务特征库中提炼生成业务特征判断树。
4、进一步地，在本专利技术提供的同步过程中实时生成统计结果的方法中，所述“构建各业务领域的业务特征库”具体为：通过数据收集、预处理方式，构建各业务领域的业务特征库。
5、进一步地，在本专利技术提供的同步过程中实时生成统计结果的方法中，所述各业务领域包括车联网领域和营销领域。
6、进一步地，在本专利技术提供的同步过程中实时生成统计结果的方法中，所述“通过机器学习的方式”具体为通过“通过神经网络算法的方式”。
7、进一步地，在本专利技术提供的同步过程中实时生成统计结果的方法中，所述业务特征判断树用于基于所述各业务领域，识别sql模式。
8、进一步地，在本专利技术提供的同步过程中实时生成统计结果的方法中，所述“对所述业务统计sql进行处理，生成特征值、动作和数据标签”包括：对所述业务统计sql进行技术解析，得到技术特征值、第一动作、第一类数据标签。
9、进一步地，在本专利技术提供的同步过程中实时生成统计结果的方法中，所述“对所述业务统计sql进行处理，生成特征值、动作和数据标签”还包括：结合所述业务特征判断树，对所述业务统计sql进行处理，得到业务特征值、第二动作、第二类数据标签。
10、进一步地，在本专利技术提供的同步过程中实时生成统计结果的方法中，所述“基于所述特征值、所述动作和所述数据标签生成发布规则”具体为：基于所述技术特征值、所述第一动作、所述第一类数据标签及所述业务特征值、所述第二动作、所述第二类数据标签生成发布规则。
11、此外，本方案还提供一种基于数据同步过程中实时生成统计类业务最终结果的系统，该系统执行上述基于数据同步过程中实时生成统计类业务最终结果的方法；该系统包括：用于生成业务特征判断树的第一生成模块；用于基于mysql的二进制日志，识别出实时增量数据的第一识别模块；用于基于所述业务特征判断树，识别出原始业务sql的单表数据的第二识别模块；用于获取预上线的业务统计sql的第一获取模块；用于对所述业务统计sql进行处理，生成特征值、动作和数据标签的第一处理模块；用于基于所述特征值、所述动作和所述数据标签生成发布规则的第一规则发布模块；用于结合所述数据标签，对所述实时增量数据进行贴标签处理，并完成增量数据聚集操作，得到待发布数据的第一增量数据处理模块；用于结合所述数据标签，对所述单表数据进行贴标签处理，并完成原始数据初始化操作，得到原封业务数据的第一原封数据数据处理模块；用于基于所述发布规则，发布所述待发布数据，得到待同步数据的第一发布模块；用于将所述待同步数据进行数据汇总的订阅群组。
12、此外，本方案还提供一种电子设备，包括：计算机程序，所述计算机程序用于执行上述基于数据同步过程中实时生成统计类业务最终结果的方法；存储器，用于存储所述计算机程序；处理器，用于处理所述计算机程序。
13、本专利技术提供的一种同步过程中实时生成统计结果的方法，从整体上将数据分类的工作巧妙的设计在根据标签的同步阶段，进而减少了mysql服务器的计算压力。进一步的，本技术方案，需要先进行如下准备工作：基于业务特征库，生成业务特征判断树；从mysql的二进制日志中识别出实时增量数据；基于业务特征判断树，从原始业务sql中识别出单表数据。然后在实际业务处理过程中，先获取预上线的业务统计sql，然后对业务统计sql进行处理，得到关联的特征值、动作(具体的算法操作)、数据标签等信息；接着，结合特征值、动作、数据标签生成对应的发布规则，之后基于该发布规则，由mysql服务器通过发布频道向外发布数据；进一步的，对实时增量数据和单表数据进行贴标签处理，分别的到待发布数据和原封业务数据；mysql服务器将待发布数据发布后，形成待同步数据；由订阅群组(其他终端处理器)在进行数据同步时，基于标签选择待同步数据中的目标数据进行同步，从而顺带完成了数据汇总的工作。综上，mysql服务器只需要完成对业务统计sql的贴标签工作，即可将分类的工作压力分摊给各个建立连接进行同步数据的其他终端处理器上。本申请提供的技术方案，能够有效的降低mysql服务器的计算压力，降低负载和能耗。
本文档来自技高网...【技术保护点】
1.一种基于数据同步过程中实时生成统计类业务最终结果的方法，其特征在于，该方法包括：
2.根据权利要求1所述的基于数据同步过程中实时生成统计类业务最终结果的方法，其特征在于，所述“生成业务特征判断树”包括：
3.根据权利要求2所述的基于数据同步过程中实时生成统计类业务最终结果的方法，其特征在于，所述“构建各业务领域的业务特征库”具体为：
4.根据权利要求3所述的基于数据同步过程中实时生成统计类业务最终结果的方法，其特征在于，
5.根据权利要求2所述的基于数据同步过程中实时生成统计类业务最终结果的方法，其特征在于，所述“通过机器学习的方式”具体为通过“通过神经网络算法的方式”；和/或
6.根据权利要求1所述的基于数据同步过程中实时生成统计类业务最终结果的方法，其特征在于，所述“对所述业务统计sql进行处理，生成特征值、动作和数据标签”包括：
7.根据权利要求6所述的基于数据同步过程中实时生成统计类业务最终结果的方法，其特征在于，所述“对所述业务统计sql进行处理，生成特征值、动作和数据标签”还包括：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。