一种准实时效能管理方法、装置、计算机设备及存储介质制造方法及图纸

本发明专利技术公开了一种准实时效能管理方法、装置、计算机设备及存储介质，该方法包括：从mysql数据库中读取binlog数据，并对所述binlog数据进行解析和压缩；采用二进制消息的方式将压缩后的所述binlog数据写入Kafka同步机制中；利用数据仓库技术从所述Kafka同步机制中读取所述binlog数据，并写入至存储数据库中；通过BI工具与所述存储数据库对接，以对所述存储数据库中的数据进行效能管理。本发明专利技术通过将mysql数据库中的binlog数据提取并写入至Kafka同步机制中，然后结合存储数据库对数据进行存储和查询，从而实现了对项目管理中的数据进行高性能、准实时的效能分析管理。准实时的效能分析管理。准实时的效能分析管理。

【技术实现步骤摘要】
一种准实时效能管理方法、装置、计算机设备及存储介质


[0001]本专利技术涉及计算机软件
，特别涉及一种准实时效能管理方法、装置、计算机设备及存储介质。

技术介绍

[0002]目前业内主要的项目管理软件有：jira(是Atlassian公司出品的项目与事务跟踪工具，被广泛应用于缺陷跟踪、客户服务、需求收集、流程审批、任务跟踪、项目跟踪和敏捷管理等工作领域)、禅道(一种开源项目管理软件，其核心管理思想基于敏捷方法scrum，内置产品管理和项目管理)、tapd(源自于腾讯的敏捷产品研发协作平台，提供贯穿敏捷开发生命周期的一站式服务)、阿里云效平台(企业级一站式研发协同平台，支持公共云、专有云和混合云多种部署形态)、华为projectman(其提供简单高效的团队协作服务,包含多项目管理、敏捷迭代、看板协作、需求管理、缺陷跟踪、文档管理、Wiki在线协作、仪表盘自定制报表等功能)等。上述软件虽然含有效能管理，但不具备类似BI软件(一种大数据分析工具)的灵活报表配置能力。而如果将数据导入BI软件做效能管理，则又无法达到实时的效能管理，即只能实现离线或者半离线分析，导致用户缺乏体验。

技术实现思路

[0003]本专利技术实施例提供了一种准实时效能管理方法、装置、计算机设备及存储介质，旨在对项目管理中的数据实现高性能、准实时的效能分析。
[0004]第一方面，本专利技术实施例提供了一种准实时效能管理方法，包括：
[0005]从mysql数据库中读取binlog数据，并对所述binlog数据进行解析和压缩；
[0006]采用二进制消息的方式将压缩后的所述binlog数据写入Kafka同步机制中；
[0007]利用数据仓库技术从所述Kafka同步机制中读取所述binlog数据，并写入至存储数据库中；
[0008]通过BI工具与所述存储数据库对接，以对所述存储数据库中的数据进行效能管理。
[0009]第二方面，本专利技术实施例一种准实时效能管理装置，包括：
[0010]第一读取单元，用于从mysql数据库中读取binlog数据，并对所述binlog数据进行解析和压缩；
[0011]第一写入单元，用于采用二进制消息的方式将压缩后的所述binlog数据写入Kafka同步机制中；
[0012]第二写入单元，用于利用数据仓库技术从所述Kafka同步机制中读取所述binlog数据，并写入至存储数据库中；
[0013]对接管理单元，用于通过BI工具与所述存储数据库对接，以对所述存储数据库中的数据进行效能管理。
[0014]第三方面，本专利技术实施例一种计算机设备，包括存储器、处理器及存储在所述存储
器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如第一方面所述的准实时效能管理方法。
[0015]第四方面，本专利技术实施例一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面所述的准实时效能管理方法。
[0016]本专利技术实施例提供了一种准实时效能管理方法、装置、计算机设备及存储介质，该方法包括：从mysql数据库中读取binlog数据，并对所述binlog数据进行解析和压缩；采用二进制消息的方式将压缩后的所述binlog数据写入Kafka同步机制中；利用数据仓库技术从所述Kafka同步机制中读取所述binlog数据，并写入至存储数据库中；通过BI工具与所述存储数据库对接，以对所述存储数据库中的数据进行效能管理。本专利技术实施例通过将mysql数据库中的binlog数据提取并写入至Kafka同步机制中，然后结合存储数据库对数据进行存储和查询，从而实现了对项目管理中的数据进行高性能、准实时的效能分析管理。
附图说明
[0017]为了更清楚地说明本专利技术实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0018]图1为本专利技术实施例提供的一种准实时效能管理方法的流程示意图；
[0019]图2为本专利技术实施例提供的一种准实时效能管理方法的子流程示意图；
[0020]图3为本专利技术实施例提供的一种准实时效能管理方法的另一子流程示意图；
[0021]图4为本专利技术实施例提供的一种准实时效能管理装置的示意性框图；
[0022]图5为本专利技术实施例提供的一种准实时效能管理装置的子示意性框图；
[0023]图6为本专利技术实施例提供的一种准实时效能管理装置的另一子示意性框图。
具体实施方式
[0024]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0025]应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
[0026]还应当理解，在此本专利技术说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本专利技术。如在本专利技术说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
[0027]还应当进一步理解，在本专利技术说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
[0028]下面请参见图1，图1为本专利技术实施例提供的一种准实时效能管理方法的流程示意图，具体包括：步骤S101～S104。
[0029]S101、从mysql数据库中读取binlog数据，并对所述binlog数据进行解析和压缩；
[0030]S102、采用二进制消息的方式将压缩后的所述binlog数据写入Kafka同步机制中；
[0031]S103、利用数据仓库技术从所述Kafka同步机制中读取所述binlog数据，并写入至存储数据库中；
[0032]S104、通过BI工具与所述存储数据库对接，以对所述存储数据库中的数据进行效能管理。
[0033]本实施例中，在对数据(例如数据报表等)进行效能管理时，首先从mysql数据库中读取binlog数据，然后对其进行解析和压缩，并写入至Kafka同步机制中，接着通过数据仓库技术读取Kafka同步机制中的binlog数据，并进一步写入至存储数据库(例如clickhouse数据库)中，随后采用BI工具与存储数据库对接，以获取存储数据库中存储的数据，从而方便对存储数据库中的数据进行效能管理。
[0034]本实施例通过本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种准实时效能管理方法，其特征在于，包括：从mysql数据库中读取binlog数据，并对所述binlog数据进行解析和压缩；采用二进制消息的方式将压缩后的所述binlog数据写入Kafka同步机制中；利用数据仓库技术从所述Kafka同步机制中读取所述binlog数据，并写入至存储数据库中；通过BI工具与所述存储数据库对接，以对所述存储数据库中的数据进行效能管理。2.根据权利要求1所述的准实时效能管理方法，其特征在于，所述从mysql数据库中读取binlog数据，并对所述binlog数据进行解析和压缩，包括：采用canal技术模拟mysql数据库主从同步的方式读取所述binlog数据；解析并获取所述binlog数据的全局事务，以实现事务化同步；通过protobuf格式对解析后的binlog数据进行压缩。3.根据权利要求2所述的准实时效能管理方法，其特征在于，所述解析并获取所述binlog数据的全局事务，以实现事务化同步之前，包括：对mysql数据库开启binlog和全局事务模式，并将binlog设置为行模式。4.根据权利要求1所述的准实时效能管理方法，其特征在于，所述采用二进制消息的方式将所述binlog数据写入Kafka同步机制中，包括：采用LZ4算法对所述binlog数据对应的二进制格式数据进行压缩，并在压缩完成后写入Kafka同步机制中。5.根据权利要求1所述的准实时效能管理方法，其特征在于，所述采用LZ4算法对所述binlog数据对应的二进制格式数据进行压缩，并在压缩完成后写入Kafka同步机制中，包括：设置滑动窗口和扫描窗口；对所述二进制格式数据进行扫描，并按照滑动窗口大小对所述二进制格式数据进行哈希运算，然后将哈希运算结果与预置哈希表对照，若预置哈希表中没有相应的哈希运算结果，则将该哈希运算结果存入至预置哈希表中；根据所述扫描窗口的大小继续下一次扫描，并计算下一次扫描中所述二进制格式数据的哈希值，同样与预置哈希表对照，并当预置哈希表中不存在相应哈希值时，将该哈希值存入至预置哈希表中；按照上...

【专利技术属性】
技术研发人员：王颖奇，冯斌，彭泉鑫，甘辉明，
申请(专利权)人：深圳复临科技有限公司，
类型：发明
国别省市：