一种基于KAFKA的VPC配置下发方法技术

本发明专利技术提供一种基于KAFKA的VPC配置下发方法，包括读取并解析配置虚机VPC，获取虚机VPC上线信息和待分配设备配置参数；基于KAFKA集群处理平台获取其指定主题下的配置信息；根据待分配设备的ID以及虚机VPC的ID，分别计算对应的HashCode值；通过对KAFKA集群处理平台配置信息以及HashCode值进行取模后，计算待分配设备配置参数发送到KAFKA集群处理平台的指定分区后，进行异步下发；KAFKA集群处理平台进行异步监听，并记录此次下发操作日志。利用KAFKA多分区的特性，在提高吞度量KFAKA的同时，也可以在同一个主题下，指定多个分区，进而由多个分区指定多个消费者进行并行消费，最后利用多消费者的特性，达到提供VPC配置下发的吞吐量要求。吞吐量要求。吞吐量要求。

【技术实现步骤摘要】
一种基于KAFKA的VPC配置下发方法


[0001]本专利技术涉及VPC配置有序下发设备
，具体为一种基于KAFKA的VPC配置下发方法。

技术介绍

[0002]VPC作为云计算网络的基础，为用户提供自定义私有网络，不同的专有网络之间逻辑上彻底隔离。VPC的配置作为云计算通信的基础配置，需要准确，高效，有序，持久性的下发到指定的设备上，而VPC在设备上的配置分为三大类：
[0003]即，防火墙、Leaf交换机、Border交换机，各个配置之间具有相互依赖，并在各个设备上需要有序下发。由于VPC配置下发流程需要有序、高效、低延迟、持久性等特点，需要在网络波动等极端情况下仍然把配置有序下发到指定的设备上，因此需要解除KAFKA高吞吐量、数据持久、高可用等特性，针对VPC配置下发流程的有序性、高效性、持久性以及稳定性进行改造，以满足云计算资源创建、网络通信、租户数据隔离的产品要求。
[0004]基于此，本申请提出的基于KAFKA的VPC配置下发方法，依托KAFKA消费组、分区、数据异步刷盘等特性，极大的避免了HTTP请求的不稳定性，以及数据无法持久化的弊端，提高下发配置的成功率，同时改善多设备、多次操作配置无法有序到达相关设备的缺点，达到在分布式高并发的业务需求下，也能迅速响应相关业的优点。

技术实现思路

[0005]针对现有技术存在的不足，本专利技术目的是提供一种基于KAFKA的VPC配置下发方法，以解决上述
技术介绍
中提出的问题。
[0006]为了实现上述目的，本专利技术是通过如下的技术方案来实现：一种基于KAFKA的VPC配置下发方法，包括以下步骤：
[0007]第一步，读取并解析配置虚机VPC，获取虚机VPC上线信息和待分配设备配置参数；
[0008]第二步，基于KAFKA集群处理平台获取其指定主题下的配置信息，其中，KAFKA集群处理平台的配置信息包括分区数量以及分区相关参数；
[0009]第三步，根据待分配设备的ID以及虚机VPC的ID，分别计算对应的HashCode值；
[0010]第四步，通过对KAFKA集群处理平台配置信息以及HashCode值进行取模后，计算待分配设备配置参数发送到KAFKA集群处理平台的指定分区后，进行异步下发；
[0011]第五步，KAFKA集群处理平台进行异步监听，并记录此次下发操作日志。
[0012]作为对本专利技术中所述一种基于KAFKA的VPC配置下发方法的改进，在获取虚机VPC上线信息和待分配设备配置参数之后，且，在获取KAFKA集群处理平台指定主题的配置信息之前，还包括：
[0013]需要将所述待分配设备配置参数组装成待分配设备所需要的报文格式。
[0014]作为对本专利技术中所述一种基于KAFKA的VPC配置下发方法的改进，第一步中，若在获取虚机VPC上线信息和待分配设备配置参数不成功时，或
[0015]若在将所述待分配设备配置参数组装成待分配设备所需要的报文格式不成功时，则需要回滚数据，直至成功。
[0016]作为对本专利技术中所述一种基于KAFKA的VPC配置下发方法的改进，第二步中，若基于KAFKA集群处理平台获取其指定主题下的配置信息不成功时，还包括，将不成功的配置信息进行回滚，重新对指定主题下的配置信息进行回溯，直至获取成功。
[0017]作为对本专利技术中所述一种基于KAFKA的VPC配置下发方法的改进，第四步中，所述异步下发的方式为防火墙配置下发或Leaf交换机配置下发或Border交换机配置下发。
[0018]作为对本专利技术中所述一种基于KAFKA的VPC配置下发方法的改进，若进行异步下发不成功时，则，进行数据回滚，基于第一步，重新读取并解析配置虚机VPC，直至下发成功。
[0019]与现有技术相比，本专利技术的有益效果：
[0020]1、本专利技术，首先利用KAFKA消费端只能消费单一分区的特性，将同一设备的数据分配到统一分区，保证配置下发设备的有序性；
[0021]2、其次，利用KAFKA多分区的特性，提高吞度量KFAKA，在同一个主题下，可以指定多个分区，而多个分区可以指定多个消费者进行并行消费，利用多消费者的特性，达到提供VPC配置下发的吞吐量要求；
[0022]3、再次，由于分布式业务多节点分布的特性，数据需要进行多节点备份，VPC配置在发送到KAKFA时，多个副本需要保存数据，因此，本专利技术利用KAFKA分区副本，保证VPC配置的分区容错可以保证部分节点出现异常时，VPC配置仍能有效地下发到指定设备；
[0023]4、通过建立的KAKFA消息的ACK确认机制，消除网络波动对配置下发的影响，进一步达到，在网络有波动无法进行确认时，KAFKA可以重复发送消息，从而保证VPC配置下发服务可以收到未处理的VPC配置信息进行再次下发，保证配置可以在网络波动后有效的下发到指定设备。
附图说明
[0024]参照附图来说明本专利技术的公开内容。应当了解，附图仅仅用于说明目的，而并非意在对本专利技术的保护范围构成限制，在附图中，相同的附图标记用于指代相同的部件。其中：
[0025]图1为本专利技术一实施例中所提出的基于KAFKA的VPC配置下发方法的具体实施流程图；
[0026]图2为本专利技术一实施例中所提出的基于KAFKA的VPC配置下发方法的流程示意图。
具体实施方式
[0027]容易理解，根据本专利技术的技术方案，在不变更本专利技术实质精神下，本领域的一般技术人员可以提出可相互替换的多种结构方式以及实现方式。因此，以下具体实施方式以及附图仅是对本专利技术的技术方案的示例性说明，而不应当视为本专利技术的全部或者视为对本专利技术技术方案的限定或限制。
[0028]如图1
‑
2所示，本专利技术提供一种基于KAFKA的VPC配置下发方法，包括以下步骤：
[0029]第一步，读取并解析配置虚机VPC，获取虚机VPC上线信息和待分配设备配置参数；
[0030]第二步，基于KAFKA集群处理平台获取其指定主题下的配置信息，其中，KAFKA集群处理平台的配置信息包括分区数量以及分区相关参数，目的在于利用分区多副本特性，可
以支持VPC并行下发，提高吞吐量，消除HTTP同步响应并发低的弊端，需要说明的是，在获取虚机VPC上线信息和待分配设备配置参数之后，且，在获取KAFKA集群处理平台指定主题的配置信息之前，还包括：需要将待分配设备配置参数组装成待分配设备所需要的报文格式，其中，报文格式为agent基础报文；
[0031]第三步，根据待分配设备的ID以及虚机VPC的ID，分别计算对应的HashCode值；
[0032]第四步，通过对KAFKA集群处理平台配置信息以及HashCode值进行取模后，计算待分配设备配置参数发送到KAFKA集群处理平台的指定分区后，进行异步下发，异步下发的方式为防火墙配置下发或Leaf交换机配置下发或Border交换机配置下发，需要说明的是，通过HashCode取模本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于KAFKA的VPC配置下发方法，其特征在于：包括以下步骤：第一步，读取并解析配置虚机VPC，获取虚机VPC上线信息和待分配设备配置参数；第二步，基于KAFKA集群处理平台获取其指定主题下的配置信息，其中，KAFKA集群处理平台的配置信息包括分区数量以及分区相关参数；第三步，根据待分配设备的ID以及虚机VPC的ID，分别计算对应的HashCode值；第四步，通过对KAFKA集群处理平台配置信息以及HashCode值进行取模，计算待分配设备配置参数发送到KAFKA集群处理平台的指定分区后，进行异步下发；第五步，KAFKA集群处理平台进行异步监听，并记录此次下发操作日志。2.根据权利要求1所述的一种基于KAFKA的VPC配置下发方法，其特征在于：在获取虚机VPC上线信息和待分配设备配置参数之后，且，在获取KAFKA集群处理平台指定主题的配置信息之前，还包括：需要将所述待分配设备配置参数组装成待分配设备所需要的报文格式。3....

【专利技术属性】
技术研发人员：杨志鹏，
申请(专利权)人：紫光云南京数字技术有限公司，
类型：发明
国别省市：