一种基于云原生的AI检测自适应方法和系统技术方案

本发明专利技术涉及云原生技术领域，提供一种基于云原生的AI检测自适应方法和系统，本发明专利技术的方法，包括：获取原始日志数据，根据不同协议将获取的原始日志数据分配至不同的队列中；采用不同模型检测容器从对应的队列中获取数据进行检测，将检测结果发送至对应的告警通道；监测各队列中数据的被检测情况，根据被检测情况制定控制策略调整运行的模型检测容器。根据本发明专利技术示例性实施例的基于云原生的AI检测自适应方法和系统，可以实现资源的精细化隔离和动态调整以及模型的横向可扩展性。调整以及模型的横向可扩展性。调整以及模型的横向可扩展性。

【技术实现步骤摘要】
一种基于云原生的AI检测自适应方法和系统


[0001]本专利技术涉及云原生
，尤其涉及一种基于云原生的AI检测自适应方法和系统。

技术介绍

[0002]应用于网络安全领域的产品形态多数是以单台物理服务器搭配软件部署的形式交付销售。在这种场景下，多数用于威胁检测的AI检测模型都是直接部署在物理服务器上，通过开启多个进程或线程来实现AI模型的实时检测。
[0003]在实际应用中，现有的模式存在以下不足：1.无法实现资源的精确隔离，多进程的调度无法精确地实现CPU和内存的分配和调度，线程无法分配资源来进行隔离。2.在实际运行过程中，需要提供提前分析现网的数据量的大小，来预先分配不同模型的个数，这样的模式比较死板，如果分配的资源过多会造成资源浪费，如果分配的资源太少，在运行的过程中会出现性能瓶颈，且如果遇到接入的数据量大小不均匀，会出现波峰波谷的情况，则无论怎么分配都会遇到问题。3.当有多个模型都运行在一个框架下时，由于不同模型的启动个数是成比例调配的，但是不同的AI检测模式使用的算法不尽相同，导致检测的速度也都不同，这样就无法实现根据不同检测模型的不同检测速度实现横向扩展。
[0004]因此，如何提供一种可以实现资源精确隔离和分配以及支持检测模型横向扩展的AI模型检测方法，成为亟待解决的技术问题。

技术实现思路

[0005]有鉴于此，本专利技术为了解决资源无法精确隔离和分配以及检测模型无法横向扩展的问题，通过基于云原生的架构实现资源的隔离以及检测模型的扩展，通过监测和核心控制实现资源的精确分配调整，提供一种基于云原生的AI检测自适应方法和系统。
[0006]一方面，本专利技术提供一种基于云原生的AI检测自适应方法，包括：
[0007]步骤S1：获取原始日志数据，根据不同协议将获取的原始日志数据分配至不同的队列中；
[0008]步骤S2：采用不同模型检测容器从对应的队列中获取数据进行检测，将检测结果发送至对应的告警通道；
[0009]步骤S3：监测各队列中数据的被检测情况，根据被检测情况制定控制策略调整运行的模型检测容器。
[0010]进一步地，本专利技术基于云原生的AI检测自适应方法的步骤S1中的原始日志数据为四层或七层协议原始日志数据。
[0011]进一步地，本专利技术基于云原生的AI检测自适应方法的步骤S2中，采用不同模型检测容器从对应的队列中获取数据进行检测，包括：为同一种检测模式的模型检测容器创建容器检测组，通过容器检测组的模型检测容器从对应的队列中获取数据进行检测。
[0012]进一步地，本专利技术基于云原生的AI检测自适应方法的步骤S3，包括：监测各队列的
原始数据导入速度以及与所述队列对应的容器检测组的数据检测速度，根据所述原始数据导入速度与数据检测速度的差值变化制定控制策略，并根据控制策略调整模型检测容器的数量。
[0013]进一步地，本专利技术基于云原生的AI检测自适应方法的步骤S3，包括：
[0014]当所述原始数据导入速度与数据检测速度的差值大于零时，增加模型检测容器的数量，直到所述原始数据导入速度与数据检测速度相等；
[0015]当所述原始数据导入速度与数据检测速度的差值小于零时，减少模型检测容器的数量，直到所述原始数据导入速度与数据检测速度相等；
[0016]当所述原始数据导入速度与数据检测速度的差值等于零时，保持模型检测容器的数量不变。
[0017]另一方面，本专利技术提供一种基于云原生的AI检测自适应系统，包括：
[0018]数据导入模块，用于获取原始日志数据，根据不同协议将获取的原始日志数据分配至不同的队列中；
[0019]队列信息模块，用于根据不同协议将导入模块导入的原始日志数据存储至对应的队列；
[0020]K8s容器模块，用于运行不同的模型检测容器，所述模型检测容器用于从对应的队列中获取数据进行检测；
[0021]核心控制器，用于监测各队列中数据的被检测情况，根据被检测情况制定控制策略；
[0022]K8s控制模块，用于根据核心控制器制定的控制策略调整运行的模型检测容器；
[0023]告警数据模块，具有多个告警通道，用于接收各模型检测容器发送的检测结果。
[0024]进一步地，本专利技术基于云原生的AI检测自适应系统，K8s容器模块中的模型检测容器用于从对应的队列中获取数据进行检测，将检测结果发送至对应的告警通道。
[0025]进一步地，本专利技术基于云原生的AI检测自适应系统的K8s容器模块中，同一种检测模式的模型检测容器属于同一容器检测组。
[0026]进一步地，本专利技术基于云原生的AI检测自适应系统的核心控制器具体用于：监测各队列的原始数据导入速度以及与所述队列对应的容器检测组的数据检测速度，根据所述原始数据导入速度与数据检测速度的差值变化制定控制策略。
[0027]进一步地，本专利技术基于云原生的AI检测自适应系统的K8s控制模块具体用于：
[0028]当所述原始数据导入速度与数据检测速度的差值大于零时，增加模型检测容器的数量，直到所述原始数据导入速度与数据检测速度相等；
[0029]当所述原始数据导入速度与数据检测速度的差值小于零时，减少模型检测容器的数量，直到所述原始数据导入速度与数据检测速度相等；
[0030]当所述原始数据导入速度与数据检测速度的差值等于零时，保持模型检测容器的数量不变。
[0031]本专利技术基于云原生的AI检测自适应方法和系统，具有以下有益效果：
[0032]1.基于云原生的底层架构可以很好地实现资源的隔离，所有的检测模型不直接部署在物理服务器上，而是部署于基于k8s的底层架构上，实现资源的精细化隔离。
[0033]2.通过实时监测数据的导入和监测，实现了不同模型的资源动态调整，不需要人
工干预，避免了出现性能瓶颈和资源浪费。
[0034]3.基于云原生的k8s架构，不要再使用一个大的检测框架，来包含各个模型的运行，可以将不同的模型进行分拆，每个模型根据自己的特点独立运行，使用统一的数据输出接口，实现对模型的独立控制，可以根据实际需要来分配资源，实现资源的最大利用以及模型的横向可扩展性。
附图说明
[0035]为了更清楚地说明本专利技术实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
[0036]图1为本专利技术示例性第一实施例一种基于云原生的AI检测自适应方法的流程图。
[0037]图2为本专利技术示例性第三实施例一种基于云原生的AI检测自适应系统的架构图。
[0038]图3为本专利技术示例性第五实施例一种基于云原生的AI检测自适应系统的应用原理图。
具体实施方式
[0039]下面结合附图对本专利技术实施例进行详细描述。
[0040]需说明的是，在本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于云原生的AI检测自适应方法，其特征在于，所述方法，包括：步骤S1：获取原始日志数据，根据不同协议将获取的原始日志数据分配至不同的队列中；步骤S2：采用不同模型检测容器从对应的队列中获取数据进行检测，将检测结果发送至对应的告警通道；步骤S3：监测各队列中数据的被检测情况，根据被检测情况制定控制策略调整运行的模型检测容器。2.根据权利要求1所述的基于云原生的AI检测自适应方法，其特征在于，步骤S1中的原始日志数据为四层或七层协议原始日志数据。3.根据权利要求1所述的基于云原生的AI检测自适应方法，其特征在于，步骤S2中，采用不同模型检测容器从对应的队列中获取数据进行检测，包括：为同一种检测模式的模型检测容器创建容器检测组，通过容器检测组的模型检测容器从对应的队列中获取数据进行检测。4.根据权利要求1所述的基于云原生的AI检测自适应方法，其特征在于，步骤S3，包括：监测各队列的原始数据导入速度以及与所述队列对应的容器检测组的数据检测速度，根据所述原始数据导入速度与数据检测速度的差值变化制定控制策略，并根据控制策略调整模型检测容器的数量。5.根据权利要求4所述的基于云原生的AI检测自适应方法，其特征在于，步骤S3，包括：当所述原始数据导入速度与数据检测速度的差值大于零时，增加模型检测容器的数量，直到所述原始数据导入速度与数据检测速度相等；当所述原始数据导入速度与数据检测速度的差值小于零时，减少模型检测容器的数量，直到所述原始数据导入速度与数据检测速度相等；当所述原始数据导入速度与数据检测速度的差值等于零时，保持模型检测容器的数量不变。6.一种基于云原生的AI检测自适应系统，所述系统，包括：数据导入模块...

【专利技术属性】
技术研发人员：李冬，
申请(专利权)人：中电云数智科技有限公司，
类型：发明
国别省市：