一种自动检测安全威胁的方法技术

本发明专利技术公开了一种自动检测安全威胁的方法，其特征在于，从海量的日志信息中自动检测出异常，基于客户端‑边缘‑次边缘的层次结构和分布式结构，采用人工智能的深度学习技术，接收日志事件流、预测新的事件，接收日志事件流中一组实际的即将到来的新的事件的一个或多个文本字符、确定即将到来的新的事件的一个或多个文本字符的即将到来的预测与实际的即将到来的新的事件的一个或多个文本字符的进行比较，根据比较结果，若该结果已超出规定的可接受值范围，则报告异常。通过本发明专利技术，解决了采集数据存放管理和服务分布就近提供的问题、基于集群方式则解决了单点服务能力经济扩展的问题和采用人工智能的机器学习算法解决及时修复故障、排除安全隐患和保障企业的正常运营的问题。

【技术实现步骤摘要】
一种自动检测安全威胁的方法
本专利技术涉及计算机、网络安全、人工智能、网络管理和自动控制的
，尤其涉及到一种自动检测安全威胁的方法。
技术介绍
已有的安全运维管理系统从IT计算环境的组件和工业基础设施中采集日志数据，一般地说，所采集日志数据均为无结构化的文本字符数据或是未知格式的数据。这使得安全运维管理系统分析这些数据非常困难，特别是这样的海量数据。这样的海量的无结构化数据对于分析是非常困难和耗时间的，为了能够从中检测到异常，并能够定位故障和快速修复。
技术实现思路
为了解决上述技术问题，本专利技术提供了一种自动检测安全威胁的方法，以能够从海量的无结构化数据中检测到异常，并能够定位故障和快速修复。一种自动检测安全威胁的方法，其特征在于，从海量的日志信息中自动检测出异常，基于客户端-边缘-次边缘的层次结构和分布式结构，采用人工智能的深度学习技术，提供服务重定向功能、数据发布功能、数据调度功能和数据老化功能；所述方法，还包括如下步骤：接收日志事件流，每一个日志事件都是原始采集数据的一部分和包含一个文本字符序列，且与生成原始采集数据的时间戳相关联，这些原始采集数据均由IT环境中的组件生成的和与IT环境中的活动或运维操作有关；预测新的事件，通过将来自日志事件流的事件的文本字符序列输入到已训练的神经网络中来决定对日志事件流中一组即将到来的新的事件的一个或多个文本字符的即将到来的预测；接收日志事件流中一组实际的即将到来的新的事件的一个或多个文本字符；决定值，基于将通过已训练的神经网络决定的日志事件流中的一组即将到来的新的事件的一个或多个文本字符的即将到来的预测与日志事件流中的一组实际的即将到来的新的事件的一个或多个文本字符的进行比较，根据比较结果来决定该值，其中，该值与一组即将到来的预测与接收到的一组实际文本字符之间的对比程度成正比；决定该值已超出规定的可接受的范围；报告异常。进一步地，所述一组即将到来的新的事件的一个或多个文本字符的即将到来的预测，采用基于字符的递归神经网络的机器学习算法，包括计算每一个字符可能会成为下一个字符的期望值。进一步地，所述日志事件流中的一组即将到来的新的事件的一个或多个文本字符的即将到来的预测与日志事件流中的一组实际的即将到来的新的事件的一个或多个文本字符的进行比较，包括将实际到达的下一个字符与下一个字符到达之前为下一个字符计算的相应期望值的字符进行比较。本专利技术的技术效果在于：在本专利技术中，提供了一种自动检测安全威胁的方法，其特征在于，从海量的日志信息中自动检测出异常，基于客户端-边缘-次边缘的层次结构和分布式结构，采用人工智能的深度学习技术，接收日志事件流、预测新的事件，接收日志事件流中一组实际的即将到来的新的事件的一个或多个文本字符、确定即将到来的新的事件的一个或多个文本字符的即将到来的预测与实际的即将到来的新的事件的一个或多个文本字符的进行比较，根据比较结果，若该结果已超出规定的可接受值范围，则报告异常。通过本专利技术，解决了采集数据存放管理和服务分布就近提供的问题、基于集群方式则解决了单点服务能力经济扩展的问题和采用人工智能的机器学习算法解决及时修复故障、排除安全隐患和保障企业的正常运营的问题。附图说明图1是一种自动检测安全威胁的方法的架构示意图；图2是一种自动检测安全威胁的方法地3种不同地例子事件的数据结构示意图；图3是一种自动检测安全威胁的方法的计算框架示意图；图4是一种自动检测安全威胁的方法的实现过程示意图；图5是一种自动检测安全威胁的方法的实现过程示意图。具体实施方式下面是根据附图和实例对本专利技术的进一步详细说明：图1是一种自动检测安全威胁的方法的架构示意图100；一种自动检测安全威胁的方法的框架，采用分布式的架构。根据实际情况，可以构成客户端-边缘-次边缘的层次结构和分布式结构（图1略去）。客户端-边缘-次边缘的层次结构解决了安全运维管理系统采集数据存放管理和服务分布就近提供问题，通过集群方式则解决了单点服务能力经济扩展的问题。本框架的主要功能，至少包括以下4种：（1）服务重定向功能（2）数据发布功能（3）数据调度功能（4）数据老化功能根据数据分发策略把数据分发到数据分发和存储系统130的边缘（边缘存储服务器），缩短边缘存储服务点与用户的距离，就近服务既降低了QoS问题解决难度，提供了端到端数据安全保证，也节省骨干网的带宽。本专利技术根据网络状况、数据存储服务器负载及用户位置灵活调度服务，均衡全网负载，确保服务质量。实现各种业务统计功能。动态监控网络流量和设备存储空间，报告服务的状态、利用率、故障和异常情况，请求成功率，并有完整的日志信息。虚拟的数据分发和存储系统130的实现，本申请可以将数据分发和存储系统130资源划分成多个不同的虚拟的数据分发和存储系统130，不同的虚拟的数据分发和存储系统130可以提供给不同的用户，支持多用户，或多个企业用户，安全运维管理服务提供商的不同的虚拟的数据分发和存储系统130，可以为不同的企业提供安全运维管理服务。本申请提供开放的管理接口给虚拟的数据分发和存储系统130或数据分发和存储系统130。通过这些接口，安全运维管理服务提供商可以很方便的实现多种灵活的运营策略。图1中的搜索引擎140，为存储在数据分发和存储系统130中的从数据源或被管设备181、185、188发送过来的采集数据提供搜索便利，这种便利在南京联成科技的安思易集中管控系统产品中得到体现。数据分发和存储系统130中的搜索引擎140通过通信网络120接收来自一个或一个以上的客户端110、114、118的搜索请求。数据分发和存储系统130可以部署在企业、数据中心，也可以部署在云计算数据中心。图1中的数据分发和存储系统130可以与图1中的多个客户端110、114、118进行通信。图1中的多个客户端与图1中的数据分发和存储系统130可以通过许多不同的通信方式进行通信。例如，图1中的客户端可以通过Internet协议、MML命令行和SDK进行通信。搜索引擎140分析接收到的搜索请求中请求参数。如果从客户端接收到的搜索请求中引用了由数据分发和存储系统130维护的索引，则搜索引擎140链接到数据分发和存储系统130中的搜索请求参数所引用的一个或一个以上的数据分发模块172、177上。也就是说，如果搜索请求引用了直接指向数据分发模块172、177的索引，则搜索引擎140访问该索引指向的数据分发模块172、177的数据。数据分发和存储系统130可以包括一个或一个以上的数据分发模块172、177，但取决于系统访问资源和需求。数据分发模块172、177从有关的数据存储模块162、165中检索搜索请求中指定的数据。数据分发模块172、177和关联的数据存储模块162、165可以包括一个或一个以上的存储设备并部署在同一个系统上，也可以部署在局域网上。...

【技术保护点】
1.一种自动检测安全威胁的方法，其特征在于，从海量的日志信息中自动检测出异常，基于客户端-边缘-次边缘的层次结构和分布式结构，采用人工智能的深度学习技术，提供服务重定向功能、数据发布功能、数据调度功能和数据老化功能；/n所述方法，还包括如下步骤：/n接收日志事件流，每一个日志事件都是原始采集数据的一部分和包含一个文本字符序列，且与生成原始采集数据的时间戳相关联，这些原始采集数据均由IT环境中的组件生成的和与IT环境中的活动或运维操作有关；/n预测新的事件，通过将来自日志事件流的事件的文本字符序列输入到已训练的神经网络中来决定对日志事件流中一组即将到来的新的事件的一个或多个文本字符的即将到来的预测；/n接收日志事件流中一组实际的即将到来的新的事件的一个或多个文本字符；/n决定值，基于将通过已训练的神经网络决定的日志事件流中的一组即将到来的新的事件的一个或多个文本字符的即将到来的预测与日志事件流中的一组实际的即将到来的新的事件的一个或多个文本字符的进行比较，根据比较结果来决定该值，其中，该值与一组即将到来的预测与接收到的一组实际文本字符之间的对比程度成正比；/n决定该值已超出规定的可接受的范围；/n报告异常。/n...

【技术特征摘要】
1.一种自动检测安全威胁的方法，其特征在于，从海量的日志信息中自动检测出异常，基于客户端-边缘-次边缘的层次结构和分布式结构，采用人工智能的深度学习技术，提供服务重定向功能、数据发布功能、数据调度功能和数据老化功能；
所述方法，还包括如下步骤：
接收日志事件流，每一个日志事件都是原始采集数据的一部分和包含一个文本字符序列，且与生成原始采集数据的时间戳相关联，这些原始采集数据均由IT环境中的组件生成的和与IT环境中的活动或运维操作有关；
预测新的事件，通过将来自日志事件流的事件的文本字符序列输入到已训练的神经网络中来决定对日志事件流中一组即将到来的新的事件的一个或多个文本字符的即将到来的预测；
接收日志事件流中一组实际的即将到来的新的事件的一个或多个文本字符；
决定值，基于将通过已训练的神经网络决定的日志事件流中的一组即将到来的新的事件的一个或多个文本字符的...

【专利技术属性】
技术研发人员：不公告发明人，
申请(专利权)人：南京联成科技发展股份有限公司，
类型：发明
国别省市：江苏;32