一种基于大数据的信息安全管理运维服务平台的数据采集处理方法及装置制造方法及图纸

本发明专利技术公开了一种基于大数据的信息安全管理运维服务平台的数据采集处理方法及装置，该方法包括：分布式存储引擎，能够并行地接收所采集到的数据，并快速存储；分布式查询引擎，能够根据查询请求查询所存储的采集数据并快速返回；半结构化实时数据库，存储所采集数据的数据库。采用本发明专利技术，在满足实时采集、实时查询和高可用性的同时，也能够增强用户体验，以及平台的可扩展性。

【技术实现步骤摘要】

本专利技术涉及信息安全应用
，尤其涉及非结构化实时数据库的数据存储性能、数据查询性能和平台高可用性。
技术介绍
本专利技术中包含的英文简称如下: SPL: Search Processing Language搜索处理语言 ETL:Extract, Transform and Load提取、转换和加载技术 SOC: Security Operat1n Center安全管理中心 IDS: Intrus1n Detect1n Systems入侵检测系统 MIS:Management Informat1n System管理信息系统 DMZ:demilitarized zone隔离区、或非军事化区 APP: Applicat1n应用程序 SNMP:Simple Network Management Protocol简单网络管理协议 HDFS:Hadoop Distribute File System Hadoop分布式文件系统 ODBC:Open Database Connectivity开放数据库互连 WMI:ffindows Management Instrumentat1n Windows管理规范 0psec:0pen Platform for Security安全开放平台 NAS: Network Attached Storage网络附属存储 SAN:Storage Area Network and SAN Protocols存储区域网络及其协议 IBM: Internat1nal Business Machines Corporat1n!!际商业机器公司 MQ:Message Queue消息队列 安全生产历来是保障各项工作有序开展的前提，也是考核各级领导干部的否决指标。网络及信息安全管理运维体系是各类企业安全生产工作的重要组成部分。保障网络高效稳定地运行，是企业一切市场经营活动和正常运作的基础。随着各类企业信息系统的建设和完善，有效的提高了劳动生产率，降低了运营成本。一旦企业各业务系统出现安全事件、或发生故障、或形成性能瓶颈，不能及时发现、不能及时处理、不能及时恢复，势必直接影响企业的业务运行，影响企业的正常运营秩序，导致企业业务不能正常开展。因此，对于企业IT基础实施的安全保障就显得格外重要。随着企业信息化程度不断提高。各业务系统间联系越来越密切，数据交换越来越频繁，各系统有着复杂网络或逻辑连接，存在大量数据交换，甚至一个故障可以引发成为企业全网故障，一点或一种业务系统出现漏洞感染病毒或受到攻击，将迅速波及其它业务系统及网络，甚至导致企业全网瘫痪。尽管目前一些企业的信息安全技术体系已初步形成，但是随着系统里存储的事件越来越大，查询速度越来越慢，用户的也会越来越体验差。目前，各类企业信息安全运维管理平台存在以下问题: 1、各种信息安全产品和网络设备品种多，分布广，数据量大，缺少统一的数据分析管理和风险管理，缺少基于大数据的信息安全分析； 2、信息安全产品和网络设备的知识库不统一，缺少统一的解决方案； 3、安全职责不清，具体职责未落实到位； 4、信息安全管理运维考核不细致，缺少部分必要和关键的指标； 5、不同安全设备事件之间甚至同一安全设备的事件缺少更加高级智能的分析和汇聚关联，导致数据量庞大，不便于对安全隐患的分析和发现问题，防患于未然； 6、信息安全事件上报不及时，故障诊断不及时，处理效率低，效果差； 7、信息安全事件和资产的漏洞没有进行必要的关联分析和风险分析，导致很多事件没有进一步的分析和处理； 8、出现紧急事件没有很好的预警和处理流程，缺乏数据在线备份、离线备份和数据恢复工具。上述问题不同程度地存在企业已经建成的业务和网络之中，成为企业今后业务安全管理运维稳定提升的障碍。为此，如何利用信息化手段提高企业安全管理运维效益，解决企业各系统所存在的安全隐患，以及设计出基于大数据的海量事件处理方法及装置，优化企业信息安全管理和维护工作，使得它能够为各类企业提供专业的和高效率的信息安全管理运维服务，即成为尤其是信息安全管理运维服务商必须要解决的一个重要课题。
技术实现思路
本专利技术在分析了上述各类企业信息安全管理运维服务平台的缺陷和不足之后，提出了一种基于大数据的信息安全管理运维服务平台的数据采集处理方法及装置，在满足实时采集、实时查询和高可用性的同时，也能够提升用户体验，以及平台的可扩展性。本专利技术的核心思想包括:构建基于大数据的信息安全管理运维服务平台的分布式存储引擎、分布式查询引擎和半结构化实时数据库，提升采集数据、存储数据和数据查询的性能，以及平台的高可用性。分布式存储引擎，并行地接收所采集到的数据，以及对所采集到的数据能够实现快速“就近存储”，即选择最近的存储节点快速存储所采集到的数据，或者说，将同一个地点的采集数据存储到最近节点(或者次最近节点)上；并且，存储服务器可以按照时长或存储块大小的策略进行分片，索引服务器依据节点和时间段(或存储块大小)信息建立索引。所采集到的数据选择存储数据库时，首先，考虑选择最近的节点(或次最近节点)来存储所采集到的数据;其次，选择与之采集时间范围匹配的索引服务器之下的数据库服务器存储所采集到的数据;或者，选择与之采集时间匹配的索引服务器之下的存储块分片，将所采集到的数据存储到所包含的多个分片所对应的数据库中。进一步地，上述方法还包括:索引服务器，按照预定的采集数据存储策略建立索引。进一步地，为了提升和优化所采集到数据的入库性能，需要采用并行处理机制，例如，使用Hadoop MapReduce或Spark分布式架构。分布式查询，根据查询请求，分布式查询引擎首先确定该查询请求涉及到一个或多个节点上的索引服务器(或同一个节点内的多个索引服务器或不同节点的多个索引服务器)。如果该查询请求涉及多个索引服务器，则同时转发该查询请求到所述多个索引服务器中。各个索引服务器将查询结果返回给分布式查询引擎，分布式查询引擎合并查询结果;为了提升查询性能，需要采用并行查询机制，例如，使用Hadoop MapReduce或Spark分布式架构。半结构化实时数据库，存储所采集数据的数据库，采用半结构化的实时数据库，或非结构化实时数据库。由于传统结构化数据库需要事先熟悉全部数据，这几乎不可能，因为所采集的数据字段数量是非常之大，而且所采集的数据由于设备老化和升级等原因其数据字段也是动态变化的，事先正确地了解它们往往是不切实际的。进一步地，为了保证安全管理运维服务平台的高可用性，索引服务器和存储采集数据的分片，需要存储多个副本。例如，索引服务器存储两个副本，而存储采集数据分片则存储3个副本。这多个副本，既可以在同一个节点内的不同服务器上，也可以在不同的节点的服务器上。本专利针对目前技术方案中存在的主要问题而提供了一当前第1页1 2 3 本文档来自技高网...

【技术保护点】
本专利技术提供了一种基于大数据的信息安全管理运维服务平台的数据采集处理方法及装置，所述方法包括：(1) 分布式存储引擎，能够并行地接收所采集到的数据，并进行存储,(2) 分布式查询，能够根据查询请求查询所存储的采集数据ing快速返回,(3) 半结构化实时数据库，存储所采集数据的数据库，采用半结构化的实时数据库，或非结构化实时数据库。

【技术特征摘要】

【专利技术属性】
技术研发人员：凌飞，李木金，
申请(专利权)人：南京联成科技发展有限公司，
类型：发明
国别省市：江苏;32