一种大数据集群管理方法和装置制造方法及图纸

一种大数据集群管理方法和装置，包括数据处理分析系统、数据收集系统和节点检测维护系统，且数据处理分析系统分别与数据收集系统和节点检测维护系统通讯连接，数据收集系统和节点检测维护系统通讯连接；资源收集服务器与数据储存库通讯连接；故障警示模块分别与节点反馈模块和自动维护模块通讯连接；数据处理分析系统包括调度策略执行器和智能防采集模块，调度策略执行器与智能防采集模块通讯连接。本发明专利技术通过节点检测维护系统，定时的对节点进行检查，防止节点卡死不工作时占用资源，以及对节点进行自动恢复，更加智能化；同时通过异常行为检测系统对输入数据和网络进行检查筛选，防止病毒以及脚本的运行，提高系统的自我防御能力。力。力。

【技术实现步骤摘要】
一种大数据集群管理方法和装置


[0001]本专利技术涉及计算机大数据
，尤其涉及一种大数据集群管理方法和装置。

技术介绍

[0002]作为大数据系统，常常涉及多个服务器或者服务器集群，而这些服务器或者服务器集群之间的核心配置信息往往都是相同的。现有的解决方案，一个是系统管理员手动一个机器一个机器或者一个集群一个集群的配置，另一个是搭建一个配置服务(例如etcd/zookeeper)，主动推送到服务器或者各个服务器被动拉取配置信息；第一点也是最重要的一条就是风险，表面上看我们使用集群调度系统降低了集群的风险，因为单个的节点挂了并不会影响整个集群的运行。我们只需要找到单个节点挂掉的原因进行修复，或者等待系统自动重启就好了。系统宕机的风险被均摊了，但问题是均摊风险其实本身就是很危险的事情，它也意味着风险的聚集。第二个不足是系统目前还不够智能，比如某个节点卡死了，没有挂一直占着资源。第三点集群里被人为安置了一些非法的脚本，比如黑客的入侵脚本，或者是挖矿脚本等等，因为资源都是系统调度的，人工很少干预，不能及时发现脚本或者病毒，自我防御效果较差；为解决上述问题，本申请中提出一种大数据集群管理方法和装置。

技术实现思路

[0003](一)专利技术目的
[0004]为解决
技术介绍
中存在的技术问题，本专利技术提出一种大数据集群管理方法和装置，通过节点检测维护系统，定时的对节点进行检查，防止节点卡死不工作时占用资源，以及对节点进行自动恢复，减少人工操作，更加智能化；同时通过异常行为检测系统对输入数据和网络进行检查筛选，防止病毒以及脚本的运行，提高系统的自我防御能力。
[0005](二)技术方案
[0006]本专利技术提供了一种大数据集群管理方法和装置，包括数据处理分析系统、数据收集系统和节点检测维护系统，且数据处理分析系统分别与数据收集系统和节点检测维护系统通讯连接，数据收集系统和节点检测维护系统通讯连接；其中，数据收集系统包括数据储存库和资源收集服务器，资源收集服务器与数据储存库通讯连接；节点检测维护系统包括节点反馈模块、故障警示模块和自动维护模块，故障警示模块分别与节点反馈模块和自动维护模块通讯连接；数据处理分析系统包括调度策略执行器和智能防采集模块，调度策略执行器与智能防采集模块通讯连接；其中，还包括异常行为检测系统；异常行为检测系统设置在资源收集服务器和数据储存库之间；
[0007]数据储存库，用于储存数量庞大，种类多样且含有不同价值密度的数据；
[0008]资源收集服务器，用于收集互联网上各种各样的数据，并将数据传输给数据库进行储存；
[0009]节点反馈模块，用于定期向节点服务器发送信号并接受其反馈信号，根据反馈信息来判断节点设备工作情况；
[0010]自动维护模块，用于发送指令并通过相应程序对宕机的节点进行维护修复；
[0011]节点警示模块，用于收集节点反馈模块的信息，当收到节点宕机信息时，发送信号给自动维护模块进行维护，并将故障信息发送给主控制系统；当收到节点正常工作信息后保持待机模式；
[0012]调度策略执行器，用于对数据储存库内不同质量和数量的数据进行管理；
[0013]智能防采集模块，用于自动识别多种验证码和代理IP，并根据相应的验证信息提供相应的数据和文件；
[0014]异常行为检测系统，用于检测数据和网络中的异常情况。
[0015]优选的，还包括多组节点管理设备，且节点管理设备上设有用于储存数据的容器；多组节点管理设备分别与资源收集服务器通讯连接。
[0016]优选的，异常行为检测系统包括入侵数据库、比对模块、自动检测模块和自动警示模块；
[0017]入侵数据库，用于储存入侵过的病毒案例以及解决方法；
[0018]自动检测模块，用于检测数据和网络在信息交换时是否有病毒和非法脚本；
[0019]自动警示模块，用于向下一级发送危险警示信号；
[0020]比对模块，用于对入侵病毒的种类与入侵数据库进行比对，当与入侵数据库内新型比对成功的直接使用相应程序进行消灭，当比对不成功时，发送信息给自动警示模块。
[0021]优选的，自动检测模块包括漏洞扫描、木马扫描、内容监控和数据加密；
[0022]漏洞扫描，用于对网络中的漏洞进行扫描捕获；
[0023]木马扫描，用于对数据和网络中的木马病毒进行扫描；
[0024]内容监控，用于对传输的数据内容进行监控，防止非法数据和内容的输入；
[0025]数据加密，用于对重要信息和数据进行加密，增加数据的安全性。
[0026]优选的，调度策略执行器包括数据统计模块、数据解析模块和数据比对模块；
[0027]数据统计模块，用于对数据存储库内的数据进行统计分类，并分类储存；
[0028]数据解析模块，用于对数据储存库内的不同数据进行解析方便归类和统计；
[0029]数据比对模块，用于对数据储存库内的数据进行比对，将不同大小的数据分开，方便计算占用内存。
[0030]优选的，智能防采集模块包括关键词索引模块、类别索引模块和功能索引模块；
[0031]关键词索引模块，用于根据搜索关键词并抓取数据储存库内的信息；
[0032]类别索引模块，用于根据不同类别来搜索并抓取数据储存库内的信息；
[0033]功能索引模块，用于根据不同功能来搜索并抓取数据储存库内的信息。
[0034]优选的，入侵数据库设有自动更新和手动更新功能。
[0035]优选的，大数据集群管理方法，具体包括以下步骤；
[0036]S1、通过资源收集服务器负责搜集这些节点管理设备中容器当前的状态，如果有已经执行结束的，则把它们添加进数据储存库当中；
[0037]S2、在储存的过程中，先通过异常行为检测系统对其数据进检测；检测时，通过自动检测模块中的漏洞扫描和木马扫描，对数据和网络中的木马病毒和漏洞进行扫描捕获；然后对传输的数据内容进行监控，防止非法数据和内容的输入；以及对重要信息和数据进行加密，增加数据的安全性；
[0038]S3、当自动检测模块检测到病毒或脚本时，自动对病毒和脚本与入侵数据库内的数据进行比对；当比对成功时，自动执行相应程序进行杀毒，当比对不成功时，启动自动警示模式进行提醒；然后通过人工操作进行杀毒
[0039]S4、数据进入数据储存库储存后，通过调度策略执行器对数据储存库内不同质量和数量的数据进行管理，之后通过数据统计模块、数据解析模块和数据比对模块对数据存储库内的数据进行统计分类、解析归类和将不同大小的数据分开并储存；
[0040]S5、最后通过智能防采集模块，自动识别多种验证码和代理IP，并根据相应的验证信息提供相应的数据和文件。
[0041]与现有技术相比，本专利技术的上述技术方案具有如下有益的技术效果：通过节点检测维护系统，定时的对节点进行检查，防止节点卡死不工作时占用资源，以及对节点进行自动恢复，减少人工操作，更加智能化；同时通过异常行本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种大数据集群管理方法和装置，其特征在于，包括数据处理分析系统、数据收集系统和节点检测维护系统，且数据处理分析系统分别与数据收集系统和节点检测维护系统通讯连接，数据收集系统和节点检测维护系统通讯连接；其中，数据收集系统包括数据储存库和资源收集服务器，资源收集服务器与数据储存库通讯连接；节点检测维护系统包括节点反馈模块、故障警示模块和自动维护模块，故障警示模块分别与节点反馈模块和自动维护模块通讯连接；数据处理分析系统包括调度策略执行器和智能防采集模块，调度策略执行器与智能防采集模块通讯连接；其中，还包括异常行为检测系统；异常行为检测系统设置在资源收集服务器和数据储存库之间；数据储存库，用于储存数量庞大，种类多样且含有不同价值密度的数据；资源收集服务器，用于收集互联网上各种各样的数据，并将数据传输给数据库进行储存；节点反馈模块，用于定期向节点服务器发送信号并接受其反馈信号，根据反馈信息来判断节点设备工作情况；自动维护模块，用于发送指令并通过相应程序对宕机的节点进行维护修复；节点警示模块，用于收集节点反馈模块的信息，当收到节点宕机信息时，发送信号给自动维护模块进行维护，并将故障信息发送给主控制系统；当收到节点正常工作信息后保持待机模式；调度策略执行器，用于对数据储存库内不同质量和数量的数据进行管理；智能防采集模块，用于自动识别多种验证码和代理IP，并根据相应的验证信息提供相应的数据和文件；异常行为检测系统，用于检测数据和网络中的异常情况。2.根据权利要求1所述的一种大数据集群管理方法和装置，其特征在于，还包括多组节点管理设备，且节点管理设备上设有用于储存数据的容器；多组节点管理设备分别与资源收集服务器通讯连接。3.根据权利要求1所述的一种大数据集群管理方法和装置，其特征在于，异常行为检测系统包括入侵数据库、比对模块、自动检测模块和自动警示模块；入侵数据库，用于储存入侵过的病毒案例以及解决方法；自动检测模块，用于检测数据和网络在信息交换时是否有病毒和非法脚本；自动警示模块，用于向下一级发送危险警示信号；比对模块，用于对入侵病毒的种类与入侵数据库进行比对，当与入侵数据库内新型比对成功的直接使用相应程序进行消灭，当比对不成功时，发送信息给自动警示模块。4.根据权利要求3所述的一种大数据集群管理方法和装置，其特征在于，自动检测模块包括漏洞扫描、木马扫描、内容监控和数据加密；漏洞扫描，...

【专利技术属性】
技术研发人员：何怀文，程东，李瑞芳，肖涛，黄敏，
申请(专利权)人：电子科技大学中山学院，
类型：发明
国别省市：