使用无监督式机器学习和优先权算法的高速威胁情报管理的系统及方法技术方案

本文档揭示一种用于整并计算机及其相关网络的威胁情报数据的系统和方法。数量庞大的原始威胁情报数据收集自多个来源，且被划分成一公共格式以供进行群集分析，其中数据的群集是使用无监督式机器学习算法来达成。产生的经组织的威胁情报数据其后经历以加权资产为基础的威胁严重等级相关过程。一特定计算机网络的所有中间网络漏洞均被使用做为此过程的关键整并参数。透过此高速自动化过程所收集的经过处理的最终情报数据接着在传输至第三方之前被格式化成预定义格式。

【技术实现步骤摘要】
【国外来华专利技术】使用无监督式机器学习和优先权算法的高速威胁情报管理的系统及方法
本专利技术涉及一种用于整并计算机及其相关网络的威胁情报数据(threatintelligencedata)的系统和方法。特别是，本专利技术涉及从多个来源收集数量庞大的原始威胁情报数据，并将所收集的数据划分成一公共格式以供进行群集分析(clusteranalysis)。接着其使用无监督式机器学习算法(unsupervisedmachinelearningalgorithm)将经过标准化的数据群集。所产生的经过组织的威胁情报数据其后经历以加权资产(weightedasset)为基础的威胁严重等级相关过程。一特定计算机网络的所有中间网络漏洞均被使用做为此过程的关键整并参数。透过此高速自动化过程所集纳的经过处理的最终情报数据接着在传输至第三方之前被格式化成预定义格式。现有技术概述计算机及其相关网络的安全和健全对于企业每日的正常运作而言已变得极其重要，因为储存于这些计算机和网络之内的信息无日不受到来自各式各样来源的日益复杂的恶意网络威胁的威胁。由于计算技术的进展，对于计算机网络的攻击也已变得日渐复杂，使得现有的安全专家和他们的管理工具均难以应付和减轻这些攻击。这些网络攻击的形式可以是来自计算机病毒、蠕虫(worm)、拒绝服务攻击(denialofserviceattack；DoS)、特洛伊木马(Trojanhorse)、网络钓鱼(phishing)、或者任何其他恶意的软件的威胁，其意图是扰乱基本的计算机运作、收集敏感数据及/或获取限制性计算机网络的存取权。这种性质的软件概括地被称为"恶意软件(malware)"。因此，为了先行预防可能由这些威胁对重要信息资产所造成的任何损害，其需要维持有关这些网络安全威胁的最新情报信息的持续性境况知晓。为了减轻施加到计算机及其相关网络的网络威胁，安全提供者需要有关于这些威胁的概貌及来源的详细信息。此信息将包括特定恶意软件的来源，诸如域名(domainname)、因特网协议(IP)地址、相关网站及其统一资源定位符(URL)、电子邮件地址、国家及全球位置坐标、以及这些恶意软件的检测足迹，使得网络安全提供者能够拿出全面性的策略来预测及缓解这些恶意软件。由于网络安全提供者不可能自己获得这种信息，所以这种信息通常是从诸如开放来源与商业厂商的各种情报来源取得的。这些情报来源供应网络威胁情报数据，所述数据提供有关于已被检测、标识且分类的潜在与现有的网络威胁的信息。从这些信息提供者取得的数据从而可以由网络安全提供者和系统管理者使用，以确保其计算机系统对于这些潜在威胁被妥善保护。多数系统管理者向开放来源和商业网络安全提供者两方均预订所述威胁情报数据。然而，来自每一个这些来源的数据馈入通常被表示成它们自己的专有格式，且取决于研发团队的实力，还带有不同程度有效性和可靠度。错误、不精确、及/或误导信息的传递的可能性特别令人关注，因为此虚假信息可能对使用所接收威胁情报的组织或政府的能力造成广泛的质疑。此虚假信息问题并不容易处理，因为信息的数字传输是以非常高的速度、自由且大量地进行。因此，对于网络管理者而言，其难以正确地采用这些不一致的数据馈入而后将其变成对抗入侵安全威胁的可用的可操作回应。此外，由于数量庞大的原始数据是由各种情报来源每日产生，所以从这些大量原始数据提炼可操作信息是一项令人却步的事情，所述原始数据中甚至可能包含重复的数据。当每一个情报来源均以其自己的语言用其自己的规则、使用其自己的网络协议和事件日志传递数据时，此问题变得格外错综复杂。这造成使用随着来源变动的各种网络协议的各种格式数据的传输。有鉴于此，大多数网络安全威胁情报系统的提供者均将不知所措，且其网络安全威胁情报态势的总体视野将不足、延迟和混淆。因此，实际切入不同格式的大量原始威胁情报数据并且将其转换成有用的情报数据是一个巨大的挑战。这些人力和技术低效的累积将使得数据的传输无法被第三方充分运用。DeloitteDevelopmentLLC名下的标题为"CollectiveThreatIntelligenceGatheringSystem(集体威胁情报收集系统)"的美国专利号8,813,228B2提出一种从多种来源收集威胁情报数据的系统。该系统从而对数据进行聚集、标准化、过滤、评分和分类，以标识出对于一信息网络的威胁。本文档还揭示出，最终而言，传入情报数据的每一馈入均被分类成预定义的威胁类别。还使用市售或公开可用的已知威胁数据对该数据进行分析和评分。得到高恶意分数的数据接着被进一步格式化，而后被分发给消费者。RamakrishnaSatyavolu等人名下的标题为"MethodandApparatusforControlledEstablishmentofaTurnkeySystemProvidingaCentralizedDataAggregationandSummaryCapabilitytoThirdPartyEntities(用于提供集中式数据聚集与摘要能力给第三方实体的成套系统的受控构建的方法与设备)"的美国专利公开号2003/0191832A1揭示了一种用以从一网络收集和聚集数据的软件系统，其中数据从而被区隔、优化和归纳，然后经过处理的数据被分发给第三方。第三方利用建立自该系统的情报以提供及改善他们的安全系统。概括而言，从各种来源取得的数据馈入并不提供即时和自动化的威胁情报分析。特别是，没有网络威胁数据源提供评估流向目标计算机系统的数据的正确性和相关性的"智能"数据馈入。在能从数据产生出任何意义之前，所有取得的数据仍将必须通过由一分析人员进行分析的冗长且耗时的过程。此外，虽然威胁数据可以被分析和评分，但这些数据可能与一特定网络并不相关，并且因此，一计算机网络仍可能被达成高威胁评分的恶意数据淹没或过载。基于以上理由，本领域技术人员一直持续致力于完成一种能够透过多个网络协议从多个来源收集和聚集大量原始网络威胁情报数据，并且在重新分发给有兴趣的第三方之前，将这些原始数据转换成可用格式的系统和方法。专利技术概述依据本专利技术的实施例所提供的系统和方法解决上述和其他问题并获得技术的进展。依据本专利技术的系统和方法的实施例的第一优点在于：可以以一种高效的方式从大量的情报产生来源收集威胁情报数据，无论用于数据收集的数据格式或网络协议为何，仅有相关于受监视目标计算机网络的数据被格式化成该计算机网络的预定义格式。依据本专利技术的系统和方法的实施例的第二优点在于：来自许多来源的威胁情报数据可以被以高速方式有效且高效地聚集，且能够立即被投入使用，以针对在所接收的威胁情报数据之中所强调的预期网络攻击，防护一特定计算机网络。依据本专利技术的系统和方法的实施例的第三优点在于：仅有已经过验证且相关于该计算机网络的威胁情报信息被格式化成该计算机网络的预定义格式。这种数据对于该计算机网络的安全团队极为有用，因为这大幅地降低安全分析者必须遍览的数据量。依据本专利技术的系统和方法的实施例的第四优点在于：针对群集的形成，使用无监督式机器学习算法，从而贯穿采用的网络训练周期，去除对外部协助的需要。此群集分析方法将会把已知和未知的威胁分组成群集地图，其中未知的安全威胁也会被检测到，因为群集分析让未知的恶意威胁或异常本文档来自技高网...

【技术保护点】
一种整并计算机网络的威胁情报数据的方法，该方法由一计算机系统执行，该方法包括：从多个来源收集威胁情报数据，并将所收集的威胁情报数据标准化成一致数据格式；使用无监督式机器学习算法将经过标准化的威胁情报数据分组成群集，其中每一群集均包括代表威胁情报数据的一属性的一群数据；针对对于该计算机网络而言具有严重性的群集进行分类；将被分类成具有严重性的群集与该计算机网络的一安全态势比较以确定该计算机系统感兴趣的群集；以及将被确定为该计算机系统感兴趣的群集格式化成该计算机网络的一预定义格式。

【技术特征摘要】
【国外来华专利技术】1.一种整并计算机网络的威胁情报数据的方法，该方法由一计算机系统执行，该方法包括：从多个来源收集威胁情报数据，并将所收集的威胁情报数据标准化成一致数据格式；使用无监督式机器学习算法将经过标准化的威胁情报数据分组成群集，其中每一群集均包括代表威胁情报数据的一属性的一群数据；针对对于该计算机网络而言具有严重性的群集进行分类；将被分类成具有严重性的群集与该计算机网络的一安全态势比较以确定该计算机系统感兴趣的群集；以及将被确定为该计算机系统感兴趣的群集格式化成该计算机网络的一预定义格式。2.如权利要求1所述的方法，其中针对对于该计算机网络而言具有严重性的群集进行分类包括：撷取与该计算机网络相关联的计算机资产的一列表；标识出影响所述计算机资产的一计算特征的群集；以及将被标识出的影响所述计算机资产的一计算特征的群集分类成对于该计算机网络而言具有严重性。3.如权利要求2所述的方法，还包括：撷取赋予与该计算机网络相关联的所述计算机资产中的每一者的严重性权重数值；加总所撷取的严重性权重数值；以及将加总后的严重性权重数值分配给该计算机网络。4.如权利要求2所述的方法，其中该计算特征包括一计算机资产的一操作系统或一网络协议。5.如权利要求1所述的方法，其中在将被分类成具有严重性的群集与该计算机网络的一安全态势比较以确定该计算机系统感兴趣的群集之前，该方法还包括：产生该计算机网络的该安全态势。6.如权利要求5所述的方法，其中产生该计算机网络的该安全态势包括：建立代表该计算机网络的一对象模型，其中该对象模型包括该计算机网络内所包含的计算机资产的计算机安全信息；以及执行一分析程序，该分析程序可操作以使用该对象模型运行该计算机网络之中的所述计算机资产中的每一者的漏洞测试，其中该漏洞测试的结果被用来确定该计算机网络的该安全态势。7.如权利要求6所述的方法，其中使用该对象模型的该计算机网络之中的所述计算机资产中的每一者的漏洞测试包括有关该计算机网络的系统层级和拓扑漏洞的测试、以及所述计算机资产的节点层级漏洞的测试。8.如权利要求1所述的方法，其中使用机器学习算法将经过标准化的威胁情报数据分组成群集，其中每一群集均包括代表威胁情报数据的一属性的一群数据的步骤还包括：使用每一群集之中的威胁情报数据验证所述群集。9.如权利要求8所述的方法，其中验证所述群集包括：指派权重数值给包含于所述群集之中的每一记录，其中相较于指派给一源自一商业来源的记录的一权重数值，一源自一开放来源的记录被指派一较低的权重数值；加总包含于每一群集之中的记录的权重数值；以及验证所具有的加总权重数值超过一预定义阈值的群集。10.如权利要求1所述的方法，还包括：使用所述经过格式化的群集来更新该计算机网络的该安全态势。11.如权利要求1所述的方法，其中该威胁情报数据的该属性包括一计算机安全威胁或一因特网协议(IP)地址。12.一种用于整并计算机网络的威胁情报数据的系统，包括：一处理单元；以及一能由该处理单元读取的非瞬态介质，该介质储存当由该处理单元执行时使该处理单元进行以下动作的指令：从多个来源收集威胁情报数据，并将所收集的威胁情报数据标准化成一致数据格式；使用无监督式机器学习算法将经过标准化的威胁情报数据分组成群集，其中每一群集均包括代表威胁情报数据的一属性的一群数据；针对对于该计算机网络而言具有严重性的群集进行分类；将被分类成具有严重性的群集与该计算机网络的一安全态势比较以确定该计算机系统感兴趣的群集；以及将被确定为该计算机系统感兴趣的群集格式化成该计算机网络的一预定义格式。13.如权利要求12所述的系统，其中用以针对对于该计算机网络而言具有严重性的群集进行分类的指令包括：用以指导该处理单元进行以下动作的指令：撷取与该计算机网络相关联的计算机资产的一列表；标识出影响所述计算机资产的一计算特征的群集；以及将被标识出的影响所述计算机资产的一计算特征的群集分类成对于该计算机网络而言具有严重性。14.如权利要求12所述的系统，还包括：用以指导该处理单元进行以下动作的指令：撷取赋予与该计算机网络相关联的所述计算机资产中的每一者的严重性权重数值；加总所撷取的严重性权重数值；以及将加总后的严重性权重数值分配给该计算机网络。15.如权利要求12所述的系统，其中该计算特征包括一计算机资产的一操作系统或一网络协议。16.如权利要求12所述的系统，其中在用以将被分类成具有严重性的群集与该计算机网络的一安全态势比较以确定该计算机系统感兴趣的群集的指令之前，该系统还包括：用以指导该处理单元进行以下动作的指令：产生该计算机网络的该安全态势。17.如权利要求16所述的系统，其中用以产生该计算机网络的该安全态势的指令包括：用以指导该处理单元进行以下动作的指令：建立代表该计算机网络的一对象模型，其中该对象模型包括该计算机网络之内所包含的计算机资产...

【专利技术属性】
技术研发人员：林庆麟，
申请(专利权)人：策安保安有限公司，
类型：发明
国别省市：新加坡,SG