本公开提供一种多源威胁情报融合方法，涉及网络安全技术领域，该方法包括获取同一批次的多个威胁情报，基于语义相似度判断多个威胁情报之间的相似度，生成重复情报和非重复情报。基于预设的字段融合规则表，对重复情报进行字段融合，得到融合情报。以上述融合情报和非重复情报作为新威胁情报，获取数据库中类型相同的历史威胁情报。判断新威胁情报和历史威胁情报的相似度，生成重复情报集和非重复情报。对重复情报集进行字段融合。将融合后的情报更新入数据库，非重复情报直接写入数据库。本公开的情报融合方法基于自然语言处理提取情报语义特征进行重复性判断，且通过预设的字段融合规则进行重复情报的融合，融合效果好，且情报整合效率高。且情报整合效率高。且情报整合效率高。
【技术实现步骤摘要】
多源威胁情报融合方法、装置、设备和存储介质
[0001]本公开涉及网络安全
，具体而言，涉及一种多源威胁情报融合方法、装置、设备和存储介质。
技术介绍
[0002]威胁情报是某种基于证据的知识，包括上下文、机制、标示、含义和能够执行的建议，这些知识与资产所面临已有的或酝酿中的威胁或危害相关，可用于资产相关主体对威胁或危害的响应或处理决策提供信息支持。威胁情报的及时共享和使用是有效提高网络安全防护能力的手段。
[0003]目前，随着威胁情报数据源的多元化，情报融合是发掘安全情报价值的重要手段，是实现大数据环境下多源情报获取和整合的关键途径。通过情报融合能够获取高质量情报，为诸多信息系统的风险预警、追踪溯源等风险防御措施提供准确有效的情报支撑，从而有效提升网络安全防护能力。但是，目前在情报融合方面，主要基于规则、字段映射、模板、人工等形式进行情报数据融合，这些融合方式的融合粒度较为粗糙，且对融合后的结果的输出并不灵活，在一定程度上会引起误报，影响网络安全防护能力。
[0004]需要说明的是，在上述
技术介绍
部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
技术实现思路
[0005]本公开的目的在于提供一种多源威胁情报融合方法、装置、设备和存储介质，用于至少在一定程度上克服由于相关技术的限制和缺陷而导致的一个或多个问题。
[0006]根据本公开实施例的第一方面，提供一种多源威胁情报融合方法，包括：
[0007]获取同一批次的多个威胁情报；
[0008]基于语义相似度判断多个所述威胁情报之间的相似度，生成第一重复情报集和第一非重复情报；
[0009]基于预设的字段融合规则表，对所述第一重复情报集进行字段融合，得到第一融合情报；
[0010]以所述第一融合情报和所述第一非重复情报作为新威胁情报，获取数据库中与所述新威胁情报类型相同的历史威胁情报；
[0011]基于语义相似度判断所述新威胁情报和所述历史威胁情报的相似度，生成第二重复情报集和第二非重复情报；
[0012]基于预设的字段融合规则表，对所述第二重复情报集进行字段融合，得到第二融合情报；
[0013]将进行字段融合的所述历史威胁情报更新为所述第二融合情报，并将所述第二非重复情报写入所述数据库。
[0014]在本公开的一种示例性实施例中，基于语义相似度判断多个所述威胁情报之间的
相似度，生成第一重复情报集和第一非重复情报的步骤包括：
[0015]对所述威胁情报进行文本预处理；
[0016]基于语义预训练模型对文本预处理后的所述威胁情报进行向量化表示，得到威胁情报语义向量；
[0017]利用相似度算法计算两个所述威胁情报语义向量的相似度，得到语义相似度；
[0018]基于语义相似度和预设的相似度阈值，生成情报重复性判定结果；
[0019]在所述情报重复性判定结果为情报重复时，生成第一重复情报集；
[0020]在所述情报重复性判定结果为情报不重复时，生成第一非重复情报。
[0021]在本公开的一种示例性实施例中，所述语义预训练模型包括基于词向量的第一语义预训练模型、基于字符的第二语义预训练模型和基于词嵌入的第三语义训练模型中的至少两种。
[0022]在本公开的一种示例性实施例中，基于语义相似度和预设的相似度阈值，生成情报重复性判定结果的步骤包括：
[0023]比较语义相似度和预设的相似度阈值之间的大小，生成相似度判断结果；
[0024]利用多数投票方法对多个语义预训练模型对应的相似度判断结果进行投票，生成所述情报重复性判断结果。
[0025]在本公开的一种示例性实施例中，所述语义预训练模型以所述数据库中历史威胁情报为训练样本训练得到。
[0026]在本公开的一种示例性实施例中，利用相似度算法计算两个所述威胁情报语义向量的相似度的步骤包括：利用余弦距离、海明距离、曼哈顿距离、欧几里得距离、Jaccard相似系数、编辑距离或SimHash值计算两个所述威胁情报语义向量的相似度。
[0027]在本公开的一种示例性实施例中，基于预设的字段融合规则表，对所述第一重复情报集进行字段融合，得到第一融合情报的步骤包括：
[0028]基于所述威胁情报的类型确定去重字段和融合字段，生成所述字段融合规则表；
[0029]对所述第一重复情报集中对应所述去重字段的内容进行去重操作；
[0030]对所述第一重复情报集中对应所述融合字段的内容进行合并操作。
[0031]根据本公开实施例的第二方面，提供一种多源威胁情报融合装置，包括：
[0032]第一获取模块，用于获取同一批次的多个威胁情报；
[0033]第一相似度判断模块，用于基于语义相似度判断多个所述威胁情报之间的相似度，生成第一重复情报集和第一非重复情报；
[0034]第一融合模块，用于基于预设的字段融合规则表，对所述第一重复情报集进行字段融合，得到第一融合情报；
[0035]第二获取模块，以所述第一融合情报和所述第一非重复情报作为新威胁情报，获取数据库中与所述新威胁情报类型相同的历史威胁情报；
[0036]第二相似度判断模块，用于基于语义相似度判断所述新威胁情报和所述历史威胁情报的相似度，生成第二重复情报集和第二非重复情报；
[0037]第二融合模块，用于基于预设的字段融合规则表，对所述第二重复情报集进行字段融合，得到第二融合情报；
[0038]更新写入模块，用于将进行字段融合的所述历史威胁情报更新为所述第二融合情
报，并将所述第二非重复情报写入所述数据库。
[0039]根据本公开的第三方面，提供一种电子设备，包括：存储器；以及耦合到所属存储器的处理器，所述处理器被配置为基于存储在所述存储器中的指令，执行如上述任意一项所述的多源威胁情报融合方法。
[0040]根据本公开的第四方面，提供一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时实现如上述任意一项所述的多源威胁情报融合方法。
[0041]本公开的多源威胁情报融合方法，通过同批次重复情报融合和历史重复情报融合两个融合过程保证威胁情报的整合效率。在重复性判断过程中，基于语义相似度进行相似度计算，能够有效避免人工判重、规则判重的主观性。并且，面向多种情报类型，能够根据预设的字段融合规则灵活进行重复情报的融合，融合效果好。
[0042]应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
[0043]此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[004本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种多源威胁情报融合方法，其特征在于，包括：获取同一批次的多个威胁情报；基于语义相似度判断多个所述威胁情报之间的相似度，生成第一重复情报集和第一非重复情报；基于预设的字段融合规则表，对所述第一重复情报集进行字段融合，得到第一融合情报；以所述第一融合情报和所述第一非重复情报作为新威胁情报，获取数据库中与所述新威胁情报类型相同的历史威胁情报；基于语义相似度判断所述新威胁情报和所述历史威胁情报的相似度，生成第二重复情报集和第二非重复情报；基于预设的字段融合规则表，对所述第二重复情报集进行字段融合，得到第二融合情报；将进行字段融合的所述历史威胁情报更新为所述第二融合情报，并将所述第二非重复情报写入所述数据库。2.根据权利要求1所述多源威胁情报融合方法，其特征在于，基于语义相似度判断多个所述威胁情报之间的相似度，生成第一重复情报集和第一非重复情报的步骤包括：对所述威胁情报进行文本预处理；基于语义预训练模型对文本预处理后的所述威胁情报进行向量化表示，得到威胁情报语义向量；利用相似度算法计算两个所述威胁情报语义向量的相似度，得到语义相似度；基于语义相似度和预设的相似度阈值，生成情报重复性判定结果；在所述情报重复性判定结果为情报重复时，生成第一重复情报集；在所述情报重复性判定结果为情报不重复时，生成第一非重复情报。3.根据权利要求2所述多源威胁情报融合方法，其特征在于，所述语义预训练模型包括基于词向量的第一语义预训练模型、基于字符的第二语义预训练模型和基于词嵌入的第三语义训练模型中的至少两种。4.根据权利要求3所述多源威胁情报融合方法，其特征在于，基于语义相似度和预设的相似度阈值，生成情报重复性判定结果的步骤包括：比较语义相似度和预设的相似度阈值之间的大小，生成相似度判断结果；利用多数投票方法对多个语义预训练模型对应的相似度判断结果进行投票，生成所述情报重复性判断结果。5.根据权利要求2所述多源威胁情报融合方法，其特征在于，所述语义预训练模型以所述数据库中历史威胁情报为训练样本训练得...
【专利技术属性】
技术研发人员：郭实秋，鞠港，袁涵，高岩，
申请(专利权)人：中国电信股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。