本发明专利技术涉及数据处理领域，公开了一种基于大数据平台的数据处理方法、装置、设备及存储介质，用于提高数据异常检测的准确率。所述基于大数据平台的数据处理方法包括：从预置的大数据平台中获取待处理的事件数据，并提取所述事件数据中的多个实体和事件动作；根据所述事件动作对所述事件数据中的多个实体之间的关系信息进行识别，得到关系信息；根据所述关系信息创建所述多个实体之间的连接关系，并根据所述连接关系生成所述事件数据对应的关系图，得到实体关系图；根据所述实体关系图并通过预置的异常检测模型对所述事件数据进行异常检测，得到异常检测结果。得到异常检测结果。得到异常检测结果。
【技术实现步骤摘要】
基于大数据平台的数据处理方法、装置、设备及存储介质
[0001]本专利技术涉及数据处理领域，尤其涉及一种基于大数据平台的数据处理方法、装置、设备及存储介质。
技术介绍
[0002]随着云技术的不断发展，大数据平台被广泛应用于存储和管理计算机数据，其中，数字数据，通常以数据包的形式，由互连的网络设备沿网络传递。数据活动检测，无论是友好的还是恶意的，一直是计算机安全管理的首要任务。
[0003]恶意活动可能对网络的软件或硬件或其用户造成损害，恶意活动可能包括未经授权的访问或随后未经许可使用网络资源和数据，网络管理员试图检测此类活动，例如，通过搜索异常或与特定实体。但是现有方案对于数据活动的异常检测的准确率低。
技术实现思路
[0004]本专利技术提供了一种基于大数据平台的数据处理方法、装置、设备及存储介质，用于提高数据异常检测的准确率。
[0005]本专利技术第一方面提供了一种基于大数据平台的数据处理方法，所述基于大数据平台的数据处理方法包括：从预置的大数据平台中获取待处理的事件数据，并提取所述事件数据中的多个实体和事件动作；根据所述事件动作对所述事件数据中的多个实体之间的关系信息进行识别，得到关系信息；根据所述关系信息创建所述多个实体之间的连接关系，并根据所述连接关系生成所述事件数据对应的关系图，得到实体关系图；根据所述实体关系图并通过预置的异常检测模型对所述事件数据进行异常检测，得到异常检测结果。
[0006]可选的，在本专利技术第一方面的第一种实现方式中，所述从预置的大数据平台中获取待处理的事件数据，并提取所述事件数据中的多个实体和事件动作，包括：通过预置的大数据平台获取待处理的事件数据；提取所述事件数据中的键值对，并根据所述键值对标记所述事件数据，得到标记后的事件数据；根据预置的数据格式解析所述标记后的事件数据，得到所述事件数据对应的多个实体和事件动作。
[0007]可选的，在本专利技术第一方面的第二种实现方式中，所述根据所述事件动作对所述事件数据中的多个实体之间的关系信息进行识别，得到关系信息，包括：对所述事件动作进行解析，得到执行数据；检测所述事件数据对应的数据格式；根据所述数据格式和所述执行数据生成所述多个实体之间的关系信息。
[0008]可选的，在本专利技术第一方面的第三种实现方式中，所述根据所述实体关系图并通过预置的异常检测模型对所述事件数据进行异常检测，得到异常检测结果，包括：提取所述实体关系图中的节点和边，其中，所述节点用于指示所述实体，所述边用于指示所述实体之间的关系；根据所述节点和边生成所述关系图对应的特征向量；将所述特征向量输入预置的异常检测模型进行异常检测，输出异常概率值；对所述异常概率值和预设目标值进行比较；若所述异常概率值大于或等于所述预设目标值，则确定异常检测结果为异常；若所述异
常概率值小于所述预设目标值，则确定异常检测结果为正常。
[0009]可选的，在本专利技术第一方面的第四种实现方式中，所述基于大数据平台的数据处理方法还包括：将所述实体关系图和所述事件数据发送至预置的事件处理引擎；通过所述事件处理引擎对所述实体关系图和所述事件数据进行数据分析，得到数据分析结果，其中，所述数据分析结果用于指示所述事件数据的安全异常。
[0010]可选的，在本专利技术第一方面的第五种实现方式中，所述基于大数据平台的数据处理方法还包括：从所述大数据平台中获取多个样本事件数据；根据所述多个样本事件数据生成每个样本事件数据对应的样本关系图；对所述样本关系图进行组合，得到复合关系图。
[0011]可选的，在本专利技术第一方面的第六种实现方式中，所述基于大数据平台的数据处理方法还包括：将预置的视图标识符添加至所述事件数据；通过所述视图标识符提取所述事件对应的多个属性；根据所述多个属性生成所述事件数据对应的选择信息。
[0012]本专利技术第二方面提供了一种基于大数据平台的数据处理装置，所述基于大数据平台的数据处理装置包括：获取模块，用于从预置的大数据平台中获取待处理的事件数据，并提取所述事件数据中的多个实体和事件动作；识别模块，用于根据所述事件动作对所述事件数据中的多个实体之间的关系信息进行识别，得到关系信息；生成模块，用于根据所述关系信息创建所述多个实体之间的连接关系，并根据所述连接关系生成所述事件数据对应的关系图，得到实体关系图；检测模块，用于根据所述实体关系图并通过预置的异常检测模型对所述事件数据进行异常检测，得到异常检测结果。
[0013]可选的，在本专利技术第二方面的第一种实现方式中，所述获取模块具体用于：通过预置的大数据平台获取待处理的事件数据；提取所述事件数据中的键值对，并根据所述键值对标记所述事件数据，得到标记后的事件数据；根据预置的数据格式解析所述标记后的事件数据，得到所述事件数据对应的多个实体和事件动作。
[0014]可选的，在本专利技术第二方面的第二种实现方式中，所述识别模块具体用于：对所述事件动作进行解析，得到执行数据；检测所述事件数据对应的数据格式；根据所述数据格式和所述执行数据生成所述多个实体之间的关系信息。
[0015]可选的，在本专利技术第二方面的第三种实现方式中，所述检测模块具体用于：提取所述实体关系图中的节点和边，其中，所述节点用于指示所述实体，所述边用于指示所述实体之间的关系；根据所述节点和边生成所述关系图对应的特征向量；将所述特征向量输入预置的异常检测模型进行异常检测，输出异常概率值；对所述异常概率值和预设目标值进行比较；若所述异常概率值大于或等于所述预设目标值，则确定异常检测结果为异常；若所述异常概率值小于所述预设目标值，则确定异常检测结果为正常。
[0016]可选的，在本专利技术第二方面的第四种实现方式中，所述基于大数据平台的数据处理装置还包括：分析模块，用于将所述实体关系图和所述事件数据发送至预置的事件处理引擎；通过所述事件处理引擎对所述实体关系图和所述事件数据进行数据分析，得到数据分析结果，其中，所述数据分析结果用于指示所述事件数据的安全异常。
[0017]可选的，在本专利技术第二方面的第五种实现方式中，所述基于大数据平台的数据处理装置还包括：组合模块，用于从所述大数据平台中获取多个样本事件数据；根据所述多个样本事件数据生成每个样本事件数据对应的样本关系图；对所述样本关系图进行组合，得到复合关系图。
[0018]可选的，在本专利技术第二方面的第六种实现方式中，所述基于大数据平台的数据处理装置还包括：添加模块，用于将预置的视图标识符添加至所述事件数据；通过所述视图标识符提取所述事件对应的多个属性；根据所述多个属性生成所述事件数据对应的选择信息。
[0019]本专利技术第三方面提供了一种基于大数据平台的数据处理设备，包括：存储器和至少一个处理器，所述存储器中存储有指令；所述至少一个处理器调用所述存储器中的所述指令，以使得所述基于大数据平台的数据处理设备执行上述的基于大数据平台的数据处理方法。
[0020]本专利技术的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于大数据平台的数据处理方法，其特征在于，所述基于大数据平台的数据处理方法包括：从预置的大数据平台中获取待处理的事件数据，并提取所述事件数据中的多个实体和事件动作；根据所述事件动作对所述事件数据中的多个实体之间的关系信息进行识别，得到关系信息；根据所述关系信息创建所述多个实体之间的连接关系，并根据所述连接关系生成所述事件数据对应的关系图，得到实体关系图；根据所述实体关系图并通过预置的异常检测模型对所述事件数据进行异常检测，得到异常检测结果。2.根据权利要求1所述的基于大数据平台的数据处理方法，其特征在于，所述从预置的大数据平台中获取待处理的事件数据，并提取所述事件数据中的多个实体和事件动作，包括：通过预置的大数据平台获取待处理的事件数据；提取所述事件数据中的键值对，并根据所述键值对标记所述事件数据，得到标记后的事件数据；根据预置的数据格式解析所述标记后的事件数据，得到所述事件数据对应的多个实体和事件动作。3.根据权利要求1所述的基于大数据平台的数据处理方法，其特征在于，所述根据所述事件动作对所述事件数据中的多个实体之间的关系信息进行识别，得到关系信息，包括：对所述事件动作进行解析，得到执行数据；检测所述事件数据对应的数据格式；根据所述数据格式和所述执行数据生成所述多个实体之间的关系信息。4.根据权利要求1所述的基于大数据平台的数据处理方法，其特征在于，所述根据所述实体关系图并通过预置的异常检测模型对所述事件数据进行异常检测，得到异常检测结果，包括：提取所述实体关系图中的节点和边，其中，所述节点用于指示所述实体，所述边用于指示所述实体之间的关系；根据所述节点和边生成所述关系图对应的特征向量；将所述特征向量输入预置的异常检测模型进行异常检测，输出异常概率值；对所述异常概率值和预设目标值进行比较；若所述异常概率值大于或等于所述预设目标值，则确定异常检测结果为异常；若所述异常概率值小于所述预设目标值，则确定异常检测结果为正常。5.根据权利要求1所述的基于大数据平台的数据处理方法，其特征在于，所述基于大数据平台的数据处理方法还包括：...
【专利技术属性】
技术研发人员：谢泽雄，郑岩，
申请(专利权)人：矩阵起源深圳信息科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。