一种数据预分析方法及装置，包括：实时获取流处理模块中数据源主题消息站的目标流数据；并对目标流数据进行富化泛化处理，得到处理数据；然后通过预先构建的审计模型对处理数据进行审计处理，得到审计结果；再根据审计结果判断处理数据是否包括触发告警的数据；如果是，则将触发告警的数据发送到流处理模块的告警数据主题消息站；最后发送包括触发告警的数据的告警提示信息，能够实时进行数据预分析并进行告警反馈，及时解决侵害网络安全的数据，从而保证网络数据安全。从而保证网络数据安全。从而保证网络数据安全。
【技术实现步骤摘要】
一种数据预分析方法及装置
[0001]本申请涉及数据处理
，具体而言，涉及一种数据预分析方法及装置。
技术介绍
[0002]目前，随着计算机和网络应用的日益广泛，在实际使用海量数据(即大数据)之前对其进行预分析变得越来越重要。现有的数据与分析方法，通常按照天粒度进行数据预分析，当存在需要及时处理的数据时，例如涉敏类违规等数据，按天粒度进行的数据预分析会出现时间差，从而无法及时解决侵害网络安全的数据，进而影响网络数据安全。
技术实现思路
[0003]本申请实施例的目的在于提供一种数据预分析方法及装置，能够实时进行数据预分析并进行告警反馈，及时解决侵害网络安全的数据，从而保证网络数据安全。
[0004]本申请实施例第一方面提供了一种数据预分析方法，包括：
[0005]实时获取流处理模块中数据源主题消息站的目标流数据；
[0006]对所述目标流数据进行富化泛化处理，得到处理数据；
[0007]通过预先构建的审计模型对所述处理数据进行审计处理，得到审计结果；
[0008]根据所述审计结果判断所述处理数据是否包括触发告警的数据；
[0009]如果是，则将所述触发告警的数据发送到所述流处理模块的告警数据主题消息站，并将所述触发告警的数据存储至目标数据库的告警索引中；
[0010]发送包括所述触发告警的数据的告警提示信息。
[0011]在上述实现过程中，实时获取流处理模块中数据源主题消息站的目标流数据；并对目标流数据进行富化泛化处理，得到处理数据；然后通过预先构建的审计模型对处理数据进行审计处理，得到审计结果；再根据审计结果判断处理数据是否包括触发告警的数据；如果是，则将触发告警的数据发送到流处理模块的告警数据主题消息站；最后发送包括触发告警的数据的告警提示信息，能够实时进行数据预分析并进行告警反馈，及时解决侵害网络安全的数据，从而保证网络数据安全。
[0012]进一步地，所述实时获取流处理模块中数据源主题消息站的目标流数据，包括：
[0013]实时获取待处理的日志数据；
[0014]对所述日志数据进行规范化处理，得到数据源；
[0015]采集所述数据源到流处理模块的数据源主题消息站，得到目标流数据。
[0016]在上述实现过程中，将日志数据实时的处理成标准化的数据源，将数据主动的、实时的接入并处理成标准的数据源，以解决数据源的延时性。
[0017]进一步地，所述对所述日志数据进行规范化处理，得到数据源，包括：
[0018]通过第一预设算子将所述日志数据分割成为多条，得到多条分割数据；
[0019]通过第二预设算子对所述多条分割数据分别进行标准化处理，得到多个标准化分割数据；
[0020]通过第三预设算子将所述多个标准化分割数据进行合并处理，得到合并数据；
[0021]通过第四预设算子对所述合并数据进行属性修改配置处理，得到数据源，并通过第五预设算子将所述数据源存储到预先配置的目标路径下。
[0022]进一步地，在所述实时获取流处理模块中数据源主题消息站的目标流数据之前，所述方法还包括：
[0023]获取用于动态配置模型的配置参数和模型算子集；
[0024]根据所述配置参数生成参数文件；
[0025]根据所述参数文件和预设的人工智能算法把所述模型算子集中的各个算子串成一个工作流，得到审计模型。
[0026]在上述实现过程中，动态建立需要的审计模型，能够灵活的配置模型，以实现模型的定制化和丰富化。
[0027]进一步地，在所述发送包括所述触发告警的数据的告警提示信息之后，还包括：
[0028]监听所述告警数据主题消息站是否存在告警数据；
[0029]如果是，则实时读取所述触发告警的数据；
[0030]触发结果反馈机制将所述触发告警的数据发送到所述流处理模块的特定主体消息站，以完成对系统的反馈。
[0031]在上述实现过程中，实施上述方法能够有效避免高危操作、敏感行为未被及时审计到造成的风险，提高了实时性，准确性和安全性，节约了人力成本、提高了处理效率。
[0032]本申请实施例第二方面提供了一种数据预分析装置，所述数据预分析装置包括：
[0033]获取单元，用于实时获取流处理模块中数据源主题消息站的目标流数据；
[0034]泛化富化处理单元，用于对所述目标流数据进行富化泛化处理，得到处理数据；
[0035]审计单元，用于通过预先构建的审计模型对所述处理数据进行审计处理，得到审计结果；
[0036]判断单元，用于根据所述审计结果判断所述处理数据是否包括触发告警的数据；
[0037]发送单元，用于当判断出包括所述触发告警的数据时，则将所述触发告警的数据发送到所述流处理模块的告警数据主题消息站，并将所述触发告警的数据存储至目标数据库的告警索引中；以及发送包括所述触发告警的数据的告警提示信息。
[0038]在上述实现过程中，获取单元实时获取流处理模块中数据源主题消息站的目标流数据；泛化富化处理单元并对目标流数据进行富化泛化处理，得到处理数据；然后审计单元通过预先构建的审计模型对处理数据进行审计处理，得到审计结果；判断单元再根据审计结果判断处理数据是否包括触发告警的数据；如果是，发送单元则将触发告警的数据发送到流处理模块的告警数据主题消息站；以及发送包括触发告警的数据的告警提示信息，能够实时进行数据预分析并进行告警反馈，及时解决侵害网络安全的数据，从而保证网络数据安全。
[0039]进一步地，所述获取单元包括：
[0040]获取子单元，用于实时获取待处理的日志数据；
[0041]规范化子单元，用于对所述日志数据进行规范化处理，得到数据源；
[0042]采集子单元，用于采集所述数据源到流处理模块的数据源主题消息站，得到目标流数据。
[0043]进一步地，所述规范化子单元包括：
[0044]第一模块，用于通过第一预设算子将所述日志数据分割成为多条，得到多条分割数据；
[0045]第二模块，用于通过第二预设算子对所述多条分割数据分别进行标准化处理，得到多个标准化分割数据；
[0046]第三模块，用于通过第三预设算子将所述多个标准化分割数据进行合并处理，得到合并数据；
[0047]第四模块，用于通过第四预设算子对所述合并数据进行属性修改配置处理，得到数据源，并通过第五预设算子将所述数据源存储到预先配置的目标路径下。
[0048]本申请实施例第三方面提供了一种电子设备，包括存储器以及处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使所述电子设备执行本申请实施例第一方面中任一项所述的数据预分析方法。
[0049]本申请实施例第四方面提供了一种计算机可读存储介质，其存储有计算机程序指令，所述计算机程序指令被一处理器读取并运行时，执行本申请实施例第一方面中任一项所述的数据预分析方法。...
【技术保护点】
【技术特征摘要】
1.一种数据预分析方法，其特征在于，包括：实时获取流处理模块中数据源主题消息站的目标流数据；对所述目标流数据进行富化泛化处理，得到处理数据；通过预先构建的审计模型对所述处理数据进行审计处理，得到审计结果；根据所述审计结果判断所述处理数据是否包括触发告警的数据；如果是，则将所述触发告警的数据发送到所述流处理模块的告警数据主题消息站，并将所述触发告警的数据存储至目标数据库的告警索引中；发送包括所述触发告警的数据的告警提示信息。2.根据权利要求1所述的数据预分析方法，其特征在于，所述实时获取流处理模块中数据源主题消息站的目标流数据，包括：实时获取待处理的日志数据；对所述日志数据进行规范化处理，得到数据源；采集所述数据源到流处理模块的数据源主题消息站，得到目标流数据。3.根据权利要求2所述的数据预分析方法，其特征在于，所述对所述日志数据进行规范化处理，得到数据源，包括：通过第一预设算子将所述日志数据分割成为多条，得到多条分割数据；通过第二预设算子对所述多条分割数据分别进行标准化处理，得到多个标准化分割数据；通过第三预设算子将所述多个标准化分割数据进行合并处理，得到合并数据；通过第四预设算子对所述合并数据进行属性修改配置处理，得到数据源，并通过第五预设算子将所述数据源存储到预先配置的目标路径下。4.根据权利要求1所述的数据预分析方法，其特征在于，在所述实时获取流处理模块中数据源主题消息站的目标流数据之前，所述方法还包括：获取用于动态配置模型的配置参数和模型算子集；根据所述配置参数生成参数文件；根据所述参数文件和预设的人工智能算法把所述模型算子集中的各个算子串成一个工作流，得到审计模型。5.根据权利要求1所述的数据预分析方法，其特征在于，在所述发送包括所述触发告警的数据的告警提示信息之后，还包括：监听所述告警数据主题消息站是否存在告警数据；如果是，则实时读取所述触发告警的数据；触发结果反馈机制将所述触发告警的数据发送到所述流处理模块的特定主体消息...
【专利技术属性】
技术研发人员：柳静，
申请(专利权)人：北京天融信网络安全技术有限公司北京天融信科技有限公司北京天融信软件有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。