数据处理方法、装置、设备以及存储介质制造方法及图纸

本公开提供了数据处理方法、装置、设备以及存储介质，涉及人工智能领域，尤其涉及自动驾驶、智能交通等技术领域。具体实现方案为：对目标业务系统的原始日志数据进行用户实体转化处理，得到实体数据和非实体数据，利用预设字段脱敏规则，对实体数据中对应的预设敏感字段进行脱敏处理，对非实体数据进行分词处理，利用预设分类模型确定所得到的分词对应的类别标签，类别标签包括非敏感标签和多种不同的敏感标签，针对对应敏感标签的目标分词，采用敏感标签对应的预设分词脱敏规则进行脱敏处理，不同敏感标签对应的预设分词脱敏规则不同。通过采用上述技术方案，可保证对日志数据进行脱敏的效率、准确性和全面性。准确性和全面性。准确性和全面性。

【技术实现步骤摘要】
数据处理方法、装置、设备以及存储介质


[0001]本公开涉及人工智能领域，尤其涉及自动驾驶、智能交通等


技术介绍

[0002]目前，在各种业务系统运行过程中，系统的日志数据以及数据库数据中通常会涉及到大量的敏感数据，如车辆交通业务系统中，可能包括车主和乘客的相关敏感数据，需要对这些数据进行保护，避免发生泄漏。

技术实现思路

[0003]本公开提供了一种数据处理方法、装置、设备以及存储介质。
[0004]根据本公开的一方面，提供了一种数据处理方法，包括：
[0005]对目标业务系统的原始日志数据进行用户实体转化处理，得到实体数据和非实体数据；
[0006]利用预设字段脱敏规则，对所述实体数据中对应的预设敏感字段进行脱敏处理；
[0007]对所述非实体数据进行分词处理，利用预设分类模型确定所得到的分词对应的类别标签，其中，所述类别标签包括非敏感标签和多种不同的敏感标签；
[0008]针对对应所述敏感标签的目标分词，采用所述敏感标签对应的预设分词脱敏规则进行脱敏处理，其中，不同所述敏感标签对应的所述预设分词脱敏规则不同。
[0009]根据本公开的另一方面，提供了一种数据处理装置，包括：
[0010]实体转化模块，用于对目标业务系统的原始日志数据进行用户实体转化处理，得到实体数据和非实体数据；
[0011]第一脱敏模块，用于利用预设字段脱敏规则，对所述实体数据中对应的预设敏感字段进行脱敏处理；
[0012]分词处理模块，用于对所述非实体数据进行分词处理；
[0013]类别标签确定模块，用于利用预设分类模型确定所得到的分词对应的类别标签，其中，所述类别标签包括非敏感标签和多种不同的敏感标签；
[0014]第二脱敏模块，用于针对对应所述敏感标签的目标分词，采用所述敏感标签对应的预设分词脱敏规则进行脱敏处理，其中，不同所述敏感标签对应的所述预设分词脱敏规则不同。
[0015]根据本公开的另一方面，提供了一种电子设备，包括：
[0016]至少一个处理器；以及
[0017]与所述至少一个处理器通信连接的存储器；其中，
[0018]所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本公开实施例所述的方法。
[0019]根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行本公开实施例所述的方法。
[0020]根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现本公开任意实施例所述的方法。
[0021]应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
[0022]附图用于更好地理解本方案，不构成对本公开的限定。其中：
[0023]图1是根据本公开实施例提供的一种数据处理方法的流程图；
[0024]图2是根据本公开实施例提供的另一种数据处理方法的流程图；
[0025]图3是根据本公开实施例提供的又一种数据处理方法的流程图；
[0026]图4是根据本公开实施例提供的再一种数据处理方法的流程图；
[0027]图5是根据本公开实施例提供的一种数据处理框架示意图；
[0028]图6是根据本公开实施例提供的一种数据处理装置的结构示意图；
[0029]图7是用来实现本公开实施例的数据处理方法的电子设备的框图。
具体实施方式
[0030]以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
[0031]图1是根据本公开实施例提供的一种数据处理方法的流程图，本公开实施例可适用于对业务系统中的敏感数据进行处理的情况。该方法可由一种数据处理装置来执行，该装置可采用硬件和/或软件的方式来实现，可配置于电子设备中。参考图1，该方法具体包括如下：
[0032]S101、对目标业务系统的原始日志数据进行用户实体转化处理，得到实体数据和非实体数据；
[0033]S102、利用预设字段脱敏规则，对所述实体数据中对应的预设敏感字段进行脱敏处理；
[0034]S103、对所述非实体数据进行分词处理，利用预设分类模型确定所得到的分词对应的类别标签，其中，所述类别标签包括非敏感标签和多种不同的敏感标签；
[0035]S104、针对对应所述敏感标签的目标分词，采用所述敏感标签对应的预设分词脱敏规则进行脱敏处理，其中，不同所述敏感标签对应的所述预设分词脱敏规则不同。
[0036]其中，目标业务系统的具体类型不做限定，例如可以是车辆交通业务系统、媒体内容推送业务系统、地图业务系统以及搜索引擎业务系统等等。目标业务系统的运行过程中，会产生大量的日志数据，而日志数据中包含很多用户相关的敏感数据，如用户个人信息，还可能包含用户与系统的交互内容以及对话内容等。以车辆交通业务系统为例，例如具体可以是营运车辆安全监管平台，日志数据中可能涉及车主和乘客的相关敏感数据，如车主和乘客的个人信息、车辆信息、行程、位置、网络地址、接口参数、用户请求参数以及用户对话内容等。可见，日志数据中包含的敏感数据种类繁多，且日志数据量较大，难以进行分析以
及全面脱敏。
[0037]本公开实施例中，原始日志数据可以理解为未进行脱敏处理的日志数据。可以预先对目标业务系统的日志数据进行分析，确定其中包含的用户相关的数据，预先设定用户实体结构，定义用户实体结构中包含的字段。从原始日志数据中提取上述字段的数据，作为实例数据填充至用户实体结构中，实现将用户对象实体化，也即对原始日志数据进行用户实体化处理。可选的，也可从原始日志数据中提取结构化数据作为实体数据，结构化数据例如包括数据库结构数据或为前端封装的实体对象等。
[0038]示例性的，用户实体结构中可以包括驾驶证号、手机号、身份证号、姓名以及编号等，进行用户实体化处理后得到的实体数据可以表示为：
[0039]drivecode＝12345
[0040]phone＝“12345678900”[0041]idcode＝“123456789098765432”[0042]name＝“张三”[0043]id＝111
[0044]对于实体数据，可以预先设定其中包含的需要进行脱敏处理的敏感字段(也即预设敏感字段)，例如上述举例中的驾驶证号、手机号、身份证号和姓名。针对不同的预设敏感字段，可以预先设定对应的字段脱敏规则(也即预设字段脱敏规则)，进而可以快速地利用预设本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，包括：对目标业务系统的原始日志数据进行用户实体转化处理，得到实体数据和非实体数据；利用预设字段脱敏规则，对所述实体数据中对应的预设敏感字段进行脱敏处理；对所述非实体数据进行分词处理，利用预设分类模型确定所得到的分词对应的类别标签，其中，所述类别标签包括非敏感标签和多种不同的敏感标签；针对对应所述敏感标签的目标分词，采用所述敏感标签对应的预设分词脱敏规则进行脱敏处理，其中，不同所述敏感标签对应的所述预设分词脱敏规则不同。2.根据权利要求1所述的方法，其中，所述敏感标签包括敏感关键字标签，所述敏感关键字标签对应的预设分词脱敏规则中包括第一字符数量和第二字符数量；其中，所述针对对应所述敏感标签的目标分词，采用所述敏感标签对应的预设分词脱敏规则进行脱敏处理，包括：针对对应所述敏感关键字标签的第一目标分词，获取所述敏感关键字标签对应的预设分词脱敏规则中的所述第一字符数量和所述第二字符数量；将所述非实体数据中，所述第一目标分词的前第一字符数量的字符、所述第一目标分词、以及所述第一目标分词的后第二字符数量的字符替换为预设脱敏字符。3.根据权利要求1所述的方法，其中，所述实体数据的数据结构包括类中类结构，所述类中类结构中包括父实体类和子实体类，所述原始日志数据中包括所述父实体类对应的用户与所述子实体类对应的用户的关联关系信息；其中，所述利用预设字段脱敏规则，对所述实体数据中对应的预设敏感字段进行脱敏处理，包括：遍历所述实体数据中的所述父实体类和所述子实体类，将携带有预设脱敏注解的所述预设字段确定为预设敏感字段，利用所述预设脱敏注解关联的预设字段脱敏规则，对所述预设敏感字段进行脱敏处理。4.根据权利要求1所述的方法，还包括：响应于所述目标业务系统的目标数据库中目标明文字段的加密事件被触发，在所述目标数据库中创建目标密文字段，其中，所述目标密文字段用于存储采用预设加密规则对所述目标明文字段中的明文数据进行加密后得到的密文数据；获取请求端发送的针对所述目标数据库的包含所述目标明文字段的原始请求；根据所述原始请求的请求类型对所述原始请求进行改写，得到目标请求；向所述目标数据库发送所述目标请求。5.根据权利要求4所述的方法，其中，所述根据所述原始请求的请求类型对所述原始请求进行改写，得到目标请求，包括：在所述原始请求的请求类型为写入请求的情况下，根据所述原始请求确定第一目标请求，将所述原始请求中的所述目标明文字段替换为所述目标密文字段，得到第二目标请求，其中，所述目标请求中包括所述第一目标请求和所述第二目标请求，所述写入请求包括插入请求和/或更新请求。6.根据权利要求4所述的方法，其中，所述根据所述原始请求的请求类型对所述原始请求进行改写，得到目标请求，包括：
在所述原始请求的请求类型为查询请求的情况下，将所述原始请求中的所述目标明文字段替换为所述目标密文字段，采用所述预设加密规则对所述原始请求中的所述目标明文字段对应的明文数据进行加密，得到目标查询请求；其中，所述方法还包括：接收所述目标数据库针对所述目标查询请求返回的响应数据；对所述响应数据中包含的密文数据进行解密，并向所述请求端返回解密后的响应数据。7.根据权利要求6所述的方法，在所述接收所述目标数据库针对所述目标查询请求返回的响应数据之后，还包括：通过网关层对所述响应数据进行校验，其中，所述校验包括数据类型的校验和所述请求端的用户权限的校验，数据类型包括明文类型和密文类型。8.根据权利要求7所述的方法，还包括：在所述解密数据中包含资源地址的情况下，将所述原始请求中包含的令牌信息和/或允许访问时段信息添加至所述资源地址中，得到修改后的解密数据，其中，所述允许访问时段信息与所述用户权限相关；其中，向所述请求端返回解密数据，包括：向所述请求端返回所述修改后的解密数据。9.一种数据处理装置，包括：实体转化模块，用于对目标业务系统的原始日志数据进行用户实体转化处理，得到实体数据和非实体数据；第一脱敏模块，用于利用预设字段脱敏规则，对所述实体数据中对应的预设敏感字段进行脱敏处理；分词处理模块，用于对所述非实体数据进行分词处理；类别标签确定模块，用于利用预设分类模型确定所得到...

【专利技术属性】
技术研发人员：陈君豪，李志亮，任龙，
申请(专利权)人：阿波罗智行科技广州有限公司，
类型：发明
国别省市：