一种结构化数据分类方法、装置、设备及介质制造方法及图纸

本说明书实施例提供一种结构化数据分类方法、装置、设备及介质。所述方法包括：对结构化数据库内存储的一个或多个表执行采样操作，以便获取所述表对应的字段集合；获取所述字段集合内各字段对应的字段信息，利用预先配置的打分规则或打分模型对所述字段信息执行打分操作，得到所述字段对应的打分结果；其中，所述打分结果能够模糊表征所述字段的类别；根据所述字段对应的打分结果对预定的深度学习模型进行训练，得到训练后的深度学习模型；利用所述训练后的深度学习模型，对未知类别的结构化数据的字段进行预测，根据预测结果确定所述结构化数据对应的类别。

【技术实现步骤摘要】
一种结构化数据分类方法、装置、设备及介质
本说明书涉及数据处理
，尤其涉及一种结构化数据分类方法、装置、设备及介质。
技术介绍
随着互联网与大数据技术的广泛应用，网络数据安全得到了各级政府及企事业单位的高度重视，尤其伴随国家对用户隐私保护的愈加重视，推出了各种数据安全和隐私保护的法律法规。互联网公司在正常业务过程中会收集各种用户数据，例如在取得用户授权的情况下收集手机号、身份证号、银行卡号等个人隐私数据。在对用户数据进行安全隐私保护时，需要对企业保存的用户数据进行分类和分级，然后进一步按照国家规定对不同安全级别的数据进行保护，因此可见数据分类是用户隐私保护的基础。在现有技术中，目前针对结构化数据进行分类的算法，主要是基于数据库中相关信息的专家规则以及人工标记的方式进行判断，而专家规则往往难以包含全部可能的情况，在准确率和召回率上难以权衡，且维护成本极大；人工标记的方式存在工作量大，不可扩展性等问题。基于现有技术，需要提供一种具有更高准确率和召回率，无需大量的人工标记，具有可扩展性的分类方案。
技术实现思路
本说明书实施例提供一种结构化数据分类方法、装置、设备及介质，以解决现有技术存在的准确率和召回率低，维护成本高，需要大量人工标记，不具有可扩展性的问题。为解决上述技术问题，本说明书实施例是这样实现的：本说明书实施例提供的一种结构化数据分类方法，所述方法包括：对结构化数据库内存储的一个或多个表执行采样操作，以便获取所述表对应的字段集合；获取所述字段集合内各字段对应的字段信息，利用预先配置的打分规则或打分模型对所述字段信息执行打分操作，得到所述字段对应的打分结果；其中，所述打分结果能够模糊表征所述字段的类别；根据所述字段对应的打分结果对预定的深度学习模型进行训练，得到训练后的深度学习模型；利用所述训练后的深度学习模型，对未知类别的结构化数据的字段进行预测，根据预测结果确定所述结构化数据对应的类别。本说明书实施例提供的一种结构化数据分类装置，所述装置包括：采样模块，用于对结构化数据库内存储的一个或多个表执行采样操作，以便获取所述表对应的字段集合；打分模块，用于获取所述字段集合内各字段对应的字段信息，利用预先配置的打分规则或打分模型对所述字段信息执行打分操作，得到所述字段对应的打分结果；其中，所述打分结果能够模糊表征所述字段的类别；训练模块，用于根据所述字段对应的打分结果对预定的深度学习模型进行训练，得到训练后的深度学习模型；预测模块，用于利用所述训练后的深度学习模型，对未知类别的结构化数据的字段进行预测，根据预测结果确定所述结构化数据对应的类别。本说明书实施例提供的一种结构化数据分类设备，包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够：对结构化数据库内存储的一个或多个表执行采样操作，以便获取所述表对应的字段集合；获取所述字段集合内各字段对应的字段信息，利用预先配置的打分规则或打分模型对所述字段信息执行打分操作，得到所述字段对应的打分结果；其中，所述打分结果能够模糊表征所述字段的类别；根据所述字段对应的打分结果对预定的深度学习模型进行训练，得到训练后的深度学习模型；利用所述训练后的深度学习模型，对未知类别的结构化数据的字段进行预测，根据预测结果确定所述结构化数据对应的类别。本说明书实施例提供的一种计算机可读介质，其上存储有计算机可读指令，所述计算机可读指令可被处理器执行以实现上述一种结构化数据分类方法。本说明书实施例采用的上述至少一个技术方案能够达到以下有益效果：通过对结构化数据库内存储的一个或多个表执行采样操作，以便获取表对应的字段集合；获取字段集合内各字段对应的字段信息，利用预先配置的打分规则或打分模型对字段信息执行打分操作，得到字段对应的打分结果；其中，打分结果能够模糊表征字段的类别；根据字段对应的打分结果对预定的深度学习模型进行训练，得到训练后的深度学习模型；利用训练后的深度学习模型，对未知类别的结构化数据的字段进行预测，根据预测结果确定结构化数据对应的类别。基于本方案，利用打分规则或者打分模型对用于训练深度学习模型的字段进行打分，得到的得分结果能够模糊地表征字段的类别，即打分结果中可能存在噪音，再通过这种包含噪音的打分结果来训练深度学习模型，从而自动学习出如何过滤噪音，做出正确的选择，使得利用训练后的深度学习模型对进行未知类别的字段识别时，能够获得更好的准确率和召回率，并且这种方式不需要大量的人工标记，具有可扩展性。附图说明为了更清楚地说明本说明书实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图1为本说明书实施例提供的一种结构化数据分类方法的流程示意图；图2为本说明书实施例提供的对应于图1的一种结构化数据分类装置的结构示意图；图3为本说明书实施例提供的对应于图1的一种结构化数据分类设备的结构示意图。具体实施方式为了使本
的人员更好地理解本说明书中的技术方案，下面将结合本说明书实施例中的附图，对本说明书实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本说明书实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。如前文所述，互联网公司在正常业务过程中会收集各种用户数据，用户数据通常会以表格的形式保存在关系数据库(即结构化数据库)里，因此也称为结构化数据。在对用户数据进行隐私保护时，需要按照国家规定对不同安全级别的用户数据进行保护，而不同类别的用户数据往往对应不同的级别，因此，对用户数据进行分类是用户隐私保护的一项基础任务。目前主要的结构化数据分类算法主要分为两种，第一种，基于数据库中的字段特征和字段的注释信息的正则表达式进行分类，而无论是字段特征还是字段的注释信息，正则表达式属于一种专家规则，利用正则表达式难以穷尽全部可能情况，在准确率和召回率上难以权衡，而且维护成本极大；第二种，以人工标记的方式进行分类，这种方式工作量巨大，不具有可扩展性，尤其在互联网公司，由于业务发展快速，数据库结构经常发生变化，因此几乎无法使用人工标记的方式。需要说明的是，本说明书以下实施例是以数据安全及隐私保护作为应用场景来描述的，结构化数据库中主要存储的是与用户隐私相关的数据(如用户姓名、手机号、身份证号、银行卡号等)，但是在实际应用中，本方案不限于数据安全及隐私保护的技术场景，对于非用户隐私数据进行数据分类时，同样适用于本文档来自技高网...

【技术保护点】
1.一种结构化数据分类方法，所述方法包括：/n对结构化数据库内存储的一个或多个表执行采样操作，以便获取所述表对应的字段集合；/n获取所述字段集合内各字段对应的字段信息，利用预先配置的打分规则或打分模型对所述字段信息执行打分操作，得到所述字段对应的打分结果；其中，所述打分结果能够模糊表征所述字段的类别；/n根据所述字段对应的打分结果对预定的深度学习模型进行训练，得到训练后的深度学习模型；/n利用所述训练后的深度学习模型，对未知类别的结构化数据的字段进行预测，根据预测结果确定所述结构化数据对应的类别。/n

【技术特征摘要】
1.一种结构化数据分类方法，所述方法包括：
对结构化数据库内存储的一个或多个表执行采样操作，以便获取所述表对应的字段集合；
获取所述字段集合内各字段对应的字段信息，利用预先配置的打分规则或打分模型对所述字段信息执行打分操作，得到所述字段对应的打分结果；其中，所述打分结果能够模糊表征所述字段的类别；
根据所述字段对应的打分结果对预定的深度学习模型进行训练，得到训练后的深度学习模型；
利用所述训练后的深度学习模型，对未知类别的结构化数据的字段进行预测，根据预测结果确定所述结构化数据对应的类别。


2.如权利要求1所述的方法，所述对结构化数据库内存储的一个或多个表执行采样操作，以便获取所述表对应的字段集合，包括：
所述结构化数据库包括采用区块链技术的分布式数据库，从区块链的节点中获取所述结构化数据库内的表，并确定所述表的授权状态，对已授权的表执行采样操作，得到该表对应的字段集合；
其中，所述表中至少包含一类字段，所述字段集合中包含每类字段对应的预设行数的字段。


3.如权利要求1所述的方法，所述字段信息包含字段的值以及字段的注释信息，所述利用预先配置的打分规则或打分模型对所述字段信息执行打分操作，得到所述字段对应的打分结果，包括：
将各个字段所对应的字段的值以及字段的注释信息作为输入，利用预先配置的打分规则或打分模型对其进行打分，得到各个字段分别对应的打分结果，并将所述打分结果上传至区块链中的节点。


4.如权利要求1或3所述的方法，所述预先配置的打分规则或打分模型为根据已知字段的类别所配置的打分规则或者打分模型；其中，
所述打分规则包括正则表达式，当已知字段的类别为多个时，根据为每个字段类别所配置的正则表达式生成规则集合，并利用该规则集合对每个字段进行打分得到由多个维度所组成的打分结果；
所述打分模型包括机器学习分类模型或者自然语言处理模型，该打分模型用于对字段所对应的字段信息进行打分预测，得到该字段分别属于某一字段类别的概率值。


5.如权利要求4所述的方法，所述方法还包括：
当采用打分规则对所述字段信息进行打分时，为每个字段类别对应的注释信息配置正则表达式，根据所述字段对应的正则表达式和字段对应注释信息的正则表达式生成规则集合。


6.如权利要求4所述的方法，所述方法还包括：
当采用打分模型对所述字段信息进行打分时，将所述字段的值以及字段的注释信息作为参数输入到打分模型中，以便打分模型根据参数计算打分函数，获得打分结果。


7.如权利要求4所述的方法，所述打分规则还包括关键字列表，利用根据已知字段的类别所预先配置的...

【专利技术属性】
技术研发人员：刘焱，姚兴，
申请(专利权)人：支付宝杭州信息技术有限公司，
类型：发明
国别省市：浙江;33