无标签数据的处理方法、系统、介质及终端技术方案

本发明专利技术提供一种无标签数据的处理方法、系统、介质及终端；所述处理方法包括以下步骤：获取数据集；数据集中包括异常数据和无标签数据；计算无标签数据的离群分数；计算无标签数据的异常相似分数；基于离群分数和异常相似分数，对无标签数据进行分类；获取经分类后的无标签数据的可靠性权重；本发明专利技术综合离群性和异常相似性，对无标签数据进行分类，以获取分类后添加了伪标签的伪标签数据，并通过衡量伪标签数据的可靠性权重，实现了对无标签数据的有效处理，为无标签数据的正确识别提供了双重保障；利用原有正常数据、异常数据及添加了伪标签的伪标签数据训练无标签数据分类网络，有效提高了无标签数据分类网络的分类性能。

Processing method, system, medium and terminal of unlabeled data

【技术实现步骤摘要】
无标签数据的处理方法、系统、介质及终端
本专利技术属于数据分类
，特别是涉及一种无标签数据的处理方法、系统、介质及终端。
技术介绍
风险检测是常用的质量检测方法，该方法广泛应用于各行业的业务分析，用来检测业务中潜在的风险，以便提前发现和控制；对于一般企业或监管部门，风险检测的方式主要分为三种：其一是利用质检员逐一对被检测对象进行检查，发现被检测品的风险；其二是对被检测对象进行抽检，发现被检测品的风险；其三是通过对生产该产品的信息化数据及历史数据，预测每一个被检测对象风险的概率，然后对较高风险的被检测品进行实际的抽检。上述描述的三种风险检测方式中，第一种是对全量数据进行检查，适用于检测项目不多，技术难度较小的产品，往往适用于检测本企业所生产的产品(具有产品单一，技术简单的特点)；第二种检测方法使用场景与第一种场景类似，对产品种类多，技术复杂的产品不适用，该方式可以统计出合格(正常)被检测品的占比，但会放过一定比例的风险被检测品；第三种主要利用现有信息化系统，通过对历史数据建模(实际是构造一个分类器)，根据被检测品的特征数据发现风险概率，只要历史数据有标签，可以适用多类产品，而且完全从数据上来发现规律，涉及较少的技术细节，应用范围广。在政府监管部门中，涉及到的监管对象行业众多、产品丰富；如海关对进出口虚假贸易做检测，就会涉及参与贸易的所有行业及产品；因此，前面提到的前两种检测方式需要耗费大量的人力及时间而显得不太合适。第三种方式从数据来检测各被检测品的风险，需要历史标签数据，但由于各种原因，很多系统并未存入标签数据，因此该方法存在预测精度低的技术问题，并且，由于其严重依赖历史数据已经标注的标签，无法应用于无标签数据预测的环境，也无法用于对异常检测的业务场景。
技术实现思路
鉴于以上所述现有技术的缺点，本专利技术的目的在于提供一种无标签数据的处理方法、系统、介质及终端，用于解决现有技术中从无标签数据中识别出异常数据困难、对无标签数据的处理效果不理想的问题。为实现上述目的及其他相关目的，本专利技术提供一种无标签数据的处理方法，包括以下步骤：获取数据集；所述数据集中包括异常数据和无标签数据；计算所述无标签数据的离群分数；计算所述无标签数据的异常相似分数；基于所述离群分数和所述异常相似分数，对所述无标签数据进行分类；获取经分类后的无标签数据的可靠性权重。于本专利技术的一实施例中，计算所述无标签数据的离群分数包括：采用局部异常因子算法计算所述离群分数；计算公式为：其中，O_Score(x)表示无标签数据x的离群分数；无标签数据x＝Rd，Rd表示数据空间，d表示无标签数据的特征维度；LOF(x)表示无标签数据x通过局部异常因子算法计算得到的结果。于本专利技术的一实施例中，计算所述无标签数据的异常相似分数包括以下步骤：对所述异常数据进行聚类，产生至少一异常簇，并获取所述异常簇的中心数据；计算所述无标签数据与所述中心数据的距离；基于所述距离，获取所述异常相似分数。于本专利技术的一实施例中，计算所述无标签数据与所述中心数据的距离的计算公式为：其中，ui表示第i个异常簇的中心数据；e_d(x,ui)表示无标签数据x与中心数据ui之间的距离；无标签数据x＝Rd，Rd表示数据空间，d表示无标签数据的特征维度；j的值从1取到d；基于所述距离，获取所述异常相似分数的计算公式为：其中，S_Score(x)表示无标签数据x的异常相似分数；k表示异常簇的数量。于本专利技术的一实施例中，基于所述离群分数和所述异常相似分数，对所述无标签数据进行分类包括以下步骤：基于所述离群分数和所述异常相似分数，计算所述无标签数据的最终分数；获取分类阈值；基于所述最终分数和所述分类阈值，对所述无标签数据进行分类。于本专利技术的一实施例中，获取经分类后的无标签数据的可靠性权重包括以下步骤：对经分类后的无标签数据进行聚类，以产生聚类结果；所述聚类结果包括至少一伪标签簇；计算所述伪标签簇的标签熵；基于所述标签熵，计算所述伪标签簇的可靠性权重，以获取经分类后的无标签数据的可靠性权重。于本专利技术的一实施例中，计算所述伪标签簇的标签熵的计算公式为：记聚类结果为U＝{U1,U2,……Ut}；t表示伪标签簇的个数；Ui表示第i个伪标签簇，i的值从1取到t；n(Ui)表示第i个伪标签簇中伪标签数据的个数；ns(Ui)表示第i个伪标签簇中属于类别s的伪标签数据的个数，s∈{-1,+1}；-1表示正常数据；+1表示异常数据；H(Ui)表示第i个伪标签簇的标签熵；基于所述标签熵，计算所述伪标签簇的可靠性权重的计算公式为：w(Ui)＝1-H(Ui)其中，w(Ui)表示第i个伪标签簇的可靠性权重；所述伪标签簇中伪标签数据的可靠性权重与该伪标签簇的可靠性权重相等。本专利技术提供一种无标签数据的处理系统，包括：第一获取模块、第一计算模块、第二计算模块、分类标签模块和第二获取模块；所述第一获取模块用于获取数据集；所述数据集中包括异常数据和无标签数据；所述第一计算模块用于计算所述无标签数据的离群分数；所述第二计算模块用于计算所述无标签数据的异常相似分数；所述分类标签模块用于基于所述离群分数和所述异常相似分数，对所述无标签数据进行分类；所述第二获取模块用于获取经分类后的无标签数据的可靠性权重。本专利技术提供一种存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述的无标签数据的处理方法。本专利技术提供一种终端，包括：处理器及存储器；所述存储器用于存储计算机程序；所述处理器用于执行所述存储器存储的计算机程序，以使所述终端执行上述的无标签数据的处理方法。如上所述，本专利技术所述的无标签数据的处理方法、系统、介质及终端，具有以下有益效果：(1)综合离群性和异常相似性，对无标签数据进行分类，以获取分类后添加了伪标签的伪标签数据，并通过衡量伪标签数据的可靠性权重，实现了对无标签数据的有效处理，为无标签数据的正确识别提供了双重保障；(2)充分考虑了数据分布，挖掘的无标签数据具有一定的多样性，并利用原有正常数据、异常数据及添加了伪标签的伪标签数据训练无标签数据分类网络，有效提高了无标签数据分类网络的分类性能。附图说明图1显示为本专利技术的无标签数据的处理方法于一实施例中的流程图。图2显示为本专利技术的计算无标签数据的异常相似分数于一实施例中的流程图。图3显示为本专利技术的对无标签数据进行分类于一实施例中的流程图。图4显示为本专利技术的获取经分类后的无标签数据的可靠性权重于一实施例中的流程图。图5显示为本专利技术的无标签数据的处理系统于一实施例中的结构示意图。图6显示为本专利技术的终端于一实施例中的结构示意图。元件标号说明51第一获取模块52第一计算模块53第二计算模块54分类标签模块55第二获取模块61处理器62存储器S1～S5步骤...

【技术保护点】
1.一种无标签数据的处理方法，其特征在于，包括以下步骤：/n获取数据集；所述数据集中包括异常数据和无标签数据；/n计算所述无标签数据的离群分数；/n计算所述无标签数据的异常相似分数；/n基于所述离群分数和所述异常相似分数，对所述无标签数据进行分类；/n获取经分类后的无标签数据的可靠性权重。/n

【技术特征摘要】
1.一种无标签数据的处理方法，其特征在于，包括以下步骤：
获取数据集；所述数据集中包括异常数据和无标签数据；
计算所述无标签数据的离群分数；
计算所述无标签数据的异常相似分数；
基于所述离群分数和所述异常相似分数，对所述无标签数据进行分类；
获取经分类后的无标签数据的可靠性权重。


2.根据权利要求1所述的无标签数据的处理方法，其特征在于，计算所述无标签数据的离群分数包括：采用局部异常因子算法计算所述离群分数；计算公式为：



其中，O_Score(x)表示无标签数据x的离群分数；无标签数据x＝Rd，Rd表示数据空间，d表示无标签数据的特征维度；LOF(x)表示无标签数据x通过局部异常因子算法计算得到的结果。


3.根据权利要求1所述的无标签数据的处理方法，其特征在于，计算所述无标签数据的异常相似分数包括以下步骤：
对所述异常数据进行聚类，产生至少一异常簇，并获取所述异常簇的中心数据；
计算所述无标签数据与所述中心数据的距离；
基于所述距离，获取所述异常相似分数。


4.根据权利要求3所述的无标签数据的处理方法，其特征在于，
计算所述无标签数据与所述中心数据的距离的计算公式为：



其中，ui表示第i个异常簇的中心数据；e_d(x,ui)表示无标签数据x与中心数据ui之间的距离；无标签数据x＝Rd，Rd表示数据空间，d表示无标签数据的特征维度；j的值从1取到d；
基于所述距离，获取所述异常相似分数的计算公式为：



其中，S_Score(x)表示无标签数据x的异常相似分数；k表示异常簇的数量。


5.根据权利要求1所述的无标签数据的处理方法，其特征在于，基于所述离群分数和所述异常相似分数，对所述无标签数据进行分类包括以下步骤：
基于所述离群分数和所述异常相似分数，计算所述无标签数据的最终分数；
获取分类阈值；
基于所述最终分数和所述分类阈值，对所述无标签数据进行分类。


6.根据权利要求1所述的无...

【专利技术属性】
技术研发人员：蒋昌俊，闫春钢，丁志军，刘关俊，张亚英，耿俊美，
申请(专利权)人：同济大学，
类型：发明
国别省市：上海;31