一种基于机器学习的文本数据自动分类方法技术

本发明专利技术提供一种基于机器学习的文本数据自动分类方法，涉及数据处理技术领域，包括以下步骤：S1：接收待处理的文本数据；S2：判断文本数据的类型是否为已知类型，若是则直接执行步骤S4；反之则执行步骤S3；S3：将数据进行聚类学习，形成至少一个聚类结果；S4：对聚类结果进行人工干预修正，形成至少一个分类结果及其分类模型；S5：获取文本数据分类结果。本发明专利技术一种基于机器学习的文本数据自动分类方法通过结合机器学习中的聚类和分类技术，再加以适当的人工干预，实现文本数据的自动分类，为数据资产管理和数据保护搭起坚实的基础工作。

An automatic text data classification method based on machine learning

【技术实现步骤摘要】
一种基于机器学习的文本数据自动分类方法
本专利技术涉及数据处理
，尤其是，本专利技术涉及一种基于机器学习的文本数据自动分类方法。
技术介绍
近年来，全球数据泄漏事件频发。面对频发的数据安全事件和愈来愈严格的数据安全保护要求，企业都已认识到数据安全保护的重要性，安全的首要前提必然是明确我要保护什么。但企业首先面临的是不知道自己有哪些敏感数据、都是什么类型的等等难题，为了解决这些问题，我们必须对数据进行分类。做好数据的分类，企业才能够清晰地认识自身的数据，是企业管理并保护数据的前提。因此为了解决上述问题，设计一种合理的基于机器学习的文本数据自动分类方法对我们来说是很有必要的。
技术实现思路
本专利技术的目的在于提供一种通过结合机器学习中的聚类和分类技术，再加以适当的人工干预，实现文本数据的自动分类，为数据资产管理和数据保护搭起坚实的基础工作的基于机器学习的文本数据自动分类方法。为达到上述目的，本专利技术采用如下技术方案得以实现的：一种基于机器学习的文本数据自动分类方法，包括以下步骤：S1：接收待处理的文本数据；S2：判断文本数据的类型是否为已知类型，若是则直接执行步骤S4；反之则执行步骤S3；S3：将数据进行聚类学习，形成至少一个聚类结果；S4：对聚类结果进行人工干预修正，形成至少一个分类结果及其分类模型（分类器）；S5：获取文本数据分类结果。作为本专利技术的优选，执行步骤S1时，文本数据包括纯文本（txt）数据，doc(x)、xls(x)、ppt(x)文件中的文本数据以及pdf文件中文本数据。。作为本专利技术的优选，执行步骤S2之前，将接收的文本数据转换成响应的文本类型。作为本专利技术的优选，步骤S3具体包括：S31：抽取文本数据中的文本内容；S32：对抽取的文本内容进行中文分词，剔除无用的停用词；S33：使用K-Means聚类方法进行聚类。作为本专利技术的优选，执行步骤S3时，聚类的参数设置包括聚类个数。作为本专利技术的优选，执行步骤S33时，聚类个数为系统自适应生成。作为本专利技术的优选，步骤S4具体包括：S41：获取聚合结果保存为文档，并对聚合结果设置标签名；S42：对文档进行类别修正，增加关键词，调整权重；S43：对调整修正后的结果进行监督学习分类，生成分类模型。作为本专利技术的优选，执行步骤S4之后，加入新的文档，进行验证分类结果的正确性。作为本专利技术的优选，在执行步骤S41时，将步骤S3获取的聚类结果经过人工调整，包括分类标签的修正以及特征词的修正。作为本专利技术的优选，执行步骤S5之后，将分类模型更新至已知模型库内，用于方便步骤S2中进行文本数据分类判断。本专利技术一种基于机器学习的文本数据自动分类方法有益效果在于：通过结合机器学习中的聚类和分类技术，再加以适当的人工干预，实现文本数据的自动分类，为数据资产管理和数据保护搭起坚实的基础工作。附图说明图1为本专利技术一种基于机器学习的文本数据自动分类方法的流程示意图；图2为本专利技术一种基于机器学习的文本数据自动分类方法中步骤S3的具体流程示意图；图3为本专利技术一种基于机器学习的文本数据自动分类方法中步骤S4的具体流程示意图。具体实施方式下面结合附图和实施例对本专利技术做进一步的说明。面对频发的数据安全事件和愈来愈严格的数据安全保护要求，企业都已认识到数据安全保护的重要性，安全的首要前提必然是明确我要保护什么。但企业首先面临的是不知道自己有哪些敏感数据、都是什么类型的等等难题，为了解决这些问题，我们必须对数据进行分类。做好数据的分类，企业才能够清晰地认识自身的数据，是企业管理并保护数据的前提。实施例：如图1至3所示，仅仅为本专利技术的其中一个的实施例，一种基于机器学习的文本数据自动分类方法，包括以下步骤：S1：接收待处理的文本数据；数据分类的第一步是需要获取数据，准备好待处理的文本类型数据，包括但不限于纯文本数据。在执行步骤S1时，文本数据包括常见的办公文档类型例如文本文档类型的（.txt）文本数据、Word类型的（.doc(x)）文本数据、Excel类型的（.xls(x)）文本数据以及PDF类型的（.pdf）文本数据。S2：判断文本数据的类型是否为已知类型，若是则直接执行步骤S4；反之则执行步骤S3；当然的，执行步骤S2之前，将接收的文本数据转换成响应的文本类型，只有是响应的文本类型才能进行判断，若是不可响应的数据，则需要重新输入才可以进行判断以及后续分类。S3：将数据进行聚类学习，形成至少一个聚类结果；步骤S3具体包括：S31：抽取文本数据中的文本内容；S32：对抽取的文本内容进行中文分词，剔除无用的停用词；S33：使用K-Means聚类方法进行聚类。执行步骤S3时，聚类的参数设置包括聚类个数。实际上，聚类的参数设置不限于聚类个数和其他参数另外，执行步骤S33时，使用K-Means聚类方法进行聚类，也可以不指定聚类个数，聚类个数为系统自适应生成。需要注意的是，聚类方法包括且不限于K-Means聚类方法。再然后，聚类生成的结果，可以进行适当人工干预进行修正，人工进行修正剔除机器错误数据，提高准确率。S4：对聚类结果进行人工干预修正，形成至少一个分类结果及其分类模型；需要注意的是，步骤S4具体包括：S41：获取聚合结果保存为文档，并对聚合结果设置标签名；当然也可以重命名或者删除某个标签；在执行步骤S41时，可以将步骤S3获取的聚类结果经过人工调整，分类标签的修正以及特征词的修正，在这里分类标签的修正以及特征词的修正包括分类标签以及特征词的删除或者添加。S42：对文档进行类别修正，增加关键词，调整权重；S43：对调整修正后的结果进行监督学习分类，最终生成分类器也就是分类模型。若是步骤S2中判断文本数据为已知分类数据，则直接使用已知分类的数据进行人工干预，可以省去了步骤S3的聚类过程。当然还在执行步骤S4之后，加入新的文档，进行验证分类结果的正确性。若验证成功则直接进行步骤S5，反之若是验证不成功，也可以从S1开始重新学习。S5：获取文本数据分类结果。生成的分类器和分类模型，可以供数据资产管理或者数据防泄漏系统中进行使用。若是为了本方法更加的准确率高，执行步骤S5之后，将分类模型更新至已知模型库内，用于方便步骤S2中进行文本数据分类判断，每分类一批数据之后，分类模型库将得到更新，执行数据分类足够久之后，得到的新的文本数据几乎都在分类模型库中，可以直接执行步骤S4进行获取分类模型，节省分类时间，增加分类效率，分类的准确率也越高。本专利技术一种基于机器学习的文本数据自动分类方法有益效果在于：通过结合机器学习中的聚类和分类技术，再加以适当的人工干预，实现本文档来自技高网...

【技术保护点】
1.一种基于机器学习的文本数据自动分类方法，其特征在于，包括以下步骤：/nS1：接收待处理的文本数据；/nS2：判断文本数据的类型是否为已知类型，若是则直接执行步骤S4；反之则执行步骤S3；/nS3：将数据进行聚类学习，形成至少一个聚类结果；/nS4：对聚类结果进行人工干预修正，形成至少一个分类结果及其分类模型；/nS5：获取文本数据分类结果。/n

【技术特征摘要】
1.一种基于机器学习的文本数据自动分类方法，其特征在于，包括以下步骤：
S1：接收待处理的文本数据；
S2：判断文本数据的类型是否为已知类型，若是则直接执行步骤S4；反之则执行步骤S3；
S3：将数据进行聚类学习，形成至少一个聚类结果；
S4：对聚类结果进行人工干预修正，形成至少一个分类结果及其分类模型；
S5：获取文本数据分类结果。


2.根据权利要求1所述的一种基于机器学习的文本数据自动分类方法，其特征在于：
执行步骤S1时，文本数据包括txt文本数据、doc(x)文本数据、xls(x)文本数据以及pdf文本数据。


3.根据权利要求1所述的一种基于机器学习的文本数据自动分类方法，其特征在于：
执行步骤S2之前，将接收的文本数据转换成响应的文本类型。


4.根据权利要求1所述的一种基于机器学习的文本数据自动分类方法，其特征在于，步骤S3具体包括：
S31：抽取文本数据中的文本内容；
S32：对抽取的文本内容进行中文分词，剔除无用的停用词；
S33：使用K-Means聚类方法进行聚类。


5.根据权利要求4所述的一种基于机器学习的文本数据自动...

【专利技术属性】
技术研发人员：陈广辉，李蓓蓓，蔡翀，陈焰华，苏伟华，
申请(专利权)人：闪捷信息科技有限公司，
类型：发明
国别省市：浙江;33