【技术实现步骤摘要】
本专利技术涉及数据处理领域，具体涉及一种基于数据分级流通的数据管理平台及数据管理方法。
技术介绍
1、在企业数据管理系统或者工商数据管理系统中，包含多种管理数据，其中文本数据作为数据的一种其通常包含大量的非结构化信息，如文档、电子邮件、社交媒体内容等，这些非结构化信息不仅数量庞大，而且获取该非结构化信息中的价值需要对其内容具有理解能力和处理能力。
2、在企业或者工商数据管理中，特别是对于敏感或需要特殊管理的数据信息，如身份信息、财务数据等，需要根据其内容的风险程度进行等级划分，但其中包含的大量文本数据通常是非结构化的，包含丰富的语义和上下文信息，因此对其进行准确的标签获取具有很大的技术挑战。在传统的随机森林算法中，决策树在对文本数据进行划分时，通常通过关键词的词频来选择特征。这种方法无法有效地表征文本数据中的不同机密等级，高频出现的词语未必是决定文本机密等级的关键因素，低频但重要的关键词可能更能反映文本的敏感性，关键词选取的问题会导致决策树无法较好的挖掘出不同机密类型文本之间的差异，导致最终模型对于机密等级的划分效果不佳。
技术实现思路
1、为了解决技术问题，本专利技术的目的在于提供一种基于数据分级流通的数据管理平台及数据管理方法，所采用的技术方案具体如下：
2、第一方面，提供了一种基于数据分级流通的数据管理方法，所述数据管理方法包括：
3、获取多个已分级文本数据，以及所述多个已分级文本数据分别对应的数据等级，其中，一个已分级文本数据对应一个数据
4、通过分词器对待处理已分级文本数据进行分词，获取多个关键词，并将所述多个关键词转换为多个关键词向量，其中，一个已分级文本数据被分为一个或多个关键词，相同的关键词在不同的已分类文本数据中对应不同的关键词向量，所述待处理已分级文本数据为所述多个已分级文本数据中的一个；
5、通过预设的关键词关联性获取公式以及所述多个关键词向量，获取所述多个关键词与所述数据等级的关键词关联性，其中，每个关键词与每个数据等级对应一个关键词关联性；
6、根据所述关键词关联性以及所述待处理关键词在所述待处理已分级文本数据中的词频获取代表词集合，其中，所述代表词集合包含一个或多个代表词，每个数据等级对应一个代表词集合；
7、获取所述代表词的代表词向量，并根据所述代表词向量获取所述待处理已分级文本数据的文本数据向量矩阵；
8、根据所述文本数据向量矩阵的获取流程，获取所述多个已分级文本数据对应的多个文本数据向量矩阵；
9、通过主成分分析法pca对所述多个文本数据向量矩阵进行降维，获取多个已降维文本数据向量矩阵，通过所述多个已降维文本数据向量矩阵构建随机森林；
10、通过所述随机森林对待分级文本数据进行数据分级。
11、在一个可能的实现方式中，所述关键词关联性获取公式为，其中，为第u个文本数据中第i个关键词与数据等级为u的文本数据之间的关键词关联性，表示r数据等级的已分级文本数据的数量，5表示所有的已分级文本数据中逆文档评率最高的5个关键词，c（）表示计算两个词向量的余弦相似度，表示第u个已分级文本数据中的第i个关键词的关键词向量，表示第l个已分级文本数据中的第j个关键词的关键词向量。
12、在另一个可能的实现方式中，所述通过所述随机森林对待分级文本数据进行数据分级，包括：
13、根据所述文本数据向量矩阵的获取流程对所述待分级文本数据进行处理，获取待分级文本数据向量矩阵；
14、通过所述已降维文本数据向量矩阵的获取流程对所述待分级文本数据向量矩阵进行处理，获取已降维待分级文本数据向量矩阵；
15、通过所述随机森林对所述已降维待分级文本数据向量矩阵进行数据分级。
16、在另一个可能的实现方式中，所述根据所述关键词关联性以及所述待处理关键词在所述待处理已分级文本数据中的词频获取代表词集合，包括：
17、从所述关键词中任意选择k个待计算关键词，并将所述待计算关键词对应的待计算关键词向量输入预设的代表词关联性获取公式，获取待比较代表词关联性，所述k为一个或多个；
18、比较多个所述待比较代表词关联性，获取第一代表词关联性，所述第一代表词关联性为代表词关联性数值最高的待比较代表词关联性；
19、根据预设的代表词关联性修正公式、所述代表词的词频以及所述第一代表词关联性获取第二代表词关联性；
20、根据遗传算法获取所述第二代表词关联性对应的代表词，所述代表词为一个或多个。
21、在另一个可能的实现方式中，所述代表词关联性获取公式具体为：，其中，k为任意选择的待计算关键词的数量，为第u个已分级文本数据中随机选择的k个待计算关键词与数据等级为r的文本数据之间的代表词关联性，为第u个已分级文本数据中的第i个关键词与数据等级为的文本数据之间的关键词关联性。
22、在另一个可能的实现方式中，所述代表词关联性修正公式具体为：
23、
24、其中，为第u个已分级文本数据中代表词的数量，为第u个已分级文本数据中个代表词与数据等级为r的文本数据之间的已修正代表词关联性，exp{}表示指数函数，表示个代表词的平均词频。
25、在另一个可能的实现方式中，所述通过主成分分析法pca对所述多个文本数据向量矩阵进行降维，获取多个已降维文本数据向量矩阵，通过所述多个已降维文本数据向量矩阵构建随机森林，包括：
26、根据决策树的根节点向量矩阵、根节点转置矩阵以及预设的权重系数矩阵，获取所述pca的协方差矩阵，所述决策树中的各个根节点中包含的代表词的数量相同；
27、根据所述协方差矩阵获取所述文本数据向量矩阵中最大主成分对应的线性组合系数；
28、根据所述线性组合系数对所述文本数据向量矩阵进行降维，获取已降维文本数据向量矩阵；
29、将多个所述已降维文本数据向量矩阵构建为随机森林。
30、第二专利技术，提供了一种基于数据分级流通的数据管理平台，所述数据管理平台包括：
31、获取模块，用于获取多个已分级文本数据，以及所述多个已分级文本数据分别对应的数据等级，其中，一个已分级文本数据对应一个数据等级；
32、关键词向量获取模块，用于通过分词器对待处理已分级文本数据进行分词，获取多个关键词，并将所述多个关键词转换为多个关键词向量，其中，一个已分级文本数据被分为一个或多个关键词，相同的关键词在不同的已分类文本数据中对应不同的关键词向量，所述待处理已分级文本数据为所述多个已分级文本数据中的一个；
33、关键词关联性获取模块，用于通过预设的关键词关联性获取公式以及所述多个关键词向量，获取所述多个关键词与所述数据等级的关键词关联性，其中，每个关键词与每个数据等级对应一个关键词关联性；
34、代表词集合获取模块，用于根据所述关键词关联性以及所述待处理关键词在所述待处理已本文档来自技高网...
【技术保护点】
1.一种基于数据分级流通的数据管理方法，其特征在于，所述数据管理方法包括：
2.如权利要求1所述的基于数据分级流通的数据管理方法，其特征在于，所述通过所述随机森林对待分级文本数据进行数据分级，包括：
3.如权利要求1-2任一项所述的基于数据分级流通的数据管理方法，其特征在于，所述根据所述关键词关联性以及所述待处理关键词在所述待处理已分级文本数据中的词频获取代表词集合，包括：
4.如权利要求3所述的基于数据分级流通的数据管理方法，其特征在于，所述代表词关联性获取公式具体为：，其中，k为任意选择的待计算关键词的数量，为第u个已分级文本数据中随机选择的k个待计算关键词与数据等级为r的文本数据之间的代表词关联性，为第u个已分级文本数据中的第i个关键词与数据等级为的文本数据之间的关键词关联性。
5.如权利要求3所述的基于数据分级流通的数据管理方法，其特征在于，所述代表词关联性修正公式具体为：其中，为第u个已分级文本数据中代表词的数量，为第u个已分级文本数据中个代表词与数据等级为r的文本数据之间的已修正代表词关联性，exp{}表示指数函数，表示
6.如权利要求1-2任一项所述的基于数据分级流通的数据管理方法，其特征在于，所述通过主成分分析法PCA对所述多个文本数据向量矩阵进行降维，获取多个已降维文本数据向量矩阵，通过所述多个已降维文本数据向量矩阵构建随机森林，包括：
7.一种基于数据分级流通的数据管理平台，其特征在于，所述数据管理平台包括：
8.如权利要求7所述的基于数据分级流通的数据管理平台，其特征在于，所述数据分级模块，包括：
9.如权利要求7所述的基于数据分级流通的数据管理平台，其特征在于，所述随机森林构建模块，包括：
...【技术特征摘要】
1.一种基于数据分级流通的数据管理方法，其特征在于，所述数据管理方法包括：
2.如权利要求1所述的基于数据分级流通的数据管理方法，其特征在于，所述通过所述随机森林对待分级文本数据进行数据分级，包括：
3.如权利要求1-2任一项所述的基于数据分级流通的数据管理方法，其特征在于，所述根据所述关键词关联性以及所述待处理关键词在所述待处理已分级文本数据中的词频获取代表词集合，包括：
4.如权利要求3所述的基于数据分级流通的数据管理方法，其特征在于，所述代表词关联性获取公式具体为：，其中，k为任意选择的待计算关键词的数量，为第u个已分级文本数据中随机选择的k个待计算关键词与数据等级为r的文本数据之间的代表词关联性，为第u个已分级文本数据中的第i个关键词与数据等级为的文本数据之间的关键词关联性。
5.如权利要求3所述的基于数据分级...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。