一种基于聚类集成学习的企业数据分析方法技术

本发明专利技术公开了一种基于聚类集成学习的企业数据分析方法，包括以下步骤：S1.获取待分析的产业的资料，并找出待分析产业中主要的多个待分析企业；本实施例分析了广州地区的海洋产业。S2.爬取待分析企业的相关数据；S3.对所爬取的数据进行预处理，并整理预处理过的数据为数据集；S4.采用KMeans作为基聚类器，对数据集进行聚类集成学习，得到基础聚类结果；S5.利用基础聚类结果构造联合矩阵；S6.采用单链接层次聚类对联合矩阵进行处理，得到最终待分析企业的聚类集成结果。本发明专利技术具有准确性、稳定性和鲁棒性，计算方便，实用性强的特点。实用性强的特点。实用性强的特点。

【技术实现步骤摘要】
一种基于聚类集成学习的企业数据分析方法


[0001]本专利技术涉及信息处理
，更具体的，涉及一种基于聚类集成学习的企业数据分析方法。

技术介绍

[0002]在目前的企业数据分析方法中，数据聚类或无监督学习是一个重要但极其困难的问题。通过将一组未标记的对象划分为同质的组或集群来组织或发现数据中的结构，例如数据挖掘、信息检索图像分割和机器学习。在现实世界的问题中，集群可能以不同的形状、大小、数据稀疏性和分离度出现。此外，数据中的噪声会掩盖数据中存在的真实底层结构。聚类技术需要定义模式之间的相似性度量，这在没有任何关于聚类形状的先验知识的情况下是不容易指定的。聚类集成是为了提高聚类结果的准确性、稳定性和鲁棒性的一种算法，通过集成多个基聚类结果可以产生一个较优的结果。
[0003]如中国专利公开号CN 112800165 B，专利公开日2021.08.27，公开了一种基于聚类算法的产业集群定位方法获取预设区域内的多个企业的实时企业数据，根据所述产业标签信息，将所述多个企业进行分类，以解决传统产业集群定位方法无法精确定位大范围内产业集群的问题。然而此类聚类算法分析出来的结果有准确性、稳定性和鲁棒性较差，不能很好的反映企业间的聚类结果。

技术实现思路

[0004]本专利技术为了解决以上现有技术分析出来的结果有准确性、稳定性和鲁棒性较差的问题，提供了一种基于聚类集成学习的企业数据分析方法，其具准确性、稳定性和鲁棒性，计算方便，实用性强的特点。
[0005]为实现上述本专利技术目的，采用的技术方案如下：
[0006]一种基于聚类集成学习的企业数据分析方法，包括以下步骤：
[0007]S1.获取待分析的产业的资料，并找出待分析产业中主要的多个待分析企业；
[0008]S2.爬取待分析企业的相关数据；
[0009]S3.对所爬取的数据进行预处理，并整理所述处理过的数据为数据集；
[0010]S4.采用KMeans作为基聚类器，对数据集进行聚类集成学习，得到基础聚类结果；
[0011]S5.利用基础聚类结果构造联合矩阵；
[0012]S6.采用单链接层次聚类对联合矩阵进行处理，得到最终待分析企业的聚类集成结果。
[0013]优选的，在步骤S6之后还包括步骤S7：结合待分析企业的相关数据，将聚类集成结果可视化。
[0014]进一步的，步骤S2，待分析企业的相关数据包括企业的运营领域、地理位置、注册资本。
[0015]更进一步的，所述的预处理包括首先去除噪声数据、去除重复数据，之后进行特征
筛选。
[0016]更进一步的，步骤S3中，整理所述处理过的数据为数据集包括以下具体步骤：
[0017]S301.根据待分析产业运营领域将待分析产业区分为若干个产业类别；
[0018]S302.根据所述待分析企业各个对应的产业类别，使用one
‑
hot方法对待分析企业进行编码；
[0019]S303.将待分析企业的编码整理成数据集。
[0020]更进一步的，S4中采用KMeans聚类算法作为基聚类器对数据集进行聚类集成学习，具体步骤为：
[0021]S401.从区间[2，2c]中随机选取一个值，赋值于K，c为真实类簇数目；
[0022]S402.从数据集中随机选择K个样本作为初始的K个质心向量：
[0023]{μ1，μ2，
…
，μ
K
}；
[0024]S403.对所述的K个样本进行迭代，得到族划分C；
[0025]更进一步的，S403中对所述的K个样本进行迭代，具体步骤为：
[0026]M1.将簇划分C初始化为其中t为{t∈N|1≤t≤K}；
[0027]M2.对于i＝1，2，
…
，m，计算样本x
i
和各个质心向量μ
j
的距离的距离j＝1，2，
…
，K，将x
i
标记最小的为d
ij
所对应的类别λ
i
；此时更新
[0028]M3.对于j＝1，2，
…
，K，对C
j
中所有的样本点求均值，重新计算新的质心
[0029]M4.若所有的K个质心向量都没有发生变化，则输出簇划分C＝{C1，C2，
…
，C
K
}。
[0030]更进一步的，S5步骤，具体为：
[0031]S501.用KMeans聚类算法经过N次迭代，产生N个基础分区P：
[0032][0033]其中表示是第i个分区的第j个簇；
[0034]S502.根据样本数m，构造一个m*m的矩阵，即C
m
×
m
＝0；
[0035]S503.使用投票法得出最终的联合矩阵。
[0036]更进一步的，S503所述的投票法公式为：
[0037][0038]其中n
ij
表示样本(i，j)分配到基础分区P
i
中某个簇的次数，其中P
i
指的是中的某个分区。
[0039]更进一步的，步骤S6采用单链接层次聚类对联合矩阵进行处理的具体步骤为；
[0040]S601.根据联合矩阵，计算每一个类别的数据点与所有数据点之间的距离来确定它们之间的相似性；
[0041]S602.将距离最近的两个数据点或类别进行组合，生成聚类树；
[0042]S603.根据阈值来进行层次聚类，得到最终分区
[0043]本专利技术的有益效果如下：
[0044]本专利技术在现有聚类算法的基础上，通过运用KMeans作为基聚类器，对企业相关数据进行聚类集成学习，得到企业的聚类集成结果，本专利技术计算方便，实用性强，解决了现有技术分析出来的结果有准确性、稳定性和鲁棒性较差的问题。
附图说明
[0045]图1是本专利技术的流程示意图。
[0046]图2是聚类集成结果的样本点。
[0047]图3是聚类集成结果的样本灰色图像。
[0048]图4是聚类集成结果的样本树状图。
[0049]图5是聚类集成结果的可视化图像。
具体实施方式
[0050]下面结合附图和具体实施方式对本专利技术做详细描述。
[0051]实施例1
[0052]如图1所示，一种基于聚类集成学习的企业数据分析方法，包括以下步骤：
[0053]S1.获取待分析的产业的资料，并找出待分析产业中主要的多个待分析企业；本实施例使用现在比较流行的python库beautifulSoup、urllib等库在网上爬取广东省海洋企业涉及的运营领域、注册资本等数据分析了广东省的海洋产业。
[0054]S2.爬取待分析企业的相关数据；
[0055]S3.对所爬取的数据进行预处理，并整理所述处理过的数据为数据集；
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于聚类集成学习的企业数据分析方法，其特征在于：包括以下步骤：S1.获取待分析的产业的资料，并找出待分析产业中主要的多个待分析企业；S2.爬取待分析企业的相关数据；S3.对所爬取的数据进行预处理，并整理预处理过的数据为数据集；S4.采用KMeans作为基聚类器，对数据集进行聚类集成学习，得到基础聚类结果；S5.利用基础聚类结果构造联合矩阵；S6.采用单链接层次聚类对联合矩阵进行处理，得到最终待分析企业的聚类集成结果。2.根据权利要求1所述的基于聚类集成学习的企业数据分析方法，其特征在于：在步骤S6之后还包括步骤S7：结合待分析企业的相关数据，将聚类集成结果可视化。3.根据权利要求2所述的基于聚类集成学习的企业数据分析方法，其特征在于：步骤S2，待分析企业的相关数据包括企业的运营领域、地理位置、注册资本。4.根据权利要求3所述的基于聚类集成学习的企业数据分析方法，其特征在于：所述的预处理包括首先去除噪声数据、去除重复数据，之后进行特征筛选。5.根据权利要求4所述的基于聚类集成学习的企业数据分析方法，其特征在于：步骤S3中，整理预处理过的数据为数据集包括以下具体步骤：S301.根据待分析产业运营领域将待分析产业区分为若干个产业类别；S302.根据所述待分析企业各个对应的产业类别，使用one
‑
hot方法对待分析企业进行编码；S303.将待分析企业的编码整理成数据集。6.根据权利要求5所述的基于聚类集成学习的企业数据分析方法，其特征在于：S4中采用KMeans聚类算法作为基聚类器对数据集进行聚类集成学习，具体步骤为：S401.从区间[2，2c]中随机选取一个值，赋值于K，c为真实类簇数目；S402.从数据集中随机选择K个样本作为初始的K个质心向量：{μ1，μ2，
…
，μ
K
}；S403.对所述的K个样本进行迭代，得到族划分C。7.根据权利要求6所述的基于聚类集成学...

【专利技术属性】
技术研发人员：程良伦，郑达成，张伟文，陈武兴，
申请(专利权)人：广东工业大学，
类型：发明
国别省市：