一种数据处理方法及装置、设备、存储介质制造方法及图纸

本申请公开了一种数据处理方法及装置、设备、存储介质，所述方法包括：通过自编码网络，将待聚类数据非线性映射至潜在空间得到映射数据，以及对所述映射数据进行重构得到重构数据；所述映射数据的维度低于所述待聚类数据的维度；根据所述待聚类数据和所述重构数据，获取所述映射数据在所述潜在空间的表示系数矩阵；利用所述表示系数矩阵构建相似度矩阵；基于所述相似度矩阵，对所述待聚类数据进行聚类，从而实现高维度数据的聚类，对高维度数据进行精确聚类。进行精确聚类。进行精确聚类。

【技术实现步骤摘要】
一种数据处理方法及装置、设备、存储介质


[0001]本申请实施例涉及数据处理
，涉及但不限于一种数据处理方法及装置、设备、存储介质。

技术介绍

[0002]随着应用环境的不断变化，特别是进入“大数据”时代，数据规模的庞大性和结构的复杂性对聚类分析提出了越来越严峻的挑战，数据高维度越来越普遍，包括各种图像数据、生物基因表达数据、搜索引擎数据的维度往往高达上万维。目前的聚类方法通常是针对低维度数据设计开发的，在进行高维度数据的分析处理时通常会遇到严重瓶颈，无法满足高维度数据的稀疏性以及避免“维数灾难”的影响，得不到所期望的结果。

技术实现思路

[0003]本申请实施例提供一种数据处理方法及装置、设备、存储介质，能够对高维度数据进行准确聚类。
[0004]本申请实施例的技术方案是这样实现的：
[0005]本申请实施例提供了一种数据处理方法，包括：
[0006]通过自编码网络，将待聚类数据非线性映射至潜在空间得到映射数据，以及对所述映射数据进行重构得到重构数据；所述映射数据的维度低于所述待聚类数据的维度；
[0007]根据所述待聚类数据和所述重构数据，获取所述映射数据在所述潜在空间的表示系数矩阵；
[0008]利用所述表示系数矩阵构建相似度矩阵；
[0009]基于所述相似度矩阵，对所述待聚类数据进行聚类。
[0010]本申请实施例提供了一种数据处理装置，所述装置包括：
[0011]降维模块，用于通过自编码网络，将待聚类数据非线性映射至潜在空间得到映射数据，以及对所述映射数据进行重构得到重构数据；所述映射数据的维度低于所述待聚类数据的维度；
[0012]第一计算模块，用于根据所述待聚类数据和所述重构数据，获取所述映射数据在所述潜在空间的表示系数矩阵；
[0013]第二计算模块，用于利用所述表示系数矩阵构建相似度矩阵；
[0014]聚类模块，用于基于所述相似度矩阵，对所述待聚类数据进行聚类。
[0015]本申请实施例还提供了一种电子设备，包括：存储器和处理器，所述存储器存储有可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述数据处理方法。
[0016]本申请实施例还提供了一种存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述数据处理方法。
[0017]本申请实施例所提供的数据处理方法、装置、设备及存储介质，通过自编码网络，将待聚类数据非线性映射至潜在空间得到映射数据，以及对所述映射数据进行重构得到重
构数据；所述映射数据的维度低于所述待聚类数据的维度；根据所述待聚类数据和所述重构数据，获取所述映射数据在所述潜在空间的表示系数矩阵；利用所述表示系数矩阵构建相似度矩阵；基于所述相似度矩阵，对所述待聚类数据进行聚类；从而通过自编码网络，将待聚类数据非线性映射到潜在空间中，映射后的数据相比于待聚类数据有更低的维度，且基于非线性表示进行聚类，能够应用于视频分割、图像聚类等常见的高维度聚类应用场景，对高维度数据进行精确聚类。
附图说明
[0018]图1为本申请实施例提供的数据处理系统的一种可选的结构示意图；
[0019]图2为本申请实施例提供的数据处理方法的一种可选的流程示意图；
[0020]图3为本申请实施例提供的自编码网络的一种可选的结构示意图；
[0021]图4为本申请实施例提供的数据处理方法的一种可选的流程示意图；
[0022]图5为本申请实施例提供的自编码网络数据处理的一种可选的结构示意图；
[0023]图6为本申请实施例提供的表示系数矩阵一种可选的效果示意图；
[0024]图7为本申请实施例提供的数据处理装置的一种可选的结构示意图；
[0025]图8为本申请实施例提供的电子设备的一种可选的结构示意图。
具体实施方式
[0026]为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对申请的具体技术方案做进一步详细描述。以下实施例用于说明本申请，但不用来限制本申请的范围。
[0027]本申请实施例可提供为数据处理方法及装置、设备和存储介质。实际应用中，数据处理方法可由实施于数据处理装置实现，数据处理装置中的各功能实体可以由电子设备(如终端设备)的硬件资源，如处理器等计算资源、通信资源(如用于支持实现光缆、蜂窝等各种方式通信)协同实现。
[0028]本申请实施例提供的数据处理方法应用于数据处理系统，数据处理系统由客户端即业务系统端和数据处理端构成。
[0029]作为一示例，数据处理系统的结构可如图1所示，包括：客户端10和数据处理端20。
[0030]在一示例中，客户端10和数据处理端20可为同一物理实体；在一示例中，如图1所示，客户端10和数据处理端20为不同的物理实体，且客户端10和数据处理端20之间通过网络30进行交互。
[0031]这里，客户端10上安装有能够输入图片等高维度数据的应用程序，用户通过对应用程序的操作，向数据处理端20发送聚类请求。数据处理端20基于接收到的聚类请求对图片、视频等高维度数据进行处理。
[0032]本申请实施例中，基于图1所示的数据处理系统，数据处理端通过自编码网络，将待聚类数据非线性映射至潜在空间得到映射数据，以及对所述映射数据进行重构得到重构数据；所述映射数据的维度低于所述待聚类数据的维度；根据所述待聚类数据和所述重构数据，获取所述映射数据在所述潜在空间的表示系数矩阵；利用所述表示系数矩阵构建相似度矩阵；基于所述相似度矩阵，对所述待聚类数据进行聚类，得到聚类结果，将聚类结果
发送至客户端。
[0033]下面，结合图1所示的数据处理系统的示意图，对本申请实施例提供的数据处理方法及装置、设备和存储介质的各实施例进行说明。
[0034]本申请实施例提供一种数据处理方法，该方法应用于数据处理装置，其中，数据处理装置可实施于作为数据处理端的电子设备上。该方法所实现的功能可以通过电子设备中的处理器调用程序代码来实现，当然程序代码可以保存在计算机存储介质中，可见，该电子设备至少包括处理器和存储介质。
[0035]电子设备可以是任何具有信息处理能力的设备，在一种实施例中，电子设备可以是智能终端，例如可以是笔记本等具有无线通信能力的电子设备、AR/VR设备、移动终端。在另一种实施例中，电子设备还可以是不便移动的具有计算功能的终端设备，比如台式计算机、桌面电脑等。
[0036]当然，本申请实施例不局限于提供为方法和硬件，还可有多种实现方式，例如提供为存储介质(存储有用于执行本申请实施例提供的数据处理方法的指令)。
[0037]图2为本申请实施例的一种数据处理方法的实现流程示意图，如图2所示，该方法包括以下步骤：
[0038]S201、通过自编码网络，将待聚类数据非线性映射至潜在空间得到映射数据，以及对所述映射数据进行重构得到重构数据。
[0039]所述映射本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，其特征在于，所述方法包括：通过自编码网络，将待聚类数据非线性映射至潜在空间得到映射数据，以及对所述映射数据进行重构得到重构数据；所述映射数据的维度低于所述待聚类数据的维度；根据所述待聚类数据和所述重构数据，获取所述映射数据在所述潜在空间的表示系数矩阵；利用所述表示系数矩阵构建相似度矩阵；基于所述相似度矩阵，对所述待聚类数据进行聚类。2.根据权利要求1所述的方法，其特征在于，所述自编码网络包括：至少一个编码层、自表示层、至少一个解码层；所述通过自编码网络，将待聚类数据非线性映射至潜在空间得到映射数据，以及对所述映射数据进行重构得到重构数据，包括：将所述待聚类数据输入所述至少一个编码层，得到所述至少一个编码层输出的映射数据；将所述映射数据输入所述自表示层，得到所述自表示层输出的自表示数据；将所述自表示数据输入所述至少一个解码层，得到所述至少一个解码层输出的所述重构数据。3.根据权利要求2所述的方法，其特征在于，所述根据所述待聚类数据和所述重构数据，获取所述映射数据在所述潜在空间的表示系数矩阵，包括：根据所述待聚类数据和所述重构数据，利用以下公式获取所述映射数据在所述潜在空间的表示系数矩阵：其中，X为所述待聚类数据，为所述重构数据，C为所述表示系数矩阵；H为映射数据，λ1和λ2为常量。4.根据权利要求2所述的方法，其特征在于，所述根据所述待聚类数据和所述重构数据，获取所述映射数据在所述潜在空间的表示系数矩阵，包括：根据所述待聚类数据和所述重构数据，利用以下公式获取所述映射数据在所述潜在空间的表示系数矩阵：其中，X为所述待聚类数据，为所述重构数据，C为所述表示系数矩阵；H为所述映射数据，W为权重矩阵，λ1和λ2为常量。5.根据权利要求4所述的方法，其特征在于，在根据所述待聚类数据和所述重构数据，获取所述映射数据在所述潜在空间的表示系数矩阵之前，所述方法还包括：通过以下公式确定所述权重矩阵W的第i行第j列的元素：其中，h
i
和h
j
分别表示所述...

【专利技术属性】
技术研发人员：赵剑，
申请(专利权)人：中国移动通信集团有限公司，
类型：发明
国别省市：