一种图像聚类方法、系统、设备和介质技术方案

本发明专利技术提出一种图像聚类方法、系统、设备和介质，包括：根据输入图像的图像特征及对应的近邻图像特征；对所述生成树中的每条边进行评分，根据评分结果对所述生成树中的边进行裁剪，获取聚类簇；本发明专利技术通过树结构进行聚类，通过树边打分，结合上下文子图，可有效提高算法鲁棒性，提高图像聚类的质量。

【技术实现步骤摘要】
一种图像聚类方法、系统、设备和介质
本专利技术涉及图像处理领域，尤其涉及一种图像聚类方法、系统、设备和介质。
技术介绍
在安防监控、辅助标注等场景中，需要对给定的一批无标注人脸数据聚类。聚类是指对无标注人脸数据进行分类，使得相同的人尽可能在同一类，不同的人在不同类。传统的聚类算法通常是根据先验知识，假设图像可能的聚类类别，如N类图像，最后聚类得到N个聚类结果。然而，人脸数据非常复杂，很容易受到环境因素影响，图像噪声等会导致人脸数据被聚类到错误的先验类别，影响聚类效果。因此，如何不依赖于先验假设进行聚类成为了一个亟待解决的难题。
技术实现思路
鉴于以上现有技术存在的问题，本专利技术提出一种图像聚类方法、系统、设备和介质，主要解决传统聚类算法效果差，易受环境因素影响的问题。为了实现上述目的及其他目的，本专利技术采用的技术方案如下。一种图像聚类方法，其特征在于，包括：根据输入图像的图像特征及对应的近邻图像特征获取生成树；对所述生成树中的每条边进行评分，根据评分结果对所述生成树中的边进行裁剪，获取聚类簇。可选地，所述对所述生成树中的每条边进行评分，包括：遍历所述生成树的每条边，根据所述生成树中的每条边及对应的结点，获取基于边上下文的子图，根据所述子图对所述生成树的边进行评分。可选地，根据输入图像的图像特征及对应的近邻图像特征，包括：通过近邻检索算法获取某一图像特征对应的一个或多个近邻图像特征；根据所述图像特征及对应的近邻图像特征获取最大生成树。可选地，获取所述基于边上下文的子图包括：以所述生成树中每条边及对应的结点作为一类结点，获取每个所述一类结点的一个或多个近邻图像特征作为二类结点；获取所述二类结点的一个或多个近邻图像特征作为三类结点；通过所述一类结点、二类结点和三类结点构建对应图像的子图。可选地，将所述一类结点、二类结点和三类结点的并集作为所述子图的结点；将所述子图中某一结点对应的近邻结点与所述子图中其他结点的交集作为对应结点的边。可选地，所述近邻检索算法包括哈希检索、IndexIVFFlat、IndexIVFPQ、IndexHNSWFlat；获取对应图像的生成树的方法包括克鲁斯卡尔算法、普里姆算法中的一种。可选地，所述根据所述子图对所述生成树的边进行评分包括：将所述子图输入图卷积神经网络中，通过所述图卷积神经网络对所述生成树中的每条边进行评分。可选地，所述图卷积神经网络至少包括一层批量标准化层、两层卷积层、两层特征拼接层、两层全连接层。可选地，根据所述生成树中边连接的两个结点为同一图像对应特征的概率，构建损失函数，并根据所述损失函数对所述图卷积神经网络进行训练，并通过训练好的所述图卷积神经网络获取所述生成树中对应边的评分。可选地，设置分数阈值，对评分低于所述分数阈值的边进行裁剪，将所述生成树中剩余的连通结点作为所述聚类簇。可选地，当所述聚类簇中的结点数大于预设值时，对所述聚类簇进行再次聚类，获取多个新的聚类簇。一种图像聚类系统，包括：树生成模块，用于根据输入图像的图像特征及对应的近邻图像特征，获取生成树；聚类模块，用于对所述生成树中的每条边进行评分，根据评分结果对所述生成树中的边进行裁剪，获取聚类簇。可选地，包括子图生成模块，所述子图生成模块一端连接所述树生成模块，获取所述生成树，遍历所述生成树的每条边，根据所述生成树中的每条边及对应的结点，获取基于边上下文的子图；所述子图生成模块的另一端连接所述聚类模块，所述聚类模块根据所述子图生成模块输出的所述子图对所述生成树的边进行评分。可选地，所述树生成模块包括近邻特征获取单元，用于根据输入图像的图像特征及对应的近邻图像特征时，通过近邻检索算法获取某一图像特征对应的一个或多个近邻图像特征；根据所述图像特征及对应的近邻图像特征获取生成树。可选地，所述子图生成模块包括子图结点构造单元，用于获取所述基于边上下文的子图时，以所述生成树中的结点作为一类结点，获取每个所述一类结点的一个或多个近邻图像特征作为二类结点；获取所述二类结点的一个或多个近邻图像特征作为三类结点；通过所述一类结点、二类结点和三类结点构建对应图像的子图。可选地，所述聚类模块包括评分单元，用于将所述子图输入图卷积神经网络中，通过所述图卷积神经网络对所述生成树中的每条边进行评分。可选地，所述聚类模块还包括裁剪单元，所述裁剪单元与所述评分单元连接，所述裁剪单元用于设置分数阈值，对评分低于所述分数阈值的边进行裁剪，将所述生成树中剩余的连通结点作为所述聚类簇。一种设备，包括：一个或多个处理器；和其上存储有指令的一个或多个机器可读介质，当所述一个或多个处理器执行时，使得所述设备执行所述的图像聚类方法。一个或多个机器可读介质，其上存储有指令，当由一个或多个处理器执行时，使得设备执行所述的图像聚类方法。如上所述，本专利技术一种图像聚类方法、系统、设备和介质，具有以下有益效果。通过图像特征构建生成树，从而得到图像特征及图像特征之间的连接关系（即生成树的边），进一步通过边评分得到聚类簇，不再依赖于图像类别分布的先验知识，有利于增强聚类效果及鲁棒性。附图说明图1为本专利技术一实施例中图像聚类方法的流程图。图2为本专利技术一实施例中图像聚类系统的模块图。图3为本专利技术一实施例中终端设备的结构示意图。图4为本专利技术另一实施例中终端设备的结构示意图。图5为本专利技术一实施例中子图的示意图。图6为本专利技术一实施例中图卷积神经网络的网络架构示意图。具体实施方式以下通过特定的具体实例说明本专利技术的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本专利技术的其他优点与功效。本专利技术还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本专利技术的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。需要说明的是，以下实施例中所提供的图示仅以示意方式说明本专利技术的基本构想，遂图式中仅显示与本专利技术中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。请参阅图1，本专利技术提供一种图像聚类方法，包括步骤S01-S02。在步骤S01中，获取图像特征，并根据图像特征获取生成树：在一实施例中，可采用卷积神经网络、长短期记忆神经网络、深度神经网络等常用的神经网络架构，预训练识别模型。通过所述识别模型对输入的图像进行特征提取，获取图像特征。以人脸识别为例，可将人脸图像输入无监督的卷积神经网络中，通过无标注的人脸图像训练人脸识别模型，通过该人脸识别模型提取待识别人脸图像的人脸特征。也可采集人体图像、动物图像、车辆图像或其本文档来自技高网...

【技术保护点】
1.一种图像聚类方法，其特征在于，包括：/n根据输入图像的图像特征及与所述输入图像的图像特征对应的近邻图像特征，获取生成树；其中，以所述输入图像的图像特征、所述近邻图像特征作为所述生成树的结点；近邻图像特征为与输入图像的图像特征的相似度达到相似度阈值的图像特征；/n对所述生成树中的每条边进行评分，根据评分结果对所述生成树中的边进行裁剪，获取聚类簇。/n

【技术特征摘要】
1.一种图像聚类方法，其特征在于，包括：
根据输入图像的图像特征及与所述输入图像的图像特征对应的近邻图像特征，获取生成树；其中，以所述输入图像的图像特征、所述近邻图像特征作为所述生成树的结点；近邻图像特征为与输入图像的图像特征的相似度达到相似度阈值的图像特征；
对所述生成树中的每条边进行评分，根据评分结果对所述生成树中的边进行裁剪，获取聚类簇。


2.根据权利要求1所述的图像聚类方法，其特征在于，所述对所述生成树中的每条边进行评分，包括：遍历所述生成树的每条边，根据所述生成树中的每条边及对应的结点，获取基于边上下文的子图，根据所述子图对所述生成树的边进行评分。


3.根据权利要求1所述的图像聚类方法，其特征在于，所述根据输入图像的图像特征及与所述输入图像的图像特征对应的近邻图像特征，获取生成树，包括：
通过近邻检索算法获取某一图像特征对应的一个或多个近邻图像特征；
根据所述图像特征及与所述输入图像的图像特征对应的近邻图像特征获取最大生成树。


4.根据权利要求2所述的图像聚类方法，其特征在于，获取所述基于边上下文的子图包括：
以所述生成树中每条边及对应的结点作为一类结点，获取每个所述一类结点的一个或多个近邻图像特征作为二类结点；
获取所述二类结点的一个或多个近邻图像特征作为三类结点；
通过所述一类结点、二类结点和三类结点构建对应图像的子图。


5.根据权利要求4所述的图像聚类方法，其特征在于，将所述一类结点、二类结点和三类结点的并集作为所述子图的结点；将所述子图中某一结点对应的近邻结点与所述子图中其他结点的交集作为对应结点的边。


6.根据权利要求3所述的图像聚类方法，其特征在于，所述近邻检索算法包括哈希检索、IndexIVFFlat、IndexIVFPQ、IndexHNSWFlat；获取对应图像的生成树的方法包括克鲁斯卡尔算法、普里姆算法中的一种。


7.根据权利要求2所述的图像聚类方法，其特征在于，所述根据所述子图对所述生成树的边进行评分包括：将所述子图输入图卷积神经网络中，通过所述图卷积神经网络对所述生成树中的每条边进行评分。


8.根据权利要求7所述的图像聚类方法，其特征在于，所述图卷积神经网络至少包括一层批量标准化层、两层卷积层、两层特征拼接层、两层全连接层。


9.根据权利要求7所述的图像聚类方法，其特征在于，对已标注的训练图像数据进行近邻图像特征提取，根据所述图像及近邻图像特征获取生成树和对应的子图，结合子图的边的两个节点的对象属性对所述图卷积神经网络进行训练，并通过训练好的所述图卷积神经网络获取所述生成树中对应边的评分。


10.根据权利要求9所述的图像聚类方法，其特征在于，设置分数阈值，对评分低于所述分数阈值的边进行裁剪，将所述...

【专利技术属性】
技术研发人员：周曦，姚志强，凌英剑，田国栋，
申请(专利权)人：上海云从汇临人工智能科技有限公司，
类型：发明
国别省市：上海;31