用于图像分类的单纯形神经网络的构建方法及装置制造方法及图纸

一种用于图像分类的单纯形神经网络的构建方法，包括以下步骤：对输入图像进行特征提取，通过若干并行卷积组提取得到所述输入图像的特征图，挖掘所述特征图中的特征点在高维空间的流形分布；通过自组织映射，对提取到的所述输入图像的特征图进行聚类，构建流形分布子空间；构建用于小样本图像分类的单纯形神经元，基于所述单纯形神经元对通过自组织映射聚类后的不同流形分布子空间进行覆盖学习，得到用于图像分类的单纯形神经网络模型。本发明专利技术所提出的单纯形神经元，以线段、三角形和四面体等为基础形状，通过形状的扭曲变换和叠加可构建多种复杂的几何形体，在复杂非线性函数的拟合方面，具备较大的潜力和优势。

【技术实现步骤摘要】
用于图像分类的单纯形神经网络的构建方法及装置
本专利技术涉及人工智能
，尤其涉及一种用于小样本图像分类的单纯形神经网络模型的构建方法及装置。
技术介绍
深度神经网络是由大量的神经元构成，其神经元的非线性和各种复杂连接保证了深度神经网络可以以无限精度逼近任意Rn紧子集上的连续函数，这是深度神经网络可以取得成功的原因之一。另外，在自然获取的数据中天然存在一定的流形结构分布，深度学习也是在学习数据内部的流形结构分布。神经网络的发展离不开对生物神经网络的模仿。1943年，Meculloch和Pitts提出了M-P线性神经元，在神经网络的研究中开启了新的纪元。1988年，Broomhead和Lowe提出径向基函数RBF神经元，将低维输入数据投影到由RBF组成的高维隐空间中的，成功解决了M-P神经元线性不可分的问题，从而神经网络可以真正用于解决实际任务。这种神经元模型仍需假定在高维空间中数据是线性可分的，但实际中数据未必服从该假设，因而基于上述神经元的神经网络模型有一定的局限性，其特征的表达性和判别性受到一定制约，模型精度受到一定影响。现存的经典神经网络，性能的提升需要依靠更大的参数空间、更深层的网络以及更丰富的训练数据支撑，对于小样本的数据，模型的规模要求更高，参数空间和网络自由度是很有限的，少量的数据是无法保证有限的参数最优化学习的，从而限制了模型的性能提升。
技术实现思路
有鉴于此，本专利技术的主要目的在于提供一种用于小样本图像分类的单纯形神经网络模型的构建方法及装置，以期部分地解决上述技术问题中的至少之一。为了实现上述目的，作为本专利技术的一方面，提供了一种用于图像分类的单纯形神经网络的构建方法，包括以下步骤：对输入图像进行特征提取，通过若干并行卷积组提取得到所述输入图像的特征图，挖掘所述特征图中的特征点在高维空间的流形分布；通过自组织映射，对提取到的所述输入图像的特征图进行聚类，构建流形分布子空间；构建用于图像分类的单纯形神经元，基于所述单纯形神经元对通过自组织映射聚类后的不同流形分布子空间进行覆盖学习，得到用于图像分类的单纯形神经网络模型。其中，所述单纯形神经元以线段、三角形或四面体为基础形状，通过形状的扭曲变换和叠加构建多种复杂的几何形体。其中，所述并行卷积组包括VGG、ResNet、Densenet和Xception结构。其中，所述自组织映射是基于多种距离度量方式进行无监督聚类，所述度量方式包括欧氏距离和余弦距离。其中，所述构建用于图像分类的单纯形神经元包括：默认一个簇为一个独立的分布，计算各自空间中各样本间的距离，选择两两距离之和最大的n个样本对n维单纯形的n个顶点进行初始化，即得到单纯形神经元的n个核；计算每个簇中样本点到单纯形距离的标准差，以便对超球半径进行初始化；对单纯形和超球进行膨胀积即得到初始化的单纯形神经元。其中，计算每个簇中样本点到单纯形距离的计算公式如下：d＝||x-q0||；其中，d为所述样本点到单纯形的距离，||·||代表欧氏距离或余弦距离，x为样本点；q0为单纯形内距离x最近的点；所述单纯形神经元的输出为：其中，r为超球的半径，所述超球表征为标准差为r的高斯分布。其中，所述覆盖学习采用覆盖比损失和分类准确率损失指导网络参数学习；所述覆盖比损失以学习完善的RBF神经元体积为参照，控制单纯形神经元的体积。其中，所述覆盖比损失的计算公式如下：其中，vsimplex为单纯形神经元的体积，vrbf为学习完善的RBF神经元的体积。其中，所述方法还包括对已学习的单纯形深度神经网络模型，采用待分类图像进行测试；测试过程包括：基于已学习的单纯形深度神经网络模型，对待分类图像进行非线性映射，得到所述待分类图像在该模型下的得分值；将所述得分值与预设阈值进行比较，以确定所述待分类图像的类别。作为本专利技术的另一方面，提供了一种用于图像分类的单纯形神经网络的构建装置，包括：特征提取模块，用于对输入图像进行特征提取，通过若干并行卷积组提取得到所述输入图像的特征图，挖掘所述特征图的特征点在高维空间的流形分布；聚类模块，通过自组织映射，对提取到的所述输入图像的特征图进行聚类，构建流形分布子空间；学习模块，构建用于图像分类的单纯形神经元，基于所述单纯形神经元对通过自组织映射聚类后的不同流形分布子空间进行覆盖学习，得到用于图像分类的单纯形神经网络模型。基于上述技术方案可知，本专利技术的用于小样本图像分类的单纯形神经网络模型的构建方法相对于现有技术至少具有如下有益效果之一或其中的一部分：(1)本专利技术所提出的单纯形神经元，以线段、三角形和四面体等为基础形状，通过形状的扭曲变换和叠加可构建多种复杂的几何形体，在复杂非线性函数的拟合方面，具备较大的潜力和优势。(2)本专利技术的构建单纯形神经网络模型的方法在训练样本数量方面，只需要较少的样本量，就可以充分拟合样本的分布，故可用于小样本的图像分类任务。实验证明了，在较少的训练样本支撑下，模型可以达到同大训练样本下相媲美的效果，验证了其较强的拟合能力和对小样本图像的分类效果。附图说明图1是本专利技术实施例提供的构建单纯形神经元网络模型的方法流程图；图2是本专利技术实施例提供的单纯形神经元示意图，其中图2(a)为超香肠神经元，图2(b)为三角形神经元，图2(c)为四面体神经元；图3是本专利技术实施例提供的单纯形神经元及单纯形神经元链覆盖示意图(以超香肠为例)。具体实施方式本专利技术所提出的单纯形神经元，以线段、三角形和四面体等为基础，可构建多种复杂的几何形体，对于复杂任务的拟合和学习，具有较大的优势，即在训练样本数量方面，本模型只需要较少的样本量，就可以充分拟合样本的分布。另外，在性能方面，本模型具备更强的非线性拟合能力，能取得更好的效果。因此，我们将模型应用到小样本图像分类任务学习当中，以训练miniImageNet数据集为例，从训练集(64个类，每类600个样本)中随机采样9个样本，构成支撑集，去构建单纯形神经元模型；然后从训练集的样本(每类剩下的样本)中采样构成Batch集，用来获得神经元模型的损失函数进行学习。基于该学习的模型，验证和测试均可以达到较好的效果。为使本专利技术的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本专利技术作进一步的详细说明。如图1所示，为用于小样本图像分类的单纯形神经元的构建方法流程示意图，其具体包括如下步骤：对输入图像进行特征提取，通过若干并行卷积组提取得到输入图像的特征图，挖掘特征点在高维空间的流形分布；通过自组织映射，对提取到的所述输入图像的特征图进行聚类，构建流形分布子空间；构建用于图像分类的单纯形神经元，基于所述单纯形神经元对通过自组织映射聚类后的不同流形分布子空间进行覆盖学习，由此得到待分类图像的单纯形神经本文档来自技高网...

【技术保护点】
1.一种用于图像分类的单纯形神经网络的构建方法，其特征在于，包括以下步骤：/n对输入图像进行特征提取，通过若干并行卷积组提取得到所述输入图像的特征图，挖掘所述特征图中的特征点在高维空间的流形分布；/n通过自组织映射，对提取到的所述输入图像的特征图进行聚类，构建流形分布子空间；/n构建用于图像分类的单纯形神经元，基于所述单纯形神经元对通过自组织映射聚类后的不同流形分布子空间进行覆盖学习，得到用于图像分类的单纯形神经网络模型。/n

【技术特征摘要】
20191227 CN 20191137511771.一种用于图像分类的单纯形神经网络的构建方法，其特征在于，包括以下步骤：
对输入图像进行特征提取，通过若干并行卷积组提取得到所述输入图像的特征图，挖掘所述特征图中的特征点在高维空间的流形分布；
通过自组织映射，对提取到的所述输入图像的特征图进行聚类，构建流形分布子空间；
构建用于图像分类的单纯形神经元，基于所述单纯形神经元对通过自组织映射聚类后的不同流形分布子空间进行覆盖学习，得到用于图像分类的单纯形神经网络模型。


2.根据权利要求1所述的单纯形神经网络的构建方法，其特征在于，所述单纯形神经元以线段、三角形或四面体为基础形状，通过形状的扭曲变换和叠加构建多种复杂的几何形体。


3.根据权利要求1所述的单纯形神经网络的构建方法，其特征在于，所述并行卷积组包括VGG、ResNet、Densenet和Xception结构。


4.根据权利要求1所述的单纯形神经网络的构建方法，其特征在于，所述自组织映射是基于多种距离度量方式进行无监督聚类，所述度量方式包括欧氏距离和余弦距离。


5.根据权利要求1所述的单纯形神经网络的构建方法，其特征在于，所述构建用于图像分类的单纯形神经元包括：
默认一个簇为一个独立的分布，计算各自空间中各样本间的距离，选择两两距离之和最大的n个样本对n维单纯形的n个顶点进行初始化，即得到单纯形神经元的n个核；
计算每个簇中样本点到单纯形距离的标准差，以便对超球半径进行初始化；
对单纯形和超球进行膨胀积即得到初始化的单纯形神经元。


6.根据权利要求5所述的单纯形神经网络的构建方法，其特征在于，计算每个簇中样本点到单纯形距...

【专利技术属性】
技术研发人员：宁欣，董肖莉，田伟娟，李卫军，张丽萍，孙琳钧，李爽，
申请(专利权)人：中国科学院半导体研究所，
类型：发明
国别省市：北京;11