基于同源连续性的单纯形深度神经网络模型及构建方法技术

一种基于同源连续性的单纯形深度神经网络模型的构建方法，包括如下步骤：步骤1，对输入样本进行特征提取，通过若干并行卷积组提取得到输入样本的特征图，挖掘样本点在高维空间的流形分布；步骤2，通过自组织映射，对步骤1中提取到的特征图进行聚类，构建流形分布子空间；步骤3，构建单纯形神经元，基于所述单纯形神经元对步骤2中自组织映射聚类后的不同流形分布子空间进行覆盖学习，由此得到所述基于同源连续性的单纯形深度神经网络模型。本发明专利技术构造的单纯形神经元模型，以样本拓扑结构在特征隐空间中具有连通性作为先验知识，学习单纯形神经元的参数，在特征隐空间对样本进行覆盖学习，学习速度更快，并且具有更好的逼近性能和抗噪能力。

A simplex depth neural network model and its construction method based on homologous continuity

【技术实现步骤摘要】
基于同源连续性的单纯形深度神经网络模型及构建方法
本专利技术涉及人工智能
，尤其涉及一种基于同源连续性的单纯形深度神经网络模型及构建方法。
技术介绍
深度神经网络可以地将特征提取与分类学习自然而然地整合在一起，实现一种端到端的学习。近年来，深度神经网络快速发展，在分类、定位、语义分割和行为识别等任务中的瓶颈得以突破，在现实世界的各个领域都达到甚至超越了人的表现水平。深度神经网络是由大量的神经元构成，其神经元的非线性和各种复杂连接保证了深度神经网络可以以无限精度逼近任意Rn紧子集上的连续函数，这是深度神经网络可以取得成功的原因之一。另外，在自然获取的数据中天然存在一定的流形结构分布，深度学习也是在学习数据内部的流形结构分布。神经网络的发展离不开对生物神经网络的模仿。1943年，Meculloch和Pitts提出了M-P线性神经元，在神经网络的研究中开启了新的纪元。1988年，Broomhead和Lowe提出径向基函数RBF神经元，将低维输入数据投影到由RBF组成的高维隐空间中的，成功解决了M-P神经元线性不可分的问题，从而神经网络可以真正用于解决实际任务。这种神经元模型仍需假定在高维空间中数据是线性可分的，但实际中数据未必服从该假设，因而基于上述神经元的神经网络模型有一定的局限性，其特征的表达性和判别性受到一定制约，模型精度受到一定影响。国内王守觉院士也提出一种基于高维空间几何分析理论的神经网络模型。相对于传统模式识别方法，他认为应当更注重“认知”，而非“划分”，从而引入基于覆盖的仿生模式识别方法。该理论认为，事物具有“同源连续性”，即同类事物的两个不同样本之间至少存在一个渐变的过程，在这个过程中所有的样本仍属于该类别。体现在特征隐空间中，即同类样本是连续分布的，任意两个样本点之前存在至少一条连续的通道，经过通道上的每一个点均属于该类样本。以同源连续性为基础，仿生模式识别即研究在高维特征隐空间中如何对样本进行最优覆盖。
技术实现思路
有鉴于此，本专利技术的主要目的在于提供一种基于同源连续性的单纯形覆盖模型及方法，以期至少部分地解决上述技术问题中的至少之一。为了实现上述目的，作为本专利技术的一方面，提供了一种基于同源连续性的单纯形覆盖模型的构建方法，包括以下步骤：步骤1，对输入样本进行特征提取，通过若干并行卷积组提取得到输入样本的特征图，挖掘样本点在高维空间的流形分布；步骤2，通过自组织映射，对步骤1中提取到的特征图进行聚类，构建流形分布子空间；步骤3，构建单纯形神经元，基于所述单纯形神经元对步骤2中自组织映射聚类后的不同流形分布子空间进行覆盖学习，由此得到所述基于同源连续性的单纯形深度神经网络模型。其中，步骤1中所述的并行卷积组包括但不限于VGG、ResNet、Densenet或Xception结构。其中，步骤2中所述的自组织映射是基于多种度量方式进行无监督聚类，其中包括但不限于欧氏距离或余弦距离。其中，步骤3中所述的单纯形神经元的构建过程如下：子步骤31，默认一个簇为一个独立的分布，计算各自空间中各样本间的距离，选择两两距离之和最大的n个样本对n维单纯形的n个顶点进行初始化，即得到单纯形神经元的n个核；子步骤32，计算每个簇中样本点到单纯形距离的标准差，以便对超球半径进行初始化；子步骤33，对单纯形和超球进行膨胀积即得到初始化的单纯形神经元；子步骤34，通过反向传播算法同时更新单纯形神经元的各个参数和用于特征提取的并行卷积组，使类内分布更加紧凑。其中，子步骤32中计算每个簇中样本点到单纯形距离的计算公式如下：d＝||x-q0||；其中，d为所述点到单纯形距离，||·||代表某种距离度量；x为样本点；q0为单纯形内距离x最近的点。其中，子步骤33中所述单纯形神经元的输出为：其中，r为超球的半径，此处超球表征为标准差为r的高斯分布。其中，步骤3中所述的覆盖学习采用覆盖比损失和分类准确率损失指导网络参数学习；所述覆盖比损失以学习完善的RBF神经元体积为参照，控制单纯形神经元的体积，保证类内覆盖的紧凑性。其中，所述覆盖比损失的计算公式如下：其中，vsimplex为单纯形神经元的体积，vrbf为学习完善的RBF神经元的体积。其中，所述构建方法还包括对已学习的单纯形深度神经网络模型进行测试；所述测试过程具体包括：基于已学习的单纯形深度神经网络模型，对测试样本进行非线性映射，得到测试样本在该模型下的得分值，对该得分值选取合适的阈值，进行分类。作为本专利技术的另一方面，还提供了一种基于同源连续性的单纯形深度神经网络构建系统，所述系统包括：处理器，用于执行存储器中存储的程序；存储器，其中存储有用于执行如上所述的单纯形深度神经网络模型的构建方法的程序。基于上述技术方案可知，本专利技术的基于同源连续性的单纯形覆盖模型及方法相对于现有技术至少具有如下有益效果之一或其中的一部分：1、本专利技术构造的单纯形神经元模型，基于高维复杂几何形体覆盖的思想，直接将样本本身作为已知的知识，对其流形结构进行覆盖，克服了传统模式识别中以最佳划分作为目标的弊端，并且单纯形神经元对同类样本的覆盖更为紧密，实现准确的认知。2、本专利技术构造的单纯形神经元模型，基于同源连续性规律，以样本拓扑结构在特征隐空间中具有连通性作为先验知识，学习单纯形神经元的参数，在特征隐空间对样本进行覆盖学习，学习速度更快，并且具有更好的逼近性能和抗噪能力。3、本专利技术提出的单纯形神经元深度神经网络模型不仅结构清晰，而且算法易于理解并具有很好的操作性。通过实验验证过该网络，发现不仅具有很好的非线性比较能力，可以对训练过的类别的样本能够很好的进行分类，而且还具有对未训练过的种类的样本也能很好的拒识。附图说明图1为本专利技术的单纯形神经元模型构建方法流程图；图2为本专利技术的单纯形神经元及单纯形神经元链覆盖示意图(以超香肠为例)；图3为本专利技术的单纯形神经元示意图，其中(a)为超香肠神经元，(b)为三角形神经元，(c)为四面体神经元。具体实施方式为使本专利技术的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本专利技术作进一步的详细说明。本专利技术提供的这种单纯形神经元深度神经网络模型如图3所示，其中(a)为超香肠神经元，(b)为三角形神经元，(c)为四面体神经元；将模型的映射逼近问题分为三个阶段：第一阶段是实现输入样本的特征提取，通过若干并行卷积组提取得到输入样本的特征图(featuremap)，挖掘样本点在高维空间的流形分布，所述并行卷积组包括但不限于VGG、ResNet、Densenet、Xception等结构；第二阶段是通过自组织映射，对提取到的featuremap进行聚类，构建流形分布子空间，所述自组织映射可以基于多种度量方式进行无监督聚类，包括但不限于欧氏距离、余弦距离等；本文档来自技高网...

【技术保护点】
1.一种基于同源连续性的单纯形深度神经网络模型的构建方法，其特征在于，包括如下步骤：/n步骤1，对输入样本进行特征提取，通过若干并行卷积组提取得到输入样本的特征图，挖掘样本点在高维空间的流形分布；/n步骤2，通过自组织映射，对步骤1中提取到的特征图进行聚类，构建流形分布子空间；/n步骤3，构建单纯形神经元，基于所述单纯形神经元对步骤2中自组织映射聚类后的不同流形分布子空间进行覆盖学习，由此得到所述基于同源连续性的单纯形深度神经网络模型。/n

【技术特征摘要】
1.一种基于同源连续性的单纯形深度神经网络模型的构建方法，其特征在于，包括如下步骤：
步骤1，对输入样本进行特征提取，通过若干并行卷积组提取得到输入样本的特征图，挖掘样本点在高维空间的流形分布；
步骤2，通过自组织映射，对步骤1中提取到的特征图进行聚类，构建流形分布子空间；
步骤3，构建单纯形神经元，基于所述单纯形神经元对步骤2中自组织映射聚类后的不同流形分布子空间进行覆盖学习，由此得到所述基于同源连续性的单纯形深度神经网络模型。


2.根据权利要求1所述的构建方法，其特征在于，步骤1中所述的并行卷积组包括但不限于VGG、ResNet、Densenet或Xception结构。


3.根据权利要求1所述的构建方法，其特征在于，步骤2中所述的自组织映射是基于多种度量方式进行无监督聚类，其中包括但不限于欧氏距离或余弦距离。


4.根据权利要求1所述的构建方法，其特征在于，步骤3中所述的单纯形神经元的构建过程如下：
子步骤31，默认一个簇为一个独立的分布，计算各自空间中各样本间的距离，选择两两距离之和最大的n个样本对n维单纯形的n个顶点进行初始化，即得到单纯形神经元的n个核；
子步骤32，计算每个簇中样本点到单纯形距离的标准差，以便对超球半径进行初始化；
子步骤33，对单纯形和超球进行膨胀积即得到初始化的单纯形神经元；
子步骤34，通过反向传播算法同时更新单纯形神经元的各个参数和用于特征提取的并行卷积组，使类内分布更加紧凑。


5.根据权利要求4所述的构建方法，其...

【专利技术属性】
技术研发人员：宁欣，李卫军，田伟娟，董肖莉，张丽萍，
申请(专利权)人：中国科学院半导体研究所，
类型：发明
国别省市：北京;11