一种基于自组织增量图的半监督多媒体数据流分类方法技术

本发明专利技术公开了一种基于自组织增量图的半监督多媒体数据流分类方法，其可以对无标签与有标签数据混合输入的类增量音像多媒体数据流进行学习，模型学习框架包括：步骤1，初始化自组织增量图节点；步骤2，对于输入多媒体数据样本进行竞争Hebbian学习；步骤3，判断数据样本与自组织增量图节点的关系，从记忆加强、错误更正、联想搜索、增量学习四种处理策略中选择一种进行多媒体数据样本的学习；步骤4，在满足设定条件后对自组织增量图进行去噪处理，如若仍有新数据样本需要学习，返回步骤2；步骤5，在分类预测前对自组织增量图进行标签传播处理；步骤6，使用最近邻分类器对测试的多媒体数据样本进行分类。据样本进行分类。据样本进行分类。

【技术实现步骤摘要】
一种基于自组织增量图的半监督多媒体数据流分类方法


[0001]本专利技术涉及一种多媒体数据流分类方法，特别是一种基于自组织增量图的半监督多媒体数据流分类方法。

技术介绍

[0002]近年来，由于对声、像等海量多媒体数据进行采集的便利化及对该类数据进行人工标记的高昂代价，无标签数据由于其易获取性成为辅助分析少量有标签数据的重要技术手段，该类协同学习技术被称为半监督学习方法。同时，网络中持续不断产生的多媒体数据往往意味着数据类别的增加，非增量数据模型在进行类增量学习时通常会表现出不同程度的遗忘问题，造成对已学习过类别的数据样本的分类性能大幅下降，从而降低最终模型表现，因此研究对应的增量学习模型也是业界持续关注多年的焦点科学问题。在实际环境中，持续不断出现的大量数据往往也意味着标记成本的高昂，因此采用能够对无标记与标记数据混合出现的数据流进行处理的增量学习模型是十分有效的，而目前能同时满足以上特性的模型仍亟待研究。
[0003]深度学习模型往往拥有较好的多媒体数据分类性能，然而多数方法需要大量的标记数据，同时也很少能够对数据流进行在线学习，而传统半监督在线学习方法通常需要提前知道数据的分类类别数量，无法应用于类增量学习环境。Shen F,Yu H等人提出的semi
‑
SOINN方法将无监督的自组织增量神经网络SOINN改进成为可行的解决方案。SOINN模型可以对无监督多媒体数据进行拓扑结构表示，并适应性增加或删除节点以适应数据在线学习增量学习环境，无需提前预知数据的类别信息。文献：Shen F,Osamu Hasegawa.An Incremental Network for On
‑
line Unsupervised Classification and Topology Learning[J].Neural Networks,2006,19(1):90
‑
106.
[0004]Shen F,Yu H等人提出的semi
‑
SOINN方法作为半监督分类方法则使用无监督的方式学习多媒体数据的拓扑结构分布并用增量图节点表示，根据增量图节点的连通子图将节点分为不同的簇，并在这之后使用标签数据标记少量增量图节点并将其传播到所有节点上以完成对多媒体数据流的分类任务。但该方法无法在节点学习的同时利用有标签数据对节点进行标记，而这要求模型学习过程中必须保存有标签数据，并且在无标签数据进行一段时间的学习之后才能够参与学习，同时先前的无标签数据学习环节又完全没有使用标签所提供的信息，这将造成节点形成的拓扑表示结果并不一定准确。文献：Shen F,Yu H,Sakurai K,et al.An incremental online semi
‑
supervised active learning algorithm based on self
‑
organizing incremental neural network[J].Neural Computing and Applications,2011,20(7):1061
‑
1074.

技术实现思路

[0005]专利技术目的：本专利技术所要解决的技术问题是针对现有技术的不足，提供一种基于自组织增量图的半监督多媒体数据流分类方法。
[0006]为了解决上述技术问题，本专利技术公开了一种基于自组织增量图的半监督多媒体数据流分类方法，包括如下步骤：
[0007]步骤1，初始化增量图模型及其参数；
[0008]所述增量图模型包括：节点、节点之间的连接及增量图模型的参数；其中，每个节点中储存输入特征局部分布的代表性特征，所述代表性特征由局部范围内的输入样本特征学习得到；增量图模型中其他节点与所述节点之间的连接组成拓扑结构，描述输入样本数据全局分布，并用于后续分类任务；
[0009]所述初始化增量图模型及其参数的方法包括：使用前两个输入样本的特征来初始化增量图模型中的两个初始节点；
[0010]步骤2，对于输入样本进行竞争Hebbian学习，选取欧式距离最近的两个增量图模型的节点作为获胜节点及次获胜节点，判断输入样本是否被获胜节点吸收，得到判断结果。所述输入样本为多媒体数据流，包括：音频类数据流及图像类数据流，该数据流中的数据样本依次输入；
[0011]步骤3，根据步骤2中所述判断结果以及获胜节点与输入样本的标签情况，选择学习策略；
[0012]步骤4，如果当前学习步骤符合设定条件，则对增量图模型进行去噪处理；否则继续执行步骤2；
[0013]步骤5，对增量图模型进行标签传播处理，循环标记所有与有标签节点存在通路的无标签节点；
[0014]步骤6，使用经过步骤1至步骤5训练完成的增量图模型作为最近邻分类器对待测输入样本进行分类；寻找与待分类数据距离最近的有标签节点，并将所述待分类数据预测为该节点对应类别。
[0015]本专利技术步骤1包括如下步骤：
[0016]步骤1
‑
1，设定参数，包括：连接最大年龄age
max
，去噪步骤参数λ，去噪节点参数c；
[0017]步骤1
‑
2，初始化增量图模型的参数，包括：设前两个输入样本为s1＝(x1,y1)和s2＝(x2,y2)，其中，x1及y1分别表示第一个输入样本的特征及标签，x2及y2分别表示第二个输入样本的特征及标签；若第t个输入样本为无标签数据，则规定其标签y
t
＝0；
[0018]则增量图模型的节点集合P初始化为：P＝{p1＝x1,p2＝x2}，其中，p
k
表示增量图模型中生成的第k个节点及其所保存的特征，k＝1,2,
…
；
[0019]节点标签集合PL初始化为：PL＝{pl1＝y1,pl2＝y2}，其中，pl
k
表示第k个节点的标签，k＝1,2,
…
；
[0020]节点的适应性阈值集合PTH初始化为：PTH＝{pth1＝pth2＝||x1‑
x2||2}，其中，pth
k
表示第k个节点的适应性阈值，k＝1,2,
…
；
[0021]节点权重集合PW初始化为：PW＝{pw1＝pw2＝1}，其中，pw
k
表示第k个节点的权重，k＝1,2,
…
；
[0022]其它增量图模型的参数，包括连接集合C，连接的距离权重集合CW，连接的年龄集合CA，连接的激活次数集合CE，均初始化为空集。
[0023]本专利技术步骤2中所述的对于输入样本进行竞争Hebbian学习的方法包括：
[0024]选择距离输入样本特征的欧式距离最小的节点作为获胜节点，通过获胜节点的阈
值判断输入样本是否为增量图模型未学习过的新知识；
[0025]对于输入样本s
t
＝(x
t
,本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于自组织增量图的半监督多媒体数据流分类方法，其特征在于，包括如下步骤：步骤1，初始化增量图模型及其参数；所述增量图模型包括：节点、节点之间的连接及增量图模型的参数；其中，每个节点中储存输入特征局部分布的代表性特征，所述代表性特征由局部范围内的输入样本特征学习得到；增量图模型中其他节点与所述节点之间的连接组成拓扑结构，描述输入样本全局分布，并用于后续分类任务；所述初始化增量图模型及其参数的方法包括：使用前两个输入样本的特征来初始化增量图模型中的两个初始节点；步骤2，对于输入样本进行竞争Hebbian学习，选取欧式距离最近的两个增量图模型的节点作为获胜节点及次获胜节点，判断输入样本是否被获胜节点吸收，得到判断结果；所述输入样本为多媒体数据流，包括：音频类数据流及图像类数据流，该数据流中的多媒体数据样本依次输入；步骤3，根据步骤2中所述判断结果以及获胜节点与输入样本的标签情况，选择学习策略；步骤4，如果当前学习步骤符合设定条件，则对增量图模型进行去噪处理；否则继续执行步骤2；步骤5，对增量图模型进行标签传播处理，循环标记所有与有标签节点存在通路的无标签节点；步骤6，使用经过步骤1至步骤5训练完成的增量图模型作为最近邻分类器对待测输入样本进行分类；寻找与待分类数据距离最近的有标签节点，并将所述待分类数据预测为该节点对应类别，完成对所述多媒体数据流的分类。2.根据权利要求1所述的一种基于自组织增量图的半监督多媒体数据流分类方法，其特征在于，步骤1包括如下步骤：步骤1
‑
1，设定参数，包括：连接最大年龄age
max
，去噪步骤参数λ，去噪节点参数c；步骤1
‑
2，初始化增量图模型的参数，包括：设前两个输入样本为s1＝(x1，y1)和s2＝(x2，y2)，其中，x1及y1分别表示第一个多媒体数据样本的特征及标签，x2及y2分别表示第二个多媒体数据样本的特征及标签；若第t个多媒体数据样本为无标签数据，则规定其标签y
t
＝0；则增量图模型的节点集合P初始化为：P＝{p1＝x1，p2＝x2}，其中，p
k
表示增量图模型中生成的第k个节点及其所保存的特征，k＝1，2，...；节点标签集合PL初始化为：PL＝{pl1＝y1，pl2＝y2}，其中，pl
k
表示第k个节点的标签，k＝1，2，...；节点的适应性阈值集合PTH初始化为：PTH＝{pth1＝pth2＝||x1‑
x2||2}，其中，pth
k
表示第k个节点的适应性阈值，k＝1，2，...；节点权重集合PW初始化为：PW＝{pw1＝pw2＝1}，其中，pw
k
表示第k个节点的权重，k＝1，2，...；其它增量图模型的参数，包括连接集合C，连接的距离权重集合CW，连接的年龄集合CA，连接的激活次数集合CE，均初始化为空集。3.根据权利要求2所述的一种基于自组织增量图的半监督多媒体数据流分类方法，其
特征在于，步骤2中所述的对于输入样本进行竞争Hebbian学习的方法包括：选择距离输入多媒体数据样本特征的欧式距离最小的节点作为获胜节点，通过获胜节点的阈值判断输入样本是否为增量图模型未学习过的新知识；对于输入样本s
t
＝(x
t
，y
t
)，其中，x
t
及y
t
分别表示第t个输入样本的特征及标签；通过计算欧式距离并比较的方式找到获胜节点p
i
与次获胜节点p
j
，计算方式如下：，计算方式如下：其中，表示寻找P集合中的p节点使得p与x
t
的欧式距离在P集合中最小，P/{p}表示集合P除去包含节点p的集合{p}形成的新子集；如果同时满足两个获胜节点的阈值，即||p
i
‑
x
t
||2＜pth
i
且||p
j
‑
x
t
||2＜pth
j
，则判定输入特征x
t
被获胜节点p
i
吸收。4.根据权利要求3所述的一种基于自组织增量图的半监督多媒体数据流分类方法，其特征在于，步骤3中所述选择学习策略的方法包括：如果输入多媒体数据样本被获胜节点吸收，且获胜节点与输入样本标签相同或输入样本无标签，选择记忆加强的学习策略；如果输入多媒体数据样本被获胜节点吸收，且获胜节点与输入样本标签不相同，选择错误更正的学习策略；如果输入多媒体数据样本被获胜节点吸收，且输入样本有标签且获胜节点无标签，则选择联想搜索的学习策略；如果输入多媒体数据样本不被获胜节点吸收，则选择增量学习的学习策略。5.根据权利要求4所述的一种基于自组织增量图的半监督多媒体数据流分类方法，其特征在于，步骤3中所述记忆加强的学习策略的方法包括：获胜节点吸收多媒体数据输入样本特征，同时加强获胜节点与次获胜节点之间的连接；获胜节点p
i...

【专利技术属性】
技术研发人员：申富饶，张天玥，时晓峰，杨锁荣，赵健，
申请(专利权)人：南京大学，
类型：发明
国别省市：