基于样本分布密度改进KKT条件的SVM增量学习方法技术

本发明专利技术公开了一种基于样本分布密度改进KKT条件的SVM增量学习方法，包括：获得分类器的支持向量集SV0与分类器的标准KKT条件Ⅰ；构建SVM分类器Model

【技术实现步骤摘要】
基于样本分布密度改进KKT条件的SVM增量学习方法


[0001]本专利技术属于机器学习
，涉及一种基于样本分布密度改进KKT条件的SVM增量学习方法。特别是针对样本分布不均匀情况下的SVM增量学习，可用于自动化增量学习下的SVM分类器在线更新。

技术介绍

[0002]支持向量机(Support Vector Machine，SVM)是20世纪90年代由Vapnik提出的一种机器学习模式识别分类算法，参考文献[Vapnik V.Statistical learning theory.New York:John Wiley&Sons,Inc.,1998]，在小样本、高维特征的分类任务中表现优异。传统SVM算法是一种批量学习模式，即假设训练之前所有的训练样本可以一次性得到，训练完成则学习过程终止。然而在实际应用中，训练样本通常不可能一次全部得到，而是随着时间逐步得到的，新增样本包含的信息会随着时间产生变化。因此，分类器需要具备不断从这些样本数据中学习有用知识的能力，从而实现在新增样本条件下的分类器在线更新。
[0003]如何从新增样本数据中学习有用知识、保证通过学习训练更新后的模型具备更优的分类性能成为需要解决的重点问题。这个问题可以通过增量学习保留新增样本的重要信息来解决。增量学习思想概括为：在原有知识库的基础上，仅对新增数据引起的变化对原有知识库进行更新。这将可以大幅度节省新样本数据加入后的训练时间和内存需求。
[0004]Syed等提出的SVM增量学习算法是早期较为经典的算法，参考文献[Syed N A,Liu H,Sun K K.Incremental learning with support vector machines.Proc.Int Joint Conference on Artificial Intelligence,1999.]，该算法的基本思想是只保留原分类模型的支持向量，与新增数据样本进行增量训练。这种算法没有对新增样本进行筛选，一些对分类精度无增益效果的新增样本也进行了训练，因此增量学习的效率较差且影响分类精度。之后研究人员引入Karush
‑
Kuhn
‑
Tucker(KKT)条件来筛选新增样本，提出了基于KKT条件的SVM增量学习算法。2014年，张灿琳等在KKT条件的基础上引入新增样本误分点错误驱动思想，提出一种新的SVM增量学习算法，参考文献[张灿琳,姚明海,童小龙,等.一种新的基于KKT条件的错误驱动SVM增量学习算法.计算机系统应用,vol.23(1),pp.144
‑
148,2014]。这类基于KKT条件的SVM增量学习算法虽然实现对新增样本的筛选，但是泛化能力较差。在新增样本的分布不均匀情况下，已有的基于KKT条件的SVM增量学习方法不能对分布密度明显不一致的新增样本进行自适应筛选，在样本分布不均衡的情况下，这些方法更新后的SVM分类器的分类精度将明显偏低。

技术实现思路

[0005]针对于上述现有技术的不足，本专利技术的目的在于提供一种基于样本分布密度改进KKT条件的SVM增量学习方法，以解决现有技术中SVM增量学习算法在样本分布不均衡情况下对新增样本学习能力较差，分类器泛化能力低和分类精度低的问题。
[0006]本专利技术的方法可以通过对新增样本的KKT条件判断，预选出可能的支持向量集SV
用于更新分类器，但是分析不同样本分布密度下分类边界附近非支持向量数量规律发现，样本分布密度越大，分类边界附近的非支持向量越多，可能转换成新分类器支持向量的样本越多，样本分布密度较小，分类边界附近的非支持向量相对较少，可能转换为新分类器支持向量的样本也就越少，假如引入固定值的偏置参数来改进KKT条件，在样本分布不均衡的情况下，低样本密度的样本集中对新增样本的学习程度相比于高样本密度样本集中对新增样本的学习程度明显不够。
[0007]本专利技术在基于KKT条件的SVM增量学习方法基础上，通过样本分布密度自适应计算偏置参数从而改进KKT条件，采用改进KKT条件从能够从新增样本中正负类样本集自动筛选候选的支持向量集SV，提高对低样本密度的样本学习，均衡高样本密度的样本学习，在充分利用历史训练结果的情况下，实现对新增样本的快速增量学习，从而提高分类器泛化能力以及分类精度。
[0008]本专利技术的一种基于样本分布密度改进KKT条件的SVM增量学习方法，步骤如下：
[0009]1)根据原始样本集A训练SVM分类器Model
old
，获得分类器Model
old
的支持向量集SV0与标准KKT条件Ⅰ；
[0010]2)计算原始样本集A中正、负类样本的样本分布密度，并根据样本分布密度计算正、负样本下的偏置参数，在标准KKT条件Ⅰ的基础上增加偏置参数，构建SVM分类器Model
old
下针对正、负类样本自适应优化的改进KKT条件Ⅰ；
[0011]3)判断新增样本集B中样本是否全部满足SVM分类器Model
old
的标准KKT条件Ⅰ，若全部满足，则输出原始SVM分类器Model
old
即为所需模型，结束；否则将新增样本集B中违背标准KKT条件Ⅰ的样本放入集合B1，满足标准KKT条件Ⅰ的样本放入集合B2；
[0012]4)判断新增样本集B中样本是否满足SVM分类器Model
old
的改进KKT条件Ⅰ，将满足改进KKT条件Ⅰ的样本放入候选支持向量集SV1，定义为可能的支持向量样本；
[0013]5)根据候选支持向量集SV1训练分类器Model1，获得分类器Model1的标准KKT条件Ⅱ，利用支持向量集SV1的样本分布密度计算正、负样本下的偏置参数，获得增加偏置参数后的改进KKT条件Ⅱ；
[0014]6)判断集合B2是否满足改进KKT条件Ⅱ，若集合B2为空或所有样本均满足改进KKT条件Ⅱ，则输出更新后的模型即为分类器Model1，结束；否则将不满足改进KKT条件Ⅱ的样本放入补充支持向量集SV
add
；
[0015]7)采用SV0∪SV1∪SV
add
集合训练分类器Model2并输出更新后的分类器为Model2，SV0为原始分类器的支持向量集，SV
add
为补充支持向量集。
[0016]进一步地，所述步骤1)中根据原始样本集训练SVM分类器Model
old
过程中采用LIBSVM工具箱，所述标准KKT条件Ⅰ表示如下式：
[0017][0018]SVM分类器的最优超平面最优解求解过程中，定义条件0≤α
ι
＜X，标准KKT条件简化表示为y
i
f(x
i
)≤1；其中，C为惩罚系数，α＝(α1,α2,...,α
n
)
T
为拉格朗日乘子，T表示矩阵的转置，y
i
∈[1,
‑
...

【技术保护点】

【技术特征摘要】
1.一种基于样本分布密度改进KKT条件的SVM增量学习方法，其特征在于，步骤如下：1)根据原始样本集A训练SVM分类器Model
old
，获得分类器Model
old
的支持向量集SV0与标准KKT条件Ⅰ；2)计算原始样本集A中正、负类样本的样本分布密度，并根据样本分布密度计算正、负样本下的偏置参数，在标准KKT条件Ⅰ的基础上增加偏置参数，构建SVM分类器Model
old
下针对正、负类样本自适应优化的改进KKT条件Ⅰ；3)判断新增样本集B中样本是否全部满足SVM分类器Model
old
的标准KKT条件Ⅰ，若全部满足，则输出原始SVM分类器Model
old
即为所需模型，结束；否则将新增样本集B中违背标准KKT条件Ⅰ的样本放入集合B1，满足标准KKT条件Ⅰ的样本放入集合B2；4)判断新增样本集B中样本是否满足SVM分类器Model
old
的改进KKT条件Ⅰ，将满足改进KKT条件Ⅰ的样本放入候选支持向量集SV1，定义为可能的支持向量样本；5)根据候选支持向量集SV1训练分类器Model1，获得分类器Model1的标准KKT条件Ⅱ，利用支持向量集SV1的样本分布密度计算正、负样本下的偏置参数，获得增加偏置参数后的改进KKT条件Ⅱ；6)判断集合B2是否满足改进KKT条件Ⅱ，若集合B2为空或所有样本均满足改进KKT条件Ⅱ，则输出更新后的模型即为分类器Model1，结束；否则将不满足改进KKT条件Ⅱ的样本放入补充支持向量集SV
add
；7)采用SV0∪SV1∪SV
add
集合训练分类器Model2并输出更新后的分类器为Model2，SV0为原始分类器的支持向量集，SV
add
为补充支持向量集。2.根据权利要求1所述的基于样本分布密度改进KKT条件的SVM增量学习方法，其特征在于，所述步骤1)中根据原始样本集训练SVM分类器Model
old
过程中采用LIBSVM工具箱，所述标准KKT条件Ⅰ表示如下式：SVM分类器的最优超平面最优解求解过程中，定义条件0≤α
ι
＜X，标准KKT条件简化表示为y
i
f(x
i
)≤1；其中，C为惩罚系数，α＝(α1,α2,...,α
n
)
T
为拉格朗日乘子，T表示矩阵的转置，y
i
∈[1,
‑
1]为样本标签，f(x
i
)为样本x
i
与最优超平面之间的距离。3.根据权利要求1所述的基于样本分布密度改进KKT条件的SVM增量学习方法，其特征在于，所述步骤2)中根据样本分布密度计算正、负样本下的偏...

【专利技术属性】
技术研发人员：王彩云，吴钇达，李阳雨，丁牧恒，
申请(专利权)人：南京航空航天大学，
类型：发明
国别省市：