一种基于局部敏感判别的矩阵分类模型制造技术

本发明专利技术提供一种基于局部敏感判别的矩阵分类模型，首先采集数据集，将采集到的样本转化成矩阵模式；其次使用训练集构造局部类内和局部类间子图和，使用和构造正则化项，之后将正则化项引入面向矩阵模式分类器MatMHKS中产生新的面向矩阵模式分类模型LSDMatMHKS，并用训练集训练LSDMatMHKS，使用梯度下降法对模型LADMatMHKS求最优解；然后使用测试集测试最优解，并得出最优的决策函数；最后使用得出的最优的决策函数对输入的未知类别的矩阵模式进行计算，根据输出的结果对未知的矩阵模式进行分类。相较于传统的分类技术，本发明专利技术通过引入局部敏感判别信息，让局部的同类别的模式尽量靠近、不同类别的模式尽量远离，从而提高了分类的稳定性和模型的学习能力。

【技术实现步骤摘要】

本专利技术涉及模式识别领域，尤其涉及一种基于局部敏感判别的矩阵学习机模型的方法。
技术介绍
与传统的面向向量化分类器设计方法不同，面向矩阵模式分类器设计方法是一种可以直接对矩阵化的样本进行分类的方法。在实际的实验中，面向矩阵模式分类器设计方法可以有效的提升面向向量化分类器设计方法的性能。原因主要表现在三个方面：第一点，面向矩阵模式分类器设计方法可以抓取更多的单个样本内的结构信息，并且在一个模式的存储空间上矩阵化方法需要相对较小的存储空间；第二点，面向矩阵模式分类器设计方法避免把单个样本转化为向量形式的样本的操作在一定程度上避免了由于维数过高而引起的高计算复杂度；第三点，实验及理论表明面向向量化分类器设计方法可以看作为面向矩阵模式分类器设计方法的一个特殊情况，即用于解决面向矩阵模式分类器设计方法的方法同样适用于向量化方法。矩阵模式分类器设计方法仅考虑到了最小化经验误差和降低模型的推广性误差，忽略了模式之间的局部敏感的判别信息，其中比较典型的线性算法是MatMHKS（Matrix-pattern-orientedHo-KashyapClassifier）。目前在矩阵模式分类器设计方法中还没有人提到相关方法来解决这一不足。为了解决这一不足，我们提出了一个新的正则化项为矩阵模式分类器设计加入局部敏感判别信息。此项新的正则化项的设计方法来自局部敏感判别分析（LocalitySensitiveDiscriminantAnalysis）。局部敏感判别分析可以抓取局部判别信息和局部几何结构。我们利用局部敏感判别分析的这一优点来设计一个新的正则化项为矩阵化分类设计引入局部敏感判别信息，从而产生了一个新的面向矩阵模式的分类器设计的模型。根据局部敏感判别分析的思想，我们构建两个互不重叠的带权的近邻子图和。其中是来同一类矩阵模式之间的局部连接关系，是来反映不同类矩阵模式之间的局部连接关系。我们在矩阵模式下定义类内子图为和类间子图为来表征类内模式尽量靠近和类间模式尽远离。把引入到双边矩阵型分类器MatMHKS上，从而产生了一个新的分类算法LSDMatMHKS。LSDMatMHKS可以很好的抓取局部敏感判别信息，不仅提高了MatMHKS的分类精确度而且还提高了其学习的稳定性。
技术实现思路
针对现有的面向矩阵模式分类器设计方法没有考虑到矩阵模式之间的局部敏感判别信息的问题，本专利技术的解决方案是在原有的面向矩阵模式分类器设计的框架上设计一个新的正则化项来考虑局部敏感的判别信息，此项正则化项是基于局部敏感判别分析的优势将其改造为适用于矩阵模式的正则化项，从而产生局部敏感判别矩阵学习模型。我们将此框架应用到我们以前的工作MatMHKS上，并命名为LSDMatMHKS。并用梯度下降法对LSDMatMHKS求解，该算法能够有效的引入局部敏感判别信息，提高模式分类的正确率和学习的稳定性。由于该模型采用的是二分类的技术，所以对于类别数为N的数据集，可以将其转化为N(N-1)/2个二分类问题，可知一共需要训练N(N-1)/2个该模型。本专利技术解决其技术问题所采用的技术方案：首先采集数据集，将采集到的样本转化成矩阵模式以便后面的算法可以处理，其中对于不是数值型的数据集进行数值化，其中图片数据集还需要用传统降维算法进行降维处理以便出去噪声。其次使用训练集构造局部类内和局部类间子图和，使用和构造正则化项。之后将正则化项引入面向矩阵模式分类器MatMHKS中产生新的面向矩阵模式分类模型LSDMatMHKS，并用训练集训练LSDMatMHKS，使用梯度下降法对模型LADMatMHKS求最优解。然后使用测试集测试最优解，并得出最优的决策函数。最后使用得出的最优的决策函数对输入的未知类别的矩阵模式进行计算，根据输出的结果对未知的矩阵模式进行分类。本专利技术所采用的技术方案还可以进一步完善。在所述的构造局部类内和局部类间子图和的方法，是先构造局部敏感权重矩阵和，然后再利用和来构造出局部矩阵模式的判别关系，其中和是利用近邻的方法求出。在所述的训练模块中构造正则化项，使局部类内尽量靠近和局部类间类间尽量远离表达形式的方法，即最小化局部类类内模式之间的距离和最大化局部类间模式的距离。该方法是矩阵模式的分类模型，即对于向量模式的方法同样可以处理。本专利技术有益的效果是：通过定义矩阵模式的局部敏感判别关系的权重矩阵，找出了矩阵模式之间的局部敏感的判别关系；通过引入局部敏感判别信息，让局部的同类别的模式尽量靠近、不同类别的模式尽量远离，把局部敏感信息引入到传统面向矩阵模式分类模型中，提高了分类正确率；同时不仅对小样本的过拟合问题有一定得改善，而且提高了分类的稳定性和模型的学习能力；同时不论是图像数据集还是向量数据集，该方法都可以直接进行处理。附图说明图1是本专利技术的基于局部敏感判别矩阵学习机模型的系统框架。具体实施方式下面结合附图和实施例对本专利技术作进一步介绍：本专利技术的方法共分为四大步骤。第一步：数据集采集变换。首先对采集到的数据集进行处理，如果数据集不是数值化的则将其数值化，对于图片数据集将其数值化以后再用经典的将为算法将其降维以便后续的处理；其次把采集到的数据集转换为矩阵模式，例如将其转化为矩阵模式即为，其中。第二步：模型训练。1）首先构造正则化项假设二分类的矩阵模式为。利用其训练集定义局部敏感权重矩阵如下：(1)(2)构造类内和类间子图和，我们定义和如下所示：(3)(4)所以在矩阵模式下定义的正则化项如下所示：(5)其中来控制和之间的关系，可知和包含着局部敏感判别信息。2）传统的矩阵化方法有一个共同的最小结构风险框架，这个最小结构分线框架如下所示：(6)其中是经验风险项,是正则化项，目的是控制整个框架的光滑度和计算复杂度。正则化参数是平衡和的关系。我们把正则化项引入到（6）中可以得到一个新的矩阵化方法框架，如公式（7）所示：(7)其中前面两项和与公式（1）相同，同公式（5）。3）将新的框架引入到面向矩阵分类器MatMHKS后，我们可以得到LSDMatMHKS，其目标函数如公式（8）所示：（8）其,,,,为偏移量，为矩阵模式，为每个矩阵模式的类标号，N为模式总数。4）先对公式（8）矩阵化，再利用梯度下降法对LSDMatMHKS模型求解最优的权重向量和，分别对公式（8）对和求偏导，即和，然后分别令和，求出权重向量和。所求出的权重向量和如公式（9）和（10）所示：（9）（10）其中，，,，而迭代终止条件的计算公式如下所示：（11）其中，。第三步，模型测试通过第二步对模型进行优化得到权重向量以后，利用测试集对求得的权重向量进行测试，选出最优的决策函数。第四步，预测通过第三步选出最优的决策函数对未知模式进行识别。假设未知类别的模式为，则其决策函数如下所示：（12）其中为类别。上文中，参照附图描述了本专利技术的具体实施方式。但是本领域的普通技术人员能够理解，在不偏离本专利技术的精神和范围的情况下，还可以对本专利技术的具体实施方式作各种变更和替换。这些变更和替换都落在本专利技术权利要求书所限定的范围内。实验结果为了验证我们所提方法的有效性和可行性，我们从UCI，KEEL中采集了4个向量数据集，同时还采集了图像数据集Coil-20和Yale，一共6个数据集来对我们的算法进行验证。选取的数据集如表格1所本文档来自技高网...

【技术保护点】
一种基于局部敏感判别的矩阵分类模型，其特征在于：具体步骤是：1）、首先采集数据集：将采集到的样本转化成矩阵模式以便后面的算法可以处理，其中对于不是数值型的数据集进行数值化，其中图片数据集还需要用传统降维算法进行降维处理以便出去噪声；2）、其次使用训练集构造局部类内和局部类间子图和，使用和构造正则化项；3）、之后将正则化项引入面向矩阵模式分类器MatMHKS中产生新的面向矩阵模式分类模型LSDMatMHKS，并用训练集训练LSDMatMHKS，使用梯度下降法对模型LADMatMHKS求最优解；4）、然后使用测试集测试最优解，并得出最优的决策函数；5）、 最后使用得出的最优的决策函数对输入的未知类别的矩阵模式进行计算，根据输出的结果对未知的矩阵模式进行分类。

【技术特征摘要】
1.一种基于局部敏感判别的矩阵分类模型，其特征在于：具体步骤是：1）、首先采集数据集：将采集到的样本转化成矩阵模式以便后面的算法可以处理，其中对于不是数值型的数据集进行数值化，其中图片数据集还需要用传统降维算法进行降维处理以便出去噪声；2）、其次使用训练集构造局部类内和局部类间子图和，使用和构造正则化项；3）、之后将正则化项引入面向矩阵模式分类器MatMHKS中产生新的面向矩阵模式分类模型LSDMatMHKS，并用训练集训练LSDMatMHKS，使用梯度下降法对模型LADMatMHKS求最优解；4）、然后使用测试集测试最优解，并得出最优的决策函数；5）、最后使用得出的最优的决策函数对输入的未知类别的矩阵模式进行计算，根据输出的结果对未...

【专利技术属性】
技术研发人员：王喆，李冬冬，张国威，高大启，
申请(专利权)人：华东理工大学，
类型：发明
国别省市：上海;31