一种基于凸优化的多核学习新算法制造技术

多核学习(MKL)的最优化问题由经验风险、正则项两部分组成，其解的稀疏性取决于正则项中的权值范数。多核学习(MKL)通过多种核函数的组合，实现了对多种特征集合的表示，有利于对多源数据的处理。本发明专利技术提出的非稀疏多核学习，采用凸优化学习算法，在组内的核函数采用l1范数，相当于仅选择最重要的核函数进行组合，以提升稀疏性；在组间采用l2范数，相当于平等地选择处于不同子空间的核函数，以提高学习和预测的精度。这种非稀疏多核学习问题采用，Mirro-Descent(MD)方法求解，达到了既提高学习精度，又提高学习速度的目的。

【技术实现步骤摘要】

本专利技术属于智能控制与建模领域，涉及多核学习 （Multiple Kernel Learning, MKL)、最优化算法等方法。 二、
技术介绍
多核学习是一类灵活性更强的基于核的学习方法。近来的理论和应用已经证明， 利用多核代替单核能增强决策函数的可解释性，并能获得比单核模型更优的性能。在多核 框架下，样本在特征空间中的表示问题，就转化成为基本核与权系数的选择问题。这里首要 的问题就是如何得到这个组合的特征空间，也就是如何学习得到权系数。确定了核函数及 其组合系数，MKL就转化成标准的支持向量机问题。因此，MKL的研究内容主要包括，确定核 函数及其组合系数的最优化问题，以及最优化问题的求解算法两部分。 多核学习（MKL)通常可以转化为半定规划问题来求解。对于一些规模较小的数据 集，MKL不会遇到太大的障碍。但对于一些大规模问题，由于涉及到多核矩阵的快速求解、 高维多核矩阵的分解等，半定规划求解算法效率非常低。Bregman在设计、分析可行性和优 化问题的算法的过程中，通过使用Bregman距离函数，首创了优美而有效的Bregman优化方 法。Bregman优化方法是当前算法理论中重要的研究课题。 三、专利内容： 1、专利目的 专利技术一种基于Bregman距离的非稀疏多核学习方法，这种方法既能提高多核学习 的精度，又能提高多核学习的速度。 2、技术解决方案 本专利技术提出的非稀疏多核学习，在组内的核函数采用I1范数，相当于仅选择最重 要的核函数进行组合，以提升稀疏性；在组间采用I 2范数，相当于平等地选择处于不同子空 间的核函数，以提高学习和预测的精度。这种最优化问题，是一种非光滑的凸优化问题，本 专利技术提出利用Mirro-Descent(MD)方法来求解。 四、【具体实施方式】 Mirro-Descent(MD)方法类似于最速下降算法，但是关键之处是，在辅助优化问题 的每一步迭代中，利用Bregman距离函数，取代欧几里德（Euclidean)距离函数。Bregman 距离函数利用单纯形的几何性质，导致MD方法在单纯形直积（Product of Simplices)上 进行优化，因此，相比简单多核（SimpleMKL)等方法，具有非常高的运算效率。因此，对于弹 性多核学习的算法研究，关键是构造能作为Bregman距离的具体函数。 MKL的最优化问题由两部分组成：mjn ，R6mp(w)为经验风险， 用以拟合样本数据。Ω(?)为正则项，用以限制决策函数的复杂度。具体来说，假设给定的 N个样本(UJ)I1，其中Xi属于输入空间，Yi属于输出空间。对于回归问题Y iGRtj对于 核函数km的Gram矩阵为Km = (km(Xi，yi)) m，Hm为相应的再生核希尔伯特空间，并假设Km 正定。首先考虑固定核权值的学习问题。对于M个非负核权Cl1, d2, L dM，组合核的核矩阵【主权项】1. 专利技术的，采用一种凸优化方法，这种方法既能提 高多核学习的精度，又能提高多核学习的速度。2. 权利要求1所述的，其特征在于：利用 Mirro-Descent(MD)方法来求解。3. 权利要求1所述的，其特征还在于：在辅助优化 问题的每一步迭代中，利用Bregman距离函数，取代欧几里德（Euclidean)距离函数。【专利摘要】多核学习(MKL)的最优化问题由经验风险、正则项两部分组成，其解的稀疏性取决于正则项中的权值范数。多核学习(MKL)通过多种核函数的组合，实现了对多种特征集合的表示，有利于对多源数据的处理。本专利技术提出的非稀疏多核学习，采用凸优化学习算法，在组内的核函数采用l1范数，相当于仅选择最重要的核函数进行组合，以提升稀疏性；在组间采用l2范数，相当于平等地选择处于不同子空间的核函数，以提高学习和预测的精度。这种非稀疏多核学习问题采用，Mirro-Descent(MD)方法求解，达到了既提高学习精度，又提高学习速度的目的。【IPC分类】G06F19-00【公开号】CN104699926【申请号】CN201310654120【专利技术人】王书舟 【申请人】天津工业大学【公开日】2015年6月10日【申请日】2013年12月5日本文档来自技高网...

【技术保护点】
专利技术的一种基于凸优化的多核学习新算法，采用一种凸优化方法，这种方法既能提高多核学习的精度，又能提高多核学习的速度。

【技术特征摘要】

【专利技术属性】
技术研发人员：王书舟，
申请(专利权)人：天津工业大学，
类型：发明
国别省市：天津;12