考虑全局数据结构的学习机制造技术

这里公开了一种新的机器学习技术，其归纳了支持向量机的架构。根据取决于数据集中的输入向量集群的广义约束来最优化分离空间中的分离超平面。

【技术实现步骤摘要】

本专利技术涉及学习机，并且更具体地，涉及用于实现学习机的基于核的技术。
技术介绍
存在用于基于对训练数据集合的分析来使数据分类自动化的多个已知技术。这里特别有趣的是基于核的技术，比如支持向量机。该支持向量机的开发已经具有日期回溯到1965年的历史，当时Chervonenkis和Vapnik开发了一种称为广义肖像方法(GeneralizedPortrait Method)的算法，用于构造最优的分离超平面。使用广义肖像方法的学习机通过解决二次最优化问题来最优化训练数据和判定界限之间的边界，所述问题的解可通过最大化下列函数来获得W(α)=Σi=1lαi-12Σi.j=1lαiαjyiyj(xi,xj)]]>所受的约束是Σi=1lyiαi=0]]>和αi≥0。语言乘数αi定义学习机所使用的分离超平面。假设乘数的最优值是αoi并且阈值的对应值是bo，该超平面的方程式是Σi=1lαioyi(xi,x)+bo=0.]]>在1992年，Boser、Guyon和Vapink设计了在希尔伯特(Hilbert)空间中构造分离超平面的有效方法，该方法避免了显式地将输入向量映射到希尔伯特空间中。参看Bernard E.Boser，Isabelle M.Goyon和Vladimir N.Vapink，“A Training Algorithmfor Optimal Margin Classifier，”Proceedings of Fifth AnnualWorkshop on Computational Learning Theory(1992年7月)。替换地，分量超平面根据核函数来表示，所述核函数定义希尔伯特空间中的内积。二次最优化问题则可通过最大化下列函数来解决W(α)=Σi=1lαi-12Σi,j=1lαiαjyiyjK(xi,xj)]]>其所受的约束是 Σi=1lyiαi=0,αi≥0.]]>在该情况下，分离超平面的对应方程式是Σi=1lαioyiK(xi,x)+bo=0.---(1)]]>在1995年，Cortes和Vapnik归纳了最大边界思想，用于当训练数据不可分离时，在图像空间中构造分离超平面。参看CorinnaCortes和Vladimir N.Vapnik，“Support Vector Networks”，Machine Learning，Vol.20，pp.273-97(1995年9月)。最优化问题的二次型根据所谓的“松弛变量”来表述，松弛变量对于位于边界反面上的那些点是非零的，由此允许训练数据的不完善分离。通过转换成对偶形式，二次优化问题可再次按照最大化下列目标函数来表达W(α)=Σi=1lαi-12Σi,j=1lαiαjyiyjK(xi,xj)]]>所受的约束是Σi=1lyiαi=0]]>，但新的约束为0≤αi≤C并且，分离超平面的对应方程式由以上的方程式(1)给出。所述方程式是那些αi≠0的向量的扩展，在本领域中这些向量被称为“支持向量”。为了构造支持向量学习机，人们可使用任何正定函数K(xi，xj)，其创建不同类型的支持向量机。支持向量机已经证实用于广泛的应用，包括生物信息学或文本分类领域中的问题。
技术实现思路
这里公开了一种新的机器学习技术，其归纳了支持向量机的架构。来自数据集的输入向量首先手工或通过使用自动集群技术被集群。输入向量被映射到分离空间，并且分离空间中的分离超平面通过生成用于定义分离超平面的系数而被最优化。但是，所述系数是根据广义约束来生成的，所述约束取决于输入向量在数据集中的集群。根据本专利技术的优选实施例，输入向量依照输入向量所属的集群而被同时映射到分离空间和校正空间。不同集群的输入向量被映射到同一分离空间和不同的校正空间。每个校正空间为特定集群中的输入向量定义校正函数。当生成分离超平面的系数时，它们是以为输入向量的每个集群最优化校正函数的方式而生成的。为了最优化校正函数，输入向量集群的广义约束以取决于在校正空间上定义的核的方式而被定义，集群内的输入向量映射到所述校正空间。通过改变广义约束，学习机可利用人们可能具有的与全局数据结构有关的任何先验知识，包括输入空间中的噪声特性(如集群中所定义的)。分离仍然在分离空间中完成，但是在求解最优化问题之前，输入向量可被隔离并被映射到不同的校正空间。由此，广义约束可由数据结构来定义而不是简单地独立于数据。附图说明通过参考下面的详细描述和附图，本专利技术的这些和其它优点对于本领域技术人员将更加清楚。图1是说明所公开的机器学习技术的基础原理的抽象图。图2是根据优选实施例在训练学习机/分类器时所执行过程的流程图。图3是根据优选实施例在操作学习机/分类器时所执行过程的流程图。具体实施例方式图1是说明所公开的机器学习技术的基础原理的抽象图。用于学习机的训练数据被表示为在输入空间中的输入向量，例如在图1中被示意描述为输入空间100中的101，102...106。每个训练输入向量101，102...106被标记有分类标记，在图1中示意描述为用于第一标记的圆点和用于第二标记的三角。例如但不受限制地，分类标记可表示对应于输入向量的训练数据是否是规定类别的成员。目标是基于训练输入向量101，102...106来构造分离函数，其可作为对数据的分类器。通过手工或利用多个已知自动集群技术中的任意技术来初始集群这些训练输入向量101，102...106。图1描述了两个在训练向量上形成的示例集群161，162——集群161由输入向量101，102，103形成而集群162由输入向量104，105，106形成。应当注意，尽管在图1中描述了两个集群，可根据所公开的技术形成任意数量的集群，包括在所有训练输入向量上的单个集群。与现有技术相比，每个输入向量同时被映射到两个空间定义分离函数的分离空间150和定义专利技术人所称的校正函数的校正空间110，120。注意，尽管输入向量101，102...106的每一个都被映射到相同的分离空间150，输入向量的每个集群161，162可被分配不同的校正函数，及由此不同的校正空间110，120。如图1所示，集群161中的输入向量被映射到校正空间110，而集群162中的输入向量被映射到校正空间120。如这里进一步所解释的，在定义如上所述分离函数的分离空间150中构造分离超平面180。分离超平面180以不仅最优化分离空间150中的边界171，172，而且还考虑对应集群的输入向量的校正函数的方式被构造本文档来自技高网...

【技术保护点】
一种用于训练分类器的方法，包括：从已经被集群在一个或多个集群中的数据集接收输入向量；规定取决于数据集中的输入向量集群的广义约束；和在受到广义约束的分离空间中最优化分离超平面，其中通过利用核函数将输入向量映射到分离空间，并且其中由根据广义约束所生成的系数集合来确定分离超平面。

【技术特征摘要】
...

【专利技术属性】
技术研发人员：YN瓦普尼克，MR米勒，
申请(专利权)人：美国日本电气实验室公司，
类型：发明
国别省市：US[美国]