一种基于交互检测的矢量数据高阶特征最优变换方法技术

本申请提供一种基于交互检测的矢量数据高阶特征最优变换方法，该方法包括：获取教师模型；在教师模型进行二元特征交互作用检测得到二元特征交互作用对；根据二元特征交互作用对进行层级高阶特征交互作用对检测，得到高阶特征交互作用对；根据二元特征交互作用对和高阶特征交互作用对，构建参数化神经网络模型；对神经网络模型求解，得到最优参数。通过训练得到教师模型，在教室模型中进行特征交互作用检测出二元特征交互作用对及高阶特征交互作用对，进而构建能够捕捉到特征之间的交互信息，对神经网络模型求解，得到最优参数，使模型优度有明显提高，能够以参数化的形式给出特征或特征组合的最优变换，便于得到更加准确的预测。测。测。

【技术实现步骤摘要】
一种基于交互检测的矢量数据高阶特征最优变换方法


[0001]本申请涉及特征工程
，具体涉及一种基于交互检测的矢量数据高阶特征最优变换方法。

技术介绍

[0002]在机器学习领域内，对于最优变换的研究相对较为少见，其最主要原因在于设计有效算法的困难性。
[0003]传统的方法利用特征的随机组合以及一些基本算数运算(加-减-乘-除)和几类初等变换函数(如三角函数，幂函数，多项式函数等)的组合。以此得到的新的特征即便数量巨大也很难“猜中”一个潜藏(也即最优)的特征变换，因此传统算法构造了大量无用的新特征，而它们多数情况下却无法起到提升后续学习任务性能的作用，却浪费了大量的计算资源和宝贵的时间，最重要的是学到的特征变换对于解释业务数据往往毫无帮助。
[0004]早在1985年，两位来自美国斯坦福大学的统计学家Breiman和Friedman提出了Alternate Conditional Expectation(ACE，交替条件期望)算法用来寻找矢量数据中单个特征的最优变换。最原始的非参数单变元ACE算法基于以下线性加和模型：
[0005][0006]其中Y、X1、X2……
X
p
都是一维随机变量，具体而言Y是输出变量/标签，X1……
X
p
是预测变量/输入特征；θ(Y)、φ1(X1)
……
φ
k
(X
k
)是变量相对应的变换函数，∈是θ(Y)中不可被模型解释的部分，通常被认为是一个独立的加性噪声。
[0007]本申请的专利技术人在长期研发中发现，上述非参数单变元ACE算法存在以下两个主要缺陷：a)缺陷一：无法捕捉数据特征间的高维相互作用，例如二元相互作用(X
i
，X
j
)，三元相互作用(X
i
，X
j
，X
k
)；因此，当特征存在高维相互作用的时候，经典的ACE算法会给出很差的拟合和预测结果；b)缺陷二：虽然可以直观展示最优变换，但却无法给出最优变换的显示表达式；因为这个问题，在预测新的数据点时，非参数ACE算法需要利用临近的数据点和数据平滑算法做插值预测，造成性能损失。

技术实现思路

[0008]本申请提供一种基于交互检测的矢量数据高阶特征最优变换方法，以解决现有技术中当特征存在高维相互作用的时候，经典的ACE算法会给出很差的拟合和预测结果的问题。
[0009]为解决上述技术问题，本申请采用的一个技术方案是：提供一种基于交互检测的矢量数据高阶特征最优变换方法，所述方法包括：获取教师模型；在所述教师模型进行二元特征交互作用检测得到二元特征交互作用对；根据所述二元特征交互作用对进行层级高阶特征交互作用对检测，得到高阶特征交互作用对；根据所述二元特征交互作用对和所述高
阶特征交互作用对，构建参数化神经网络模型；对所述神经网络模型求解，得到最优参数。
[0010]为解决上述技术问题，本申请采用的另一个技术方案是：提供一种移动终端，所述移动终端包括相互耦接的处理器和存储器，所述存储器用于存储计算机程序，所述处理器用于加载所述计算机程序并执行。
[0011]为解决上述技术问题，本申请采用的又一个技术方案是：提供一种计算机存储介质，其上存有计算机程序，所述计算机程序用于实现上述实施方式中任一项方法的步骤。
[0012]本申请的有益效果是：区别于现有技术的情况，本申请提供一种基于交互检测的矢量数据高阶特征最优变换方法，该方法包括：获取教师模型；在教师模型进行二元特征交互作用检测得到二元特征交互作用对；根据二元特征交互作用对进行层级高阶特征交互作用对检测，得到高阶特征交互作用对；根据二元特征交互作用对和高阶特征交互作用对，构建参数化神经网络模型；对神经网络模型求解，得到最优参数。通过训练得到教师模型，在教室模型中进行特征交互作用检测出二元特征交互作用对及高阶特征交互作用对，进而构建能够捕捉到特征之间的交互信息，对神经网络模型求解，得到最优参数，以取在测试数据上表现最优的模型参数，使模型优度有明显提高，能够以参数化的形式给出特征或特征组合的最优变换，便于得到更加准确的预测，解决了现有技术中当特征存在高维相互作用的时候，经典的ACE算法会给出很差的拟合和预测结果的问题。
附图说明
[0013]为了更清楚地说明申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的情况下，还可以根据这些附图获得其他的附图，其中：
[0014]图1是本申请一种基于交互检测的矢量数据高阶特征最优变换方法一实施例的流程示意图；
[0015]图2是本申请一种基于交互检测的矢量数据高阶特征最优变换方法另一实施例的流程示意图；
[0016]图3是回归函数列表；
[0017]图4是训练完成后参数ACE算法最优特征变换层给出的变换函数；
[0018]图5是本申请一种移动终端一实施例的结构示意图。
具体实施方式
[0019]下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动情况下所获得的所有其他实施例，均属于本申请保护的范围。
[0020]需要说明，若本申请实施例中有涉及“第一”、“第二”等的描述，则该“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术
人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本申请要求的保护范围之内。
[0021]请参阅图1，图1是本申请一种基于交互检测的矢量数据高阶特征最优变换方法一实施例的流程示意图。本实施例揭示的方法包括以下步骤：
[0022]S11：获取教师模型。
[0023]通过有监督学习的方法，训练过参数化神经网络得到准确度较高的教师模型或直接采用已有的state-of-the-art(当前最高水平)机器学习模型作为教师模型。
[0024]S12：在教师模型进行二元特征交互作用检测得到二元特征交互作用对。
[0025]在教师模型中使用训练数据进行计算时，会出现计算量巨大的问题，在真实场景中特征交互作用可能出现较为稀疏的特点，都会导致很差的拟合和预测结果。在本实施例中，通过特征交互作用检测能够快速得到比较良好的预测结果。在教师模型进行二元特征交互作用检测，能够较高概率挑选出最强的二元特征交互作用对。
[0026]S13：根据二元特征交互作用对本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于交互检测的矢量数据高阶特征最优变换方法，其特征在于，所述方法包括：获取教师模型；在所述教师模型进行二元特征交互作用检测得到二元特征交互作用对：根据所述二元特征交互作用对进行层级高阶特征交互作用对检测，得到高阶特征交互作用对；根据所述二元特征交互作用对和所述高阶特征交互作用对，构建参数化神经网络模型；对所述神经网络模型求解，得到最优参数。2.根据权利要求1所述的方法，其特征在于，在所述教师模型进行二元特征交互作用检测得到二元特征交互作用对的步骤包括：基于置信区间上界方法，在所述教师模型进行二元特征交互作用检测得到所述二元特征交互作用对。3.根据权利要求2所述的方法，其特征在于，基于置信区间上界方法，在所述教师模型进行二元特征交互作用检测得到所述二元特征交互作用对的步骤包括：根据公式(1)获取特征交互作用对的强度，其中，x是输入矢量数据点，F(x)是所述教师模型的输出，x
i
、x
j
分别表示向量x的第i，j个分量；基于有限差分方法，根据公式(2)近似得到二阶导数，其中，e
i
是第i个元素为1的独热向量，e
j
是第j个元素为1的独热向量，h
i
、h
j
表示有限差分的大小；预设多个老虎臂，将每个所述老虎臂与一个所述二元特征交互作用对一一对应；拉动每个所述老虎臂至预设次数，得到预设次数个数据样本点；根据所述数据样本点获取所述测量强度的初始预测值、预测的不确定区间、上界和下界；采样时，拉动多个所述老虎臂，获取多个所述老虎臂中具有最大上界的一个，更新当前次数对应的所述上界和所述下界；根据多个所述老虎臂的所述上界和所述下界，得到预设数值个所述老虎臂的所述二元特征交互作用对。4.根据权利要求3所述的方法，其特征在于，根据所述二元特征交互作用对进行层级高阶特征交互作用对检测，得到高阶特征交互作用对的步骤包括：基于所述置信区间上界方法...

【专利技术属性】
技术研发人员：张天健，尹峰，罗智泉，
申请(专利权)人：香港中文大学深圳，
类型：发明
国别省市：