利用嵌套机器学习模型来执行预测的方法及系统技术方案

提供了一种利用嵌套机器学习模型来执行预测的方法及系统，其中，所述嵌套机器学习模型包括根据上下层嵌套框架训练出的上层模型和下层模型，所述方法包括：(A)获取预测数据记录；(B)基于预测数据记录的属性信息来生成与预测数据记录对应的预测样本的多个特征子集；(C)将预测样本的多个特征子集分别提供给嵌套机器学习模型所包括的上层模型和下层模型，以得到嵌套机器学习模型针对预测样本的预测结果。根据所述系统和方法，能够有效地融合多种类型的子模型来协同工作，充分发挥各个子模型的优势以取得较好的综合机器学习效果。的优势以取得较好的综合机器学习效果。的优势以取得较好的综合机器学习效果。

【技术实现步骤摘要】
利用嵌套机器学习模型来执行预测的方法及系统
[0001]本申请是申请日为2017年5月5日、申请号为201710311867.2、题为“利用嵌套机器学习模型来执行预测的方法及系统”的专利申请的分案申请。


[0002]本专利技术的示例性实施例总体说来涉及人工智能领域，更具体地说，涉及一种利用嵌套机器学习模型来执行预测的方法及系统以及一种训练嵌套机器学习模型的方法及系统。

技术介绍

[0003]随着海量数据的出现，人工智能技术得到了迅速发展，而为了从海量数据中挖掘出价值，需要基于数据记录来产生适用于机器学习的训练和/或预测样本，以有助于训练出机器学习模型和/或利用训练好的机器学习模型来执行预估。
[0004]这里，每条数据记录可被看做关于一个事件或对象的描述，对应于一个示例或样例。在数据记录中，包括反映事件或对象在某方面的表现或性质的各个事项，这些事项可称为“属性”。通过对数据记录的属性信息进行诸如特征工程等处理，可产生包括各种特征的机器学习样本。
[0005]在实际的机器学习应用中，数据记录的属性信息在形式或含义等方面各有特点，相应地，所产生的特征也在形式或含义等方面存在各种差异，这使得单个机器学习样本中往往存在不同情况的特征。
[0006]然而，由于应用机器学习技术的场景必然会面临计算资源有限、样本数据不足、特征处理脱离应用场景等客观问题，所以现实中难以找到一种机器学习模型，使其能够在各种特征上均具有适当的表现。例如，在现有技术中，存在利用线性模型和神经网络模型来融合训练广度和训练深度的方案(请参见Google的论文“Wide&Deep Learning for Recommender Systems”)，但是上述方案存在训练复杂、计算复杂度高、参数调节困难等缺陷，在工业界的应用受到很大限制。

技术实现思路

[0007]本专利技术的示例性实施例旨在克服单一机器学习模型无法较好地适用于所有类型特征的缺陷。
[0008]根据本专利技术的示例性实施例，提供一种利用嵌套机器学习模型来执行预测的方法，其中，所述嵌套机器学习模型包括根据上下层嵌套框架训练出的上层模型和下层模型，所述方法包括：(A)获取预测数据记录；(B)基于预测数据记录的属性信息来生成与预测数据记录对应的预测样本的多个特征子集；(C)将预测样本的多个特征子集分别提供给嵌套机器学习模型所包括的上层模型和下层模型，以得到嵌套机器学习模型针对预测样本的预测结果。
[0009]可选地，在所述方法中，所述上层模型包括一个决策树子模型，并且，所述下层模
型包括多个线性子模型，其中，每个线性子模型对应于所述决策树子模型的一个叶子节点。
[0010]可选地，在所述方法中，在步骤(B)中，基于预测数据记录的属性信息来生成预测样本的特征，并根据特征的取值连续性和/或取值空间规模来生成预测样本的上层特征子集和预测样本的下层特征子集。
[0011]可选地，在所述方法中，上层特征子集涵盖取值为连续值的全部特征，并且，下层特征子集涵盖取值为非连续值的全部特征；或者，上层特征子集涵盖取值为连续值的全部特征连同至少一部分取值为非连续值的特征，并且，下层特征子集涵盖其余取值为非连续值的特征。
[0012]可选地，在所述方法中，在步骤(B)中，基于预测数据记录的属性信息来生成预测样本的特征，并根据特征的缺失性来生成预测样本的上层特征子集和预测样本的下层特征子集，其中，特征的缺失性指示该特征是否基于预测数据记录相对于训练数据记录的缺失属性信息而生成。
[0013]可选地，在所述方法中，上层特征子集涵盖全部非缺失特征，并且，下层特征子集涵盖全部缺失特征和全部非缺失特征。
[0014]根据本专利技术的另一示例性实施例，提供一种利用嵌套机器学习模型来执行预测的系统，其中，所述嵌套机器学习模型包括根据上下层嵌套框架训练出的上层模型和下层模型，所述系统包括：预测数据记录获取装置，用于获取预测数据记录；预测特征子集产生装置，用于基于预测数据记录的属性信息来生成与预测数据记录对应的预测样本的多个特征子集；预测装置，用于将预测样本的多个特征子集分别提供给嵌套机器学习模型所包括的上层模型和下层模型，以得到嵌套机器学习模型针对预测样本的预测结果。
[0015]可选地，在所述系统中，所述上层模型包括一个决策树子模型，并且，所述下层模型包括多个线性子模型，其中，每个线性子模型对应于所述决策树子模型的一个叶子节点。
[0016]可选地，在所述系统中，预测特征子集产生装置基于预测数据记录的属性信息来生成预测样本的特征，并根据特征的取值连续性和/或取值空间规模来生成预测样本的上层特征子集和预测样本的下层特征子集。
[0017]可选地，在所述系统中，上层特征子集涵盖取值为连续值的全部特征，并且，下层特征子集涵盖取值为非连续值的全部特征；或者，上层特征子集涵盖取值为连续值的全部特征连同至少一部分取值为非连续值的特征，并且，下层特征子集涵盖其余取值为非连续值的特征。
[0018]可选地，在所述系统中，预测特征子集产生装置基于预测数据记录的属性信息来生成预测样本的特征，并根据特征的缺失性来生成预测样本的上层特征子集和预测样本的下层特征子集，其中，特征的缺失性指示该特征是否基于预测数据记录相对于训练数据记录的缺失属性信息而生成。
[0019]可选地，在所述系统中，上层特征子集涵盖全部非缺失特征，并且，下层特征子集涵盖全部缺失特征和全部非缺失特征。
[0020]根据本专利技术的另一示例性实施例，提供一种利用嵌套机器学习模型来执行预测的计算机可读介质，其中，所述嵌套机器学习模型包括根据上下层嵌套框架训练出的上层模型和下层模型，其中，在所述计算机可读介质上记录有用于执行以下步骤的计算机程序：(A)获取预测数据记录；(B)基于预测数据记录的属性信息来生成与预测数据记录对应的预
测样本的多个特征子集；(C)将预测样本的多个特征子集分别提供给嵌套机器学习模型所包括的上层模型和下层模型，以得到嵌套机器学习模型针对预测样本的预测结果。
[0021]可选地，在所述计算机可读介质中，所述上层模型包括一个决策树子模型，并且，所述下层模型包括多个线性子模型，其中，每个线性子模型对应于所述决策树子模型的一个叶子节点。
[0022]可选地，在所述计算机可读介质中，在步骤(B)中，基于预测数据记录的属性信息来生成预测样本的特征，并根据特征的取值连续性和/或取值空间规模来生成预测样本的上层特征子集和预测样本的下层特征子集。
[0023]可选地，在所述计算机可读介质中，上层特征子集涵盖取值为连续值的全部特征，并且，下层特征子集涵盖取值为非连续值的全部特征；或者，上层特征子集涵盖取值为连续值的全部特征连同至少一部分取值为非连续值的特征，并且，下层特征子集涵盖其余取值为非连续值的特征。
[0024]可选地，在所述计算机可读介质中，在步骤(B)中，基于预测数据记录的属性信息来生成预测样本的特征，并根据特征的缺失性来生本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种利用嵌套机器学习模型来执行预测的方法，其中，所述嵌套机器学习模型包括根据上下层嵌套框架训练出的上层模型和下层模型，所述方法包括：(A)获取预测数据记录；(B)基于预测数据记录的属性信息来生成与预测数据记录对应的预测样本的多个特征子集；(C)将预测样本的多个特征子集分别提供给嵌套机器学习模型所包括的上层模型和下层模型，以得到嵌套机器学习模型针对预测样本的预测结果。2.如权利要求1所述的方法，其中，所述上层模型包括一个决策树子模型，并且，所述下层模型包括多个线性子模型，其中，每个线性子模型对应于所述决策树子模型的一个叶子节点。3.如权利要求1或2所述的方法，其中，在步骤(B)中，基于预测数据记录的属性信息来生成预测样本的特征，并根据特征的取值连续性和/或取值空间规模来生成预测样本的上层特征子集和预测样本的下层特征子集。4.如权利要求3所述的方法，其中，上层特征子集涵盖取值为连续值的全部特征，并且，下层特征子集涵盖取值为非连续值的全部特征；或者，上层特征子集涵盖取值为连续值的全部特征连同至少一部分取值为非连续值的特征，并且，下层特征子集涵盖其余取值为非连续值的特征。5.如权利要求1或2所述的方法，其中，在步骤(B)中，基于预测数据记录的属性信息来生成预测样本的特征，并根据特征的缺失性来生成预测样本的上层特征子集和预测样本的下层特征子集，其中，特征的缺失性指示该特征是否基于预测数据记录相对于训练数据记录的缺失属性信息而生成。6.如权利要求5所述的方法，其中，上层特征子集涵盖全部非缺失特征，并且，下层特征子集涵盖全部缺失特征和全部非缺失特征。7.一种利用嵌套机器学习模...

【专利技术属性】
技术研发人员：陈雨强，戴文渊，杨强，郭夏玮，涂威威，
申请(专利权)人：第四范式北京技术有限公司，
类型：发明
国别省市：