本申请提供了一种基于流数据的增量模型训练方法、装置及电子设备，该方法包括：获取原始流数据；抽取所述原始流数据的实时特征，加入到全量特征库；根据初始训练模型确定主模型和副模型，并基于所述实时特征采用微批训练的方式对所述主模型和副模型进行多次交替训练，得到增量训练模型；在每次交替训练过程中，对所述主模型和副模型的其中一个进行模型增量训练，并同时使用另一个进行在线推理服务；基于历史时间段内得到的所述全量特征库对所述增量训练模型进行修正，得到修正后的训练模型。本申请通过采用双模型交替进行微批增量训练和在线推理服务，实现了实时且不间断的在线推理服务，使模型能更加及时的追踪和响应真实的用户行为变化。的用户行为变化。的用户行为变化。
【技术实现步骤摘要】
基于流数据的增量模型训练方法、装置及电子设备
[0001]本申请涉及机器学习
，具体而言，涉及一种基于流数据的增量模型训练方法、装置及电子设备。
技术介绍
[0002]增量模型训练作为机器学习的一种方法，现阶段得到广泛的关注。在其中，输入数据不断被用于扩展现有模型的知识，即进一步训练模型，它代表了一种动态的学习的技术。现有传统的机器学习训练方案，例如离线情况下，通过对数据进行特征工程，生成全量特征库，再使用一些机器学习算法，对全量特征数据进行训练，最后生成模型部署到线上进行推理。
[0003]目前的增量模型训练方法大多都是基于离线场景下进行的，在采用部分或全部全量特征数据进行训练的基础上，利用新特征数据再次进行模型训练及更新。虽然能达到增量模型训练的目的，但是在模型训练的实时性、模型的误差评估等方面都不能很好的完成实际业务场景的要求，另外在面对现在业务系统中广泛应用的流数据场景，无法应用目前的增量学习技术更好地拟合流数据中的数据规律，也很难及时进行模型更新，从而不能反映用户在短时间内的行为兴趣，更不能帮助提升用户体验和商业指标。
技术实现思路
[0004]有鉴于此，本申请实施例的目的在于提供一种基于流数据的增量模型训练方法、装置及电子设备，在原有模型基础采用双模型架构进行模型增量训练以及更新和线上推理过程，改善上述现有技术中存在的问题。
[0005]第一方面，本申请实施例提供了一种基于流数据的增量模型训练方法，所述方法包括：获取原始流数据；抽取所述原始流数据的实时特征，加入到全量特征库；根据初始训练模型确定主模型和副模型，并基于所述实时特征采用微批训练的方式对所述主模型和副模型进行多次交替训练，得到增量训练模型；在每次交替训练过程中，对所述主模型和副模型的其中一个进行模型增量训练，并同时使用另一个进行在线推理服务，每次交替训练过程中进行模型增量训练的模型与上一次交替训练过程不同；基于历史时间段内得到的所述全量特征库对所述增量训练模型进行修正，得到修正后的训练模型。
[0006]可选地，所述基于历史时间段内得到的所述全量特征库对所述增量训练模型进行修正，得到修正后的训练模型，包括：根据用户业务指标获取所述增量训练模型的评估结果，所述用户业务指标包括点击率、浏览时长、播放时长、新增、留存、日活、月活和转化率；根据所述评估结果以及历史时间段内得到的所述全量特征库，对所述增量训练模型进行修正，以得到修正后的训练模型。
[0007]在上述实现过程中，通过采用所述历史时间段内的全量特征进行模型修正，可以消除短期内用户行为兴趣对模型的影响，更全面地反映真实的数据规律，从而更加全面且准确地反映用户行为变化规律。
[0008]可选地，所述基于所述实时特征采用微批训练的方式对所述主模型和副模型进行多次交替训练，得到增量训练模型，包括：根据实际业务场景，预先设置触发条件，所述触发条件为实时特征数据量是否达到预设的特征数据量；判断所述实时特征的数据量是否满足预设的触发条件，若是，则触发微批训练的指令，对所述主(或副)模型进行微批训练以及更新，得到训练后的增量训练模型。
[0009]在上述实现过程中，通过触发式设计，在所述实时特征的数据量达到预设的特征数据量时，模型可自行进行增量训练，学习新的特征，从而实现模型的按需训练和更新。
[0010]可选地，所述初始训练模型为离线情况下，基于全量特征库的全量特征数据进行训练所得到的模型；所述主模型和副模型进行交替训练，直至模型增量训练过程结束。
[0011]可选地，所述在线推理服务为将所述增量训练模型以线上服务的形式部署在服务器或者云端，业务系统通过和用户的交互过程，在智能服务场景下触发调用在线推理服务，传入用户的一些上下文信息，在线推理服务依据所述增量训练模型返回给业务系统推理结果，经过业务系统的加工处理返回给用户端。
[0012]在上述实现过程中，通过采用所述增量训练模型进行实时的在线推理服务，使在线推理服务不间断的进行，且推理模型可以随增量模型训练的更新而同步更新。
[0013]可选地，抽取所述原始流数据的实时特征，加入到全量特征库，包括：采用大数据中的实时计算技术，对所述原始流数据进行实时特征抽取，所述实时计算技术为Flink实时计算框架；将所述实时抽取的特征加入到全量特征库。
[0014]可选地，将所述实时抽取的特征采用消息队列方式存储，用于模型增量训练，所述消息队列为Kafka分布式发布订阅消息系统。
[0015]在上述实现过程中，通过采用特征消息队列方式，进行触发式的模型训练，在所述实时特征的数据量达到预设的特征数据量时，模型可自行进行增量训练，学习新的特征，从而实现模型的按需训练和更新。
[0016]第二方面，本申请实施例还提供了一种基于流数据的增量模型训练装置，所述装置包括：获取模块，用于获取原始流数据；抽取模块，抽取所述原始流数据的实时特征，加入到全量特征库；训练模块，根据初始训练模型确定主模型和副模型，并基于所述实时特征采用微批训练的方式对所述主模型和副模型进行多次交替训练，得到增量训练模型；在每次交替训练过程中，对所述主模型和副模型的其中一个进行模型增量训练，并同时使用另一个进行在线推理服务，每次交替训练过程中进行模型增量训练的模型与上一次交替训练过程不同；推理模块，用于将实时更新的所述增量训练模型部署为在线推理服务，实现以最新模型进行实时在线推理服务；修正模块，用于基于历史时间段内得到的所述全量特征库对所述增量训练模型进行修正，得到修正后的训练模型。
[0017]第三方面，本申请实施例还提供了一种电子设备，所述电子设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器运行所述计算机程序时，执行上述的基于流数据的增量模型训练方法中的任一实现方式中的步骤。
[0018]第四方面，本申请实施例还提供了一种可读存储介质，所述可读取存储介质中存储有计算机程序，所述计算机程序被处理器运行时，执行上述的基于流数据的增量模型训练方法中的任一实现方式中的步骤。
[0019]综上所述，本申请提供一种基于流数据的增量模型训练方法、装置和电子设备，通
过采用实时计算技术对原始流数据进行实时特征抽取，结合微批训练技术对初始训练模型进行触发式增量训练，实现模型的按需训练，并采用主模型和副模型双模型轮换的方式，大幅度提升了模型的更新和部署速度，实现了实时且不间断的在线推理服务，从而能够更加及时的追踪和响应真实的用户行为变化，然后结合模型的线上评估效果对模型进行修正，以使模型能反映更长时间维度的数据规律，避免遗忘历史特征，实现终身学习的目的。
附图说明
[0020]为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
[0021]图1为本申请实施例提供本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于流数据的增量模型训练方法，其特征在于，包括：获取原始流数据；抽取所述原始流数据的实时特征，加入到全量特征库；根据初始训练模型确定主模型和副模型，并基于所述实时特征采用微批训练的方式对所述主模型和副模型进行多次交替训练，得到增量训练模型；在每次交替训练过程中，对所述主模型和副模型的其中一个进行模型增量训练，并同时使用另一个进行在线推理服务，每次交替训练过程中进行模型增量训练的模型与上一次交替训练过程不同；基于历史时间段内得到的所述全量特征库对所述增量训练模型进行修正，得到修正后的训练模型。2.根据权利要求1所述的方法，其特征在于，所述基于历史时间段内得到的所述全量特征库对所述增量训练模型进行修正，得到修正后的训练模型，包括：根据用户业务指标获取所述增量训练模型的评估结果，所述用户业务指标包括点击率、浏览时长、播放时长、新增、留存、日活、月活和转化率；根据所述评估结果以及历史时间段内得到的所述全量特征库，对所述增量训练模型进行修正，以得到修正后的训练模型。3.根据权利要求1所述的方法，其特征在于，基于所述实时特征采用微批训练的方式对所述主模型和副模型进行多次交替训练，得到增量训练模型，包括：根据实际业务场景，预先设置触发条件，所述触发条件为实时特征数据量是否达到预设的特征数据量；判断所述实时特征的数据量是否满足预设的触发条件，若是，则触发微批训练的指令，对所述主(或副)模型进行微批训练以及更新，得到训练后的增量训练模型。4.根据权利要求1所述的方法，其特征在于，所述初始训练模型为离线情况下，基于全量特征库的全量特征数据进行训练所得到的模型；所述主模型和副模型进行交替训练，直至模型增量训练过程结束。5.根据权利要求1所述的方法，其特征在于，所述在线推理服务为将所述增量训练模型以线上服务的形式部署在服务器或者云端，业务系统通过和用户的交互过...
【专利技术属性】
技术研发人员：田大钊，
申请(专利权)人：鼎道智联北京科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。