一种模型训练方法、装置及电子设备制造方法及图纸

一种模型训练方法，该方法可以应用于AI领域中的信息推荐方面。该方法包括：获取训练样本中的第一特征值，第一特征值为数字；通过n个不同的进制，对第一特征值进行编码，以得到n个编码序列，n≥1，其中，进制和编码序列一一对应；根据n个编码序列，确定第一特征值的向量表示，根据向量表示，对用于进行推荐任务的神经网络模型进行训练。这样，通过利用进制对连续特征的特征值进行编码，即完成对连续特征的向量表达。同时，由于通过进制对连续特征进行处理，可以使得连续特征的特征值的编码更加符合自然规律，从而可以更好的体现出连续特征的语义，以及保持连续特征独有的“连续且有差异”的特征，进而可以提升后续模型训练的准确度。进而可以提升后续模型训练的准确度。进而可以提升后续模型训练的准确度。

【技术实现步骤摘要】
一种模型训练方法、装置及电子设备


[0001]本申请涉及人工智能(artificial intelligence，AI)
，尤其涉及一种模型训练方法、装置及电子设备。

技术介绍

[0002]目前，在进行模型训练时，往往是先对样本数据进行特征提取，然后将提取到的特征输入到待训练的模型(比如：用于进行推荐任务的神经网络模型等)中，以进行模型训练。一般地，样本数据可以被划分为连续特征和离散特征。其中，连续特征一般指的是数字型的特征，且该特征可取的值有无限多个，比如，点击率、下载率等；离散特征指的是具有有限个取值的特征，比如，性别、物品类型等。对于离散特征，一般可以使用独热编码(one
‑
hot encoding)的方式对该特征进行向量表示。对于连续特征，一般采用类别化、归一化和离散化等方式对该特征进行向量表示。但目前在对连续特征进行向量表示时，均难以保持连续特征独有的“连续且有差异”的特性，致使后续训练得到的模型的精度较差。

技术实现思路

[0003]本申请提供了一种模型训练方法、装置、电子设备、计算机存储介质及计算机程序产品，在利用连续特征对模型训练过程中，能够在对连续特征进行向量表示时，保持连续特征独有的“连续且有差异”的特性，提升模型训练的准确度。
[0004]第一方面，本申请提供一种模型训练方法，该方法包括：获取训练样本中的第一特征值，第一特征值为数字；通过n个不同的进制，对第一特征值进行编码，以得到n个编码序列，n≥1，其中，进制和编码序列一一对应；根据n个编码序列，确定第一特征值的向量表示；根据第一特征值的向量表示，对用于进行推荐任务的神经网络模型进行训练。示例性的，训练样本中可以包括至少一个特征值。每个特征值均可以与一个特征域对应。其中，该方法可以但不限于应用于AI领域中的信息推荐方面。
[0005]这样，通过利用进制对连续特征的特征值进行编码，即完成对连续特征的向量表达。同时，由于通过进制处理后的连续特征的特征值是该特征值的另一种表达方式，本质上两者是相同的，因此通过这种方式对连续特征的特征值的编码更加符合自然规律，从而可以更好的体现出连续特征的语义，以及保持连续特征独有的“连续且有差异”的特征，进而可以在利用连续特征进行模型训练时，可以提升后续模型训练的准确度。
[0006]在一种可能的实现方式中，当n＝1时，根据n个编码序列，确定第一特征值的向量表示，具体包括：分别获取编码序列中各个编码对应的向量表示，以得到m个向量表示；对m个向量表示进行聚合，以得到第一特征值的向量表示。
[0007]在一种可能的实现方式中，当n≥2时，根据n个编码序列，确定第一特征值的向量表示，具体包括：分别获取n个编码序列中各个编码序列的向量表示，其中，针对n个编码序列中的任意一个编码序列，分别获取任意一个编码序列中各个编码对应的向量表示，以及，对任意一个编码序列中各个编码对应的向量表示进行聚合，以得到任意一个编码序列的向
量表示；对n个编码序列中各个编码序列的向量表示进行聚合，以得到第一特征值的向量表示。
[0008]在一种可能的实现方式中，对n个编码序列中任意一个编码序列中各个编码对应的向量表示进行聚合，以得到任意一个编码序列的向量表示，具体包括：获取任意一个编码序列中各个编码所在位置的权重，其中，编码所在位置的权重用于表征编码所在位置的重要程度；利用任意一个编码序列中各个编码所在位置的权重，对任意一个编码序列中各个编码对应的向量表示进行加权求和，以得到任意一个编码序列的向量表示。
[0009]在一种可能的实现方式中，获取任意一个编码序列中各个编码所在的位置的权重，具体包括：分别为任意一个编码序列中各个编码所在位置分配一个参数，以得到一个参数矩阵，参数用于学习相应的位置的重要性；将任意一个编码序列与参数矩阵相乘，并对得到的结果进行归一化处理，以得到任意一个编码序列中各个编码所在的位置的权重。
[0010]在一种可能的实现方式中，当n≥2时，对n个编码序列中各个编码序列的向量表示进行聚合，以得到第一特征值的向量表示，具体包括：获取n个编码序列中各个编码序列所占的权重，其中，编码序列所占的权重用于表征编码序列的重要程度；利用n个编码序列中各个编码序列所占的权重，对n个编码序列中各个编码序列的向量表示进行加权求和，以得到第一特征值的向量表示。
[0011]在一种可能的实现方式中，获取n个编码序列中各个编码序列所占的权重，具体包括：分别获取n个编码序列中各个编码序列的重要性分数，以得到n个重要性分数，其中，针对n个编码序列中任意一个编码序列，基于第一特征值和第一特征值所属特征域对应的向量表示，得到第一向量，以及，基于任意一个编码序列的向量表示和第一向量，得到任意一个编码序列的重要性分数；基于n个重要性分数，确定n个编码序列中各个编码序列所占的权重。
[0012]在一种可能的实现方式中，当n≥2时，该方法还可以包括：获取正样本集合和负样本集合，正样本集合中包括至少一个正样本对，负样本集合中包括至少一个负样本对，每个正样本对中均包括同一个特征值在两个不同进制下的向量表示，每个负样本对中均包括不同特征值在两个进制下的向量表示，其中，正样本对所对应的特征值和负样本对所对应的特征值属于同一特征域，且负样本对所对应的特征值属于不同训练样本；通过对比学习，对正样本集合和负样本集合进行处理，以得到第一损失；根据第一损失和第二损失，对神经网络模型进行训练，其中，第二损失至少基于第一特征值的向量表示对神经网络模型进行训练得到。由此，即可以实现对不同进制下不同的向量表示进行额外约束，提升表达的连续性，进而提升模型训练的准确度。
[0013]第二方面，本申请提供一种模型训练装置，该装置包括：获取模块和处理模块。其中，获取模块，用于获取训练样本中的第一特征值，第一特征值为数字。处理模块，用于通过n个不同的进制，对第一特征值进行编码，以得到n个编码序列，n≥1，其中，进制和编码序列一一对应处理模块，还用于根据n个编码序列，确定第一特征值的向量表示。处理模块，还用于根据向量表示，对用于进行推荐任务的神经网络模型进行训练。
[0014]在一种可能的实现方式中，当n＝1时，处理模块在根据n个编码序列，确定第一特征值的向量表示时，具体用于：分别获取编码序列中各个编码对应的向量表示，以得到m个向量表示；对m个向量表示进行聚合，以得到第一特征值的向量表示。
[0015]在一种可能的实现方式中，当n≥2时，处理模块在根据n个编码序列，确定第一特征值的向量表示时，具体用于：分别获取n个编码序列中各个编码序列的向量表示，其中，针对n个编码序列中的任意一个编码序列，分别获取任意一个编码序列中各个编码对应的向量表示，以及，对任意一个编码序列中各个编码对应的向量表示进行聚合，以得到任意一个编码序列的向量表示；对n个编码序列中各个编码序列的向量表示进行聚合，以得到第一特征值的向量表示。
[0016]在一种可能的实现方式中，处理模块在对n个编码序列中任意一个编码序列中各个本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种模型训练方法，其特征在于，所述方法包括：获取训练样本中的第一特征值，所述第一特征值为数字；通过n个不同的进制，对所述第一特征值进行编码，以得到n个编码序列，n≥1，其中，所述进制和所述编码序列一一对应；根据所述n个编码序列，确定所述第一特征值的向量表示；根据所述向量表示，对用于进行推荐任务的神经网络模型进行训练。2.根据权利要求1所述的方法，其特征在于，当n＝1时，所述根据所述n个编码序列，确定所述第一特征值的向量表示，具体包括：分别获取所述编码序列中各个编码对应的向量表示，以得到m个向量表示；对所述m个向量表示进行聚合，以得到所述第一特征值的向量表示。3.根据权利要求1所述的方法，其特征在于，当n≥2时，所述根据所述n个编码序列，确定所述第一特征值的向量表示，具体包括：分别获取所述n个编码序列中各个编码序列的向量表示，其中，针对所述n个编码序列中的任意一个编码序列，分别获取所述任意一个编码序列中各个编码对应的向量表示，以及，对所述任意一个编码序列中各个编码对应的向量表示进行聚合，以得到所述任意一个编码序列的向量表示；对所述n个编码序列中各个编码序列的向量表示进行聚合，以得到所述第一特征值的向量表示。4.根据权利要求2或3所述的方法，其特征在于，对所述n个编码序列中任意一个编码序列中各个编码对应的向量表示进行聚合，以得到所述任意一个编码序列的向量表示，具体包括：获取所述任意一个编码序列中各个编码所在位置的权重，其中，所述编码所在位置的权重用于表征所述编码所在位置的重要程度；利用所述任意一个编码序列中各个编码所在位置的权重，对所述任意一个编码序列中各个编码对应的向量表示进行加权求和，以得到所述任意一个编码序列的向量表示。5.根据权利要求4所述的方法，其特征在于，所述获取所述任意一个编码序列中各个编码所在的位置的权重，具体包括：分别为所述任意一个编码序列中各个编码所在位置分配一个参数，以得到一个参数矩阵，所述参数用于学习相应的位置的重要性；将所述任意一个编码序列与所述参数矩阵相乘，并对得到的结果进行归一化处理，以得到所述任意一个编码序列中各个编码所在的位置的权重。6.根据权利要求3
‑
5任一所述的方法，其特征在于，当n≥2时，所述对所述n个编码序列中各个编码序列的向量表示进行聚合，以得到所述第一特征值的向量表示，具体包括：获取所述n个编码序列中各个编码序列所占的权重，其中，所述编码序列所占的权重用于表征所述编码序列的重要程度；利用所述n个编码序列中各个编码序列所占的权重，对所述n个编码序列中各个编码序列的向量表示进行加权求和，以得到所述第一特征值的向量表示。7.根据权利要求6所述的方法，其特征在于，所述获取所述n个编码序列中各个编码序列所占的权重，具体包括：
分别获取所述n个编码序列中各个编码序列的重要性分数，以得到n个重要性分数，其中，针对所述n个编码序列中任意一个编码序列，基于所述第一特征值和所述第一特征值所属特征域对应的向量表示，得到第一向量，以及，基于所述任意一个编码序列的向量表示和所述第一向量，得到所述任意一个编码序列的重要性分数；基于所述n个重要性分数，确定所述n个编码序列中各个编码序列所占的权重。8.根据权利要求3
‑
7任一所述的方法，其特征在于，当n≥2时，所述方法还包括：获取正样本集合和负样本集合，所述正样本集合中包括至少一个正样本对，所述负样本集合中包括至少一个负样本对，每个所述正样本对中均包括同一个特征值在两个不同进制下的向量表示，每个所述负样本对中均包括不同特征值在两个进制下的向量表示，其中，所述正样本对所对应的特征值和所述负样本对所对应的特征值属于同一特征域，且所述负样本对所对应的特征值属于不同训练样本；通过对比学习，对所述正样本集合和所述负样本集合进行处理，以得到第一损失；根据所述第一损失和第二损失，对所述神经网络模型进行训练，其中，所述第二损失至少基于所述第一特征值的向量表示对所述神经网络模型进行训练得到。9.一种模型训练装置，其特征在于，所述装置包括：获取模块，用于获取训练样本中的第一特征值，所述第一特征值为数字；处理模块，用于通过n个不同的进制，对所述第一特征值进行编码，以得到n个编码序列，n≥1，其中，所述进制和所述编码序列一一对应；所述处理模块，还用于根据所述n个编码序列，确定所述第一特征值的向量表示；所述处理模块，还用于根据所述向量表示，对用于进行推荐任务的神经网络模型进行训练。10.根...

【专利技术属性】
技术研发人员：陈渤，郭慧丰，唐睿明，董振华，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：