一种用于词向量获取的模型训练方法、装置和存储介质制造方法及图纸

本申请实施例公开了一种用于词向量获取的模型训练方法、装置和存储介质，所述方法包括：获取用于描述目标对象的对象描述文本、以及对象标签，从多个对象描述词语中，确定出待预测词语、以及多个待输入词语，基于多个待输入词语、以及待预测词语，对词语预测模型进行训练，得到词语预测模型对应的第一模型参数，基于对象描述文本、以及对象标签，对标签预测模型进行训练，得到标签预测模型对应的第二模型参数，基于第一模型参数、以及第二模型参数，对词语预测模型、以及标签预测模型进行交替训练，得到训练后网络模型。通过该方案得到的训练后网络模型，可以获取到同时包括对象描述文本中信息、以及对象标签中信息的目标词向量。

A model training method, device and storage medium for word vector acquisition

【技术实现步骤摘要】
一种用于词向量获取的模型训练方法、装置和存储介质
本申请涉及计算机
，具体涉及一种用于词向量获取的模型训练方法、装置和存储介质。
技术介绍
在互联网内容领域，短视频标题、新闻标题、商品名称等都可以称为短文本，可以应用短文本对短视频、新闻、文章、商品等对象进行描述，如某个标题为“最畅销的口红，某明星带货！”的短视频，该标题就是该短视频所对应的短文本，它简要描述了该短视频的内容。同时，还可以利用标签对短视频、新闻、文章、商品等对象进行描述，该标签一般是人工运营或者算法标注的结果，表明该对象所属的类别。如，某个标题为“最畅销的口红，某明星带货！”的短视频，还可以对应着“美妆”的标签。在实际应用中，通常需要通过向量的形式对短文本进行表示，由于该向量中包含与短文本相关的信息，因此，该向量可以用于寻找相似内容，或者匹配目标用户等等。
技术实现思路
本申请实施例提供一种用于词向量获取的模型训练方法、装置和存储介质，通过该方案得到的训练后网络模型，可以获取到同时包括对象描述文本中信息、以及对象标签中信息的目标词向量。本申请实施例提供一种用于词向量获取的模型训练方法，包括：获取用于描述目标对象的对象描述文本、以及对象标签，其中，所述对象描述文本中包括多个对象描述词语；从所述多个对象描述词语中，确定出待预测词语、以及多个待输入词语；基于所述多个待输入词语、以及所述待预测词语，对词语预测模型进行训练，得到所述词语预测模型对应的第一模型参数；基于所述对象描述文本、以及所述对象标签，对标签预测模型进行训练，得到所述标签预测模型对应的第二模型参数；基于所述第一模型参数、以及所述第二模型参数，对所述词语预测模型、以及所述标签预测模型进行交替训练，得到用于获取所述对象描述文本对应的目标词向量的训练后网络模型。相应的，本申请实施例还提供一种用于词向量获取的模型训练装置，包括：获取模块，用于获取用于描述目标对象的对象描述文本、以及对象标签，其中，所述对象描述文本中包括多个对象描述词语；词语确定模块，用于从所述多个对象描述词语中，确定出待预测词语、以及多个待输入词语；第一训练模块，用于基于所述多个待输入词语、以及所述待预测词语，对词语预测模型进行训练，得到所述词语预测模型对应的第一模型参数；第二训练模块，用于基于所述对象描述文本、以及所述对象标签，对标签预测模型进行训练，得到所述标签预测模型对应的第二模型参数；第三训练模块，用于基于所述第一模型参数、以及所述第二模型参数，对所述词语预测模型、以及所述标签预测模型进行交替训练，得到用于获取所述对象描述文本对应的目标词向量的训练后网络模型。可选的，在一些实施例中，所述第一训练模块可以包括第一预测子模块和第一确定子模块，如下：第一预测子模块，用于将所述多个待输入词语输入至词语预测模型中，并基于所述词语预测模型预测所述多个待输入词语对应的预测后词语；第一确定子模块，用于基于所述预测后词语、以及所述待预测词语，采用第一损失函数确定所述词语预测模型对应的第一模型参数。则此时，所述第一预测子模块，具体可以用于将所述多个待输入词语输入至词语预测模型中，并将所述多个待输入词语转换为多个第一待输入词向量，基于所述全连接层，将所述多个第一待输入词向量映射为第一待分类向量，基于所述第一分类层、以及所述第一待分类向量，预测所述多个待输入词语对应的预测后词语。可选的，在一些实施例中，所述第二训练模块可以包括第二预测子模块和第二确定子模块，如下：第二预测子模块，用于将所述多个对象描述词语输入至标签预测模型中，并基于所述标签预测模型预测所述多个对象描述词语对应的预测后标签；第二确定子模块，用于基于所述预测后标签、以及所述对象标签，采用第二损失函数确定所述标签预测模型对应的第二模型参数。则此时，所述第二预测子模块，具体可以用于将所述多个对象描述词语输入至标签预测模型中，并将所述多个对象描述词语转换为多个第二待输入词向量，基于所述全连接层，将所述多个第二待输入词向量映射为第二待分类向量，基于所述第二分类层、以及所述第二待分类向量，预测所述多个对象描述词语对应的预测后标签。则此时，所述第三训练模块，具体可以用于基于所述多个待输入词语、以及所述待预测词语，对词语预测模型进行训练，得到所述词语预测模型对应的第三模型参数，基于所述对象描述文本、以及所述对象标签，对标签预测模型进行训练，得到所述标签预测模型对应的第四模型参数，基于所述第一模型参数、所述第二模型参数、所述第三模型参数、以及所述第四模型参数，对所述词语预测模型、以及所述标签预测模型进行交替训练，得到用于获取所述对象描述文本对应的目标词向量的训练后网络模型。可选的，在一些实施例中，所述用于词向量获取的模型训练装置还可以包括第一表示模块、第二表示模块和融合模块，如下：第一表示模块，用于基于所述训练后网络模型，将所述对象描述文本表示为目标词向量；第二表示模块，用于基于所述训练后网络模型，将所述对象标签表示为目标标签词向量；融合模块，用于基于所述训练后网络模型的全连接层，对所述目标词向量、以及所述目标标签词向量进行融合，得到所述对象描述文本对应的目标文本表示。则此时，所述词语确定模块，具体可以用于从所述多个对象描述词语中，确定待预测词语，从所述多个对象描述词语中删除所述待预测词语，得到多个待输入词语。此外，本申请实施例还提供一种计算机存储介质，所述计算机存储介质存储有多条指令，所述指令适于处理器进行加载，以执行本申请实施例提供的任一种用于词向量获取的模型训练方法中的步骤。此外，本申请实施例还提供一种电子设备，包括存储器，处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如本申请实施例提供的任一种用于词向量获取的模型训练方法中的步骤。本申请实施例可以获取用于描述目标对象的对象描述文本、以及对象标签，其中，对象描述文本中包括多个对象描述词语，从多个对象描述词语中，确定出待预测词语、以及多个待输入词语，基于多个待输入词语、以及待预测词语，对词语预测模型进行训练，得到词语预测模型对应的第一模型参数，基于对象描述文本、以及对象标签，对标签预测模型进行训练，得到标签预测模型对应的第二模型参数，基于第一模型参数、以及第二模型参数，对词语预测模型、以及标签预测模型进行交替训练，得到用于获取对象描述文本对应的目标词向量的训练后网络模型。通过该方案得到的训练后网络模型，可以获取到同时包括对象描述文本中信息、以及对象标签中信息的目标词向量。附图说明为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1是本申请实施例提供的用于词向量获取的模型训练系本文档来自技高网...

【技术保护点】
1.一种用于词向量获取的模型训练方法，其特征在于，包括：/n获取用于描述目标对象的对象描述文本、以及对象标签，其中，所述对象描述文本中包括多个对象描述词语；/n从所述多个对象描述词语中，确定出待预测词语、以及多个待输入词语；/n基于所述多个待输入词语、以及所述待预测词语，对词语预测模型进行训练，得到所述词语预测模型对应的第一模型参数；/n基于所述对象描述文本、以及所述对象标签，对标签预测模型进行训练，得到所述标签预测模型对应的第二模型参数；/n基于所述第一模型参数、以及所述第二模型参数，对所述词语预测模型、以及所述标签预测模型进行交替训练，得到用于获取所述对象描述文本对应的目标词向量的训练后网络模型。/n

【技术特征摘要】
1.一种用于词向量获取的模型训练方法，其特征在于，包括：
获取用于描述目标对象的对象描述文本、以及对象标签，其中，所述对象描述文本中包括多个对象描述词语；
从所述多个对象描述词语中，确定出待预测词语、以及多个待输入词语；
基于所述多个待输入词语、以及所述待预测词语，对词语预测模型进行训练，得到所述词语预测模型对应的第一模型参数；
基于所述对象描述文本、以及所述对象标签，对标签预测模型进行训练，得到所述标签预测模型对应的第二模型参数；
基于所述第一模型参数、以及所述第二模型参数，对所述词语预测模型、以及所述标签预测模型进行交替训练，得到用于获取所述对象描述文本对应的目标词向量的训练后网络模型。


2.根据权利要求1所述的用于词向量获取的模型训练方法，其特征在于，基于所述多个待输入词语、以及所述待预测词语，对词语预测模型进行训练，得到所述词语预测模型对应的第一模型参数，包括：
将所述多个待输入词语输入至词语预测模型中，并基于所述词语预测模型预测所述多个待输入词语对应的预测后词语；
基于所述预测后词语、以及所述待预测词语，采用第一损失函数确定所述词语预测模型对应的第一模型参数。


3.根据权利要求2所述的用于词向量获取的模型训练方法，其特征在于，所述词语预测模型中包括全连接层、以及第一分类层；
将所述多个待输入词语输入至词语预测模型中，并基于所述词语预测模型预测所述多个待输入词语对应的预测后词语，包括：
将所述多个待输入词语输入至词语预测模型中，并将所述多个待输入词语转换为多个第一待输入词向量；
基于所述全连接层，将所述多个第一待输入词向量映射为第一待分类向量；
基于所述第一分类层、以及所述第一待分类向量，预测所述多个待输入词语对应的预测后词语。


4.根据权利要求1所述的用于词向量获取的模型训练方法，其特征在于，基于所述对象描述文本、以及所述对象标签，对标签预测模型进行训练，得到所述标签预测模型对应的第二模型参数，包括：
将所述多个对象描述词语输入至标签预测模型中，并基于所述标签预测模型预测所述多个对象描述词语对应的预测后标签；
基于所述预测后标签、以及所述对象标签，采用第二损失函数确定所述标签预测模型对应的第二模型参数。


5.根据权利要求4所述的用于词向量获取的模型训练方法，其特征在于，所述标签预测模型中包括全连接层、以及第二分类层；
将所述多个对象描述词语输入至标签预测模型中，并基于所述标签预测模型预测所述多个对象描述词语对应的预测后标签，包括：
将所述多个对象描述词语输入至标签预测模型中，并将所述多个对象描述词语转换为多个第二待输入词向量；
基于所述全连接层，将所述多个第二待输入词向量映射为第二待分类向量；
基于所述第二分类层、以及所述第二待分类向量，预测所述多...

【专利技术属性】
技术研发人员：缪畅宇，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：广东;44