用于训练长尾数据表征模型的方法和装置制造方法及图纸

本说明书的实施例提供了一种用于训练长尾数据表征模型的方法和装置。在该用于训练长尾数据表征模型的方法中，循环执行下述模型训练过程：将当前训练样本集的头部子图数据和尾部子图数据分别提供给当前长尾数据表征模型的第一图神经网络和第二图神经网络，得到当前训练样本集的头部历史查询数据节点和尾部历史查询数据节点分别对应的特征表征；针对各个尾部历史查询数据节点，在当前训练样本集中确定该尾部历史查询数据节点的匹配头部历史查询数据节点；根据由尾部历史查询数据节点和对应的匹配头部历史查询数据节点组成的正样本对，确定知识迁移对比损失值；响应于不满足训练结束条件，基于知识迁移对比损失值调整当前长尾数据表征模型的参数。长尾数据表征模型的参数。长尾数据表征模型的参数。

【技术实现步骤摘要】
用于训练长尾数据表征模型的方法和装置


[0001]本说明书实施例通常涉及计算机
，尤其涉及用于训练长尾数据表征模型的方法和装置。

技术介绍

[0002]随着人工智能技术的飞速发展，在诸如服务搜索等领域常常需要根据搜索词(query)和待匹配项对应的表征来计算两者的相似度。现有的搜索场景中，往往存在长尾偏置(Long
‑
Tail Bias)问题，即热门的搜索词通常占据了绝大多数曝光，而长尾搜索词却无法获得充足的训练数据，在该情况下，当用户输入一条长尾搜索词时，模型很难为该搜索词产出高质量的排序结果。因此，如何训练模型以提升长尾数据的表征能力成为亟需解决的问题。

技术实现思路

[0003]鉴于上述，本说明书实施例提供了一种用于训练长尾数据表征模型的方法和装置。利用该方法、装置，可以实现对长尾数据的有效表征，进而提高相应的搜索效果。
[0004]根据本说明书的实施例的一个方面，提供一种用于训练长尾数据表征模型的方法，其中，所述长尾数据表征模型包括第一图神经网络和第二图神经网络，所述方法包括：利用训练样本集循环执行下述模型训练过程，直到满足训练结束条件，所述训练样本集包括由头部历史查询数据节点和对应的历史关联数据节点构成的头部子图数据和由尾部历史查询数据节点和对应的历史关联数据节点构成的尾部子图数据：将当前训练样本集的头部子图数据和尾部子图数据分别提供给当前长尾数据表征模型的第一图神经网络和第二图神经网络，得到所述当前训练样本集的头部历史查询数据节点和尾部历史查询数据节点分别对应的特征表征；针对各个尾部历史查询数据节点，在所述当前训练样本集中确定该尾部历史查询数据节点的匹配头部历史查询数据节点；根据由尾部历史查询数据节点和对应的匹配头部历史查询数据节点组成的正样本对，确定知识迁移对比损失值；响应于不满足训练结束条件，基于所述知识迁移对比损失值调整当前长尾数据表征模型的模型参数，其中，经过模型参数调整后的长尾数据表征模型充当下一模型训练过程的当前长尾数据表征模型。
[0005]根据本说明书的实施例的另一个方面，提供一种用于表征查询数据的方法，包括：接收待查询数据；确定所述待查询数据是否属于长尾数据；若属于，将与所述待查询数据匹配的图数据提供给如上述的方法训练得到的长尾数据表征模型的第二图神经网络，得到与所述待查询数据对应的特征表征；若不属于，将与所述待查询数据匹配的图数据提供给如上述的方法训练得到的长尾数据表征模型的第一图神经网络，得到与所述待查询数据对应的特征表征；其中，与所述待查询数据匹配的图数据包含用于指示所述待查询数据的节点和关联的历史查询数据节点以及历史匹配数据节点。
[0006]根据本说明书的实施例的再一个方面，提供一种服务搜索方法，包括：接收用户服
务搜索请求；确定所述用户服务搜索请求是否属于长尾搜索请求；若属于，将与所述用户服务搜索请求匹配的图数据提供给如上所述的方法训练得到的长尾数据表征模型的第二图神经网络，得到与所述用户服务搜索请求和各个待匹配服务对应的特征表征；若不属于，将与所述用户服务搜索请求匹配的图数据提供给如上所述的方法训练得到的长尾数据表征模型的第一图神经网络，得到与所述用户服务搜索请求和各个待匹配服务对应的特征表征；根据所得到的所述用户服务搜索请求和各个待匹配服务对应的特征表征，从各个待匹配服务中选取与所述用户服务搜索请求最为相似的目标数目个待匹配服务；其中，与所述用户服务搜索请求匹配的图数据包含用于指示所述用户服务搜索请求的节点和关联的历史用户服务搜索请求节点以及待匹配服务节点。
[0007]根据本说明书的实施例的又一个方面，提供一种用于训练长尾数据表征模型的装置，其中，所述长尾数据表征模型包括第一图神经网络和第二图神经网络，所述装置被配置为利用训练样本集经由训练单元循环执行模型训练过程，直到满足训练结束条件，所述训练样本集包括由头部历史查询数据节点和对应的历史关联数据节点构成的头部子图数据和由尾部历史查询数据节点和对应的历史关联数据节点构成的尾部子图数据，所述训练单元包括：节点特征提取模块，被配置为将当前训练样本集的头部子图数据和尾部子图数据分别提供给当前长尾数据表征模型的第一图神经网络和第二图神经网络，得到所述当前训练样本集的头部历史查询数据节点和尾部历史查询数据节点分别对应的特征表征；节点匹配模块，被配置为针对各个尾部历史查询数据节点，在所述当前训练样本集中确定该尾部历史查询数据节点的匹配头部历史查询数据节点；第一对比损失值确定模块，被配置为根据由尾部历史查询数据节点和对应的匹配头部历史查询数据节点组成的正样本对，确定知识迁移对比损失值；以及所述装置还包括：参数调整单元，被配置为响应于不满足训练结束条件，基于所述知识迁移对比损失值调整当前长尾数据表征模型的模型参数，其中，经过模型参数调整后的长尾数据表征模型充当下一模型训练过程的当前长尾数据表征模型。
[0008]根据本说明书的实施例的另一个方面，提供一种用于表征查询数据的装置，包括：数据接收单元，被配置为接收待查询数据；第一特征表征单元，被配置为确定所述待查询数据是否属于长尾数据；若属于，将与所述待查询数据匹配的图数据提供给如上所述的方法训练得到的长尾数据表征模型的第二图神经网络，得到与所述待查询数据对应的特征表征；若不属于，将与所述待查询数据匹配的图数据提供给如上所述的方法训练得到的长尾数据表征模型的第一图神经网络，得到与所述待查询数据对应的特征表征，其中，与所述待查询数据匹配的图数据包含用于指示所述待查询数据的节点和关联的历史查询数据节点以及历史匹配数据节点。
[0009]根据本说明书的实施例的再一个方面，提供一种服务搜索装置，包括：服务请求接收单元，被配置为接收用户服务搜索请求；第二特征表征单元，被配置为确定所述用户服务搜索请求是否属于长尾搜索请求；若属于，将与所述用户服务搜索请求匹配的图数据提供给如上所述的方法训练得到的长尾数据表征模型的第二图神经网络，得到与所述用户服务搜索请求和各个待匹配服务对应的特征表征；若不属于，将与所述用户服务搜索请求匹配的图数据提供给如上所述的方法训练得到的长尾数据表征模型的第一图神经网络，得到与所述用户服务搜索请求和各个待匹配服务对应的特征表征，其中，与所述用户服务搜索请求匹配的图数据包含用于指示所述用户服务搜索请求的节点和关联的历史用户服务搜索
请求节点以及待匹配服务节点；服务选取单元，被配置为根据所得到的所述用户服务搜索请求和各个待匹配服务对应的特征表征，从各个待匹配服务中选取与所述用户服务搜索请求最为相似的目标数目个待匹配服务。
[0010]根据本说明书的实施例的另一方面，提供一种用于训练长尾数据表征模型的装置，包括：至少一个处理器，以及与所述至少一个处理器耦合的存储器，所述存储器存储指令，当所述指令被所述至少一个处理器执行时，使得所述至少一个处理器执行如上所述的用于训练长尾数据表征模型的方法。
[0011]根据本说明书的实施例的另一方面，提供一种用于表征查询数据的装置，包括：至少一个处理器，以及与所述至少本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于训练长尾数据表征模型的方法，其中，所述长尾数据表征模型包括第一图神经网络和第二图神经网络，所述方法包括：利用训练样本集循环执行下述模型训练过程，直到满足训练结束条件，所述训练样本集包括由头部历史查询数据节点和对应的历史关联数据节点构成的头部子图数据和由尾部历史查询数据节点和对应的历史关联数据节点构成的尾部子图数据：将当前训练样本集的头部子图数据和尾部子图数据分别提供给当前长尾数据表征模型的第一图神经网络和第二图神经网络，得到所述当前训练样本集的头部历史查询数据节点和尾部历史查询数据节点分别对应的特征表征；针对各个尾部历史查询数据节点，在所述当前训练样本集中确定该尾部历史查询数据节点的匹配头部历史查询数据节点；根据由尾部历史查询数据节点和对应的匹配头部历史查询数据节点组成的正样本对，确定知识迁移对比损失值；响应于不满足训练结束条件，基于所述知识迁移对比损失值调整当前长尾数据表征模型的模型参数，其中，经过模型参数调整后的长尾数据表征模型充当下一模型训练过程的当前长尾数据表征模型。2.如权利要求1所述的方法，其中，所述将当前训练样本集的头部子图数据和尾部子图数据分别提供给当前长尾数据表征模型的第一图神经网络和第二图神经网络，得到所述当前训练样本集的头部历史查询数据节点和尾部历史查询数据节点分别对应的特征表征包括：将当前训练样本集的头部子图数据提供给当前长尾数据表征模型的第一图神经网络，得到所述当前训练样本集的头部历史查询数据节点和对应的历史关联数据节点对应于头部历史查询数据节点的特征表征；以及将当前训练样本集的尾部子图数据提供给当前长尾数据表征模型的第二图神经网络，得到所述当前训练样本集的尾部历史查询数据节点和对应的历史关联数据节点对应于尾部历史查询数据节点的特征表征，所述根据由尾部历史查询数据节点和对应的匹配头部历史查询数据节点组成的正样本对，确定知识迁移对比损失值包括：根据由尾部历史查询数据节点和对应的匹配头部历史查询数据节点组成的正样本对，确定第一知识迁移对比损失值；根据由同一历史关联数据节点分别对应于头部历史查询数据节点和尾部历史查询数据节点的特征表征组成的正样本对，确定第二知识迁移对比损失值；根据所述第一知识迁移对比损失值和所述第二知识迁移对比损失值确定所述知识迁移对比损失值。3.如权利要求1所述的方法，其中，所述第一图神经网络和第二图神经网络为多层图神经网络，在所述响应于不满足训练结束条件，基于所述知识迁移对比损失值调整当前长尾数据表征模型的模型参数之前，所述模型训练过程还包括：针对所述当前训练样本集中的目标节点，根据由该目标节点对应于多层图神经网络的节点初始表征和其他层输出的节点特征表征组成的正样本对，确定结构增强对比损失值，
其中，所述目标节点包括以下至少一项：头部历史查询数据节点，尾部历史查询数据节点，头部子图数据的历史关联数据节点，尾部子图数据的历史关联数据节点，所述响应于不满足训练结束条件，基于所述知识迁移对比损失值调整当前长尾数据表征模型的模型参数包括：响应于不满足训练结束条件，基于所述知识迁移对比损失值和所述结构增强对比损失值得到的总损失值调整当前长尾数据表征模型的模型参数。4.如权利要求3所述的方法，其中，所述其他层输出的节点特征包括多层图神经网络的偶数层输出的节点特征。5.如权利要求1到4中任一所述的方法，其中，所述训练样本集还包括与所述头部子图数据和所述尾部子图数据对应的层次化意图数据，所述层次化意图数据包括由意图节点构成的图数据，在所述响应于不满足训练结束条件，基于所述知识迁移对比损失值调整当前长尾数据表征模型的模型参数之前，所述模型训练过程还包括：针对所述当前训练样本集中的目标节点，根据由该目标节点对应的特征表征和该目标节点的匹配意图节点对应的特征表征组成的正样本对，确定层次化意图对比损失值，其中，所述目标节点包括以下至少一项：头部历史查询数据节点，尾部历史查询数据节点，头部子图数据的历史关联数据节点，尾部子图数据的历史关联数据节点，所述匹配意图节点包括同级匹配意图节点和所述同级匹配意图节点的父节点，所述同级匹配意图节点为所述层次化意图数据中与该目标节点相匹配的意图节点；所述响应于不满足训练结束条件，基于所述知识迁移对比损失值调整当前长尾数据表征模型的模型参数包括：响应于不满足训练结束条件，基于所述知识迁移对比损失值和所述层次化意图对比损失值得到的总损失值调整当前长尾数据表征模型的模型参数。6.如权利要求5所述的方法，其中，所述层次化意图数据包括由多个意图树构成的图数据，所述针对所述当前训练样本集中的目标节点，根据由该目标节点对应的特征表征和该目标节点的匹配意图节点对应的特征表征组成的正样本对，确定层次化意图对比损失值包括：针对所述当前训练样本集中的目标节点，根据由该目标节点对应的特征表征和该目标节点的匹配意图节点对应的特征表征组成的正样本对以及由该目标节点对应的特征表征和与该目标节点的同级匹配意图节点属于同一意图树的其他同级意图节点对应的特征表征组成的负样本对，确定层次化意图对比损失值。7.如权利要求5所述的方法，其中，所述层次化意图数据包括由多个意图树构成的图数据，所述针对所述当前训练样本集中的目标节点，根据由该目标节点对应的特征表征和该目标节点的匹配意图节点对应的特征表征组成的正样本对，确定层次化意图对比损失值包括：针对所述当前训练样本集中的目标节点，根据由该目标节点对应的特征表征和该目标节点的匹配意图节点对应的特征表征组成的正样本对以及由该目标节点对应的特征表征
和与该目标节点的同级匹配意图节点属于不同意图树的同级意图节点对应的特征表征组成的负样本对，确定层次化意图对比损失值。8.如权利要求5所述的方法，其中，所述层次化意图数据包括由多个意图树构成的图数据，所述匹配意图节点对应的特征表征通过聚合所述匹配意图节点的子节点的特征表征而得到。9.如权利要求1所述的方法，其中，匹配头部历史查询数据节点根据以下至少一项确定：语义相关度，节点对应的属性匹配度，历史热度。10.如权利要求9所述的方法，其中，匹配头部历史查询数据节点通过以下步骤确定：针对各个尾部历史查询数据节点，从所述当前训练样本集中选取与该尾部历史查询数据节点语义相关度最高的第一数目个初始候选头部历史查询数据节点，从第一数目个初始候选头部历史查询数据节点中选取与该尾部历史查询数据节点的目标属性相...

【专利技术属性】
技术研发人员：王伟帆，胡斌斌，张志强，周俊，彭志成，钟明洁，刘忠义，
申请(专利权)人：支付宝杭州信息技术有限公司，
类型：发明
国别省市：