类别词挖掘方法、装置、计算机设备及计算机可读存储介质制造方法及图纸

本申请提供了类别词挖掘方法、装置、计算机设备及计算机可读存储介质。所述的类别词挖掘方法，包括：获取后台兴趣点的训练数据和测试数据；构建语言模型；用训练数据训练语言模型；在训练后的语言模型输入测试数据、用训练后的语言模型获得新的类别名。本申请实施例的类别词挖掘方法通过语言模型挖掘获得新的类别名，效率非常高，获取的新类别名较齐全，快速有效，且后期只需要通过训练语言模型即可获得更多的新类别名，后期维护简单高效。后期维护简单高效。后期维护简单高效。

【技术实现步骤摘要】
类别词挖掘方法、装置、计算机设备及计算机可读存储介质


[0001]本申请涉及信息
，尤其涉及一种类别词挖掘方法、装置、计算机设备及计算机可读存储介质。

技术介绍

[0002]随着信息技术的发展，越来越多具有检索和导航等功能的网络服务平台和应用软件应运而生。使用时，用户在检索框输入兴趣点POI(Point ofInterest)。在地理信息系统中，一个POI可以是一栋房子、一个商铺、一个公交站、一个培训机构、一个餐厅等。每个兴趣点通常包括名称和类别名，如“尚品酒店”，“尚品”是名称，“酒店”是类别名。因用户在检索框输入兴趣点时，通常不能准确地输入其类别名，例如，一个用户需要查找“尚品酒店”，由于其不了解具体的类别名，在检索框内会输入“尚品酒家”“尚品饭店”等等，因其类别名不准确，所以无法找到“尚品酒店”对应的信息。
[0003]为杜绝用户因不能准确输入类别名而无法找到对应信息的情况，通常在网络服务平台和应用软件内设置类别库，即人工将表示同一类别的名称存储进对应的类别库内，例如会将“酒店”“酒家”“饭店”等放在同一个类别库里，同一个类别库的类别名被认为是可以通用的。当用户检索时，如用户在检索框内输入“尚品酒家”“尚品饭店”时，通过类别库就可以找到“尚品酒店”。
[0004]由于现有技术的类别库是凭经验人工设置的，而现实生活中的词语千变万化，通过人工经验很难将现实生活中同一类别的所有类别名全都找出放在同一个类别库内，因而会出现因类别库的类别名不齐而无法找到对应兴趣点的情况。并且，通过人工设置类别库，效率非常低，且人工维护非常繁琐。
[0005]针对现存方法存在的问题，急需提供一种快速有效的类别词挖掘的方法、装置、计算机设备及计算机可读存储介质。

技术实现思路

[0006]本申请的目的在于提供一种快速有效的类别词挖掘方法、装置、计算机设备及存储介质，旨在解决上述技术问题之一。
[0007]第一方面，一种类别词挖掘方法，包括：获取后台兴趣点的训练数据和测试数据；构建语言模型；用所述训练数据训练所述语言模型；在所述训练后的所述语言模型输入测试数据、用训练后的所述语言模型获得新的类别名。
[0008]优选地，上述用所述训练数据训练所述语言模型具体为：将同一类别的所述训练数据按一定的字符长度划分成不同的训练组；随机遮掩所述训练组内一定比例的类别名：所述语言模型对遮掩后的所述训练组进行推理，预测被遮掩的类别名；将预测的所述被遮掩的类别名和被遮掩的所述类别名进行比对分析优化所述语言模型。
[0009]优选地，上述获取后台兴趣点的训练数据和测试数据的步骤之后还包括：对所述训练数据和所述测试数据进行预处理：所述对数据进行预处理具体为：去除所述训练数据
和所述测试数据的标点符号；去除所述训练数据和所述测试数据中名称的字数小于等于两个的名称；去除所述训练数据和所述测试数据中括号内的词；所述训练数据和所述测试数据的各名称之间用逗号拼接。
[0010]优选地，上述用训练后的所述语言模型获得新的类别名具体为：将同一类别的所述测试数据按一定的字符长度划分成不同的测试组；遮掩所述测试组内的类别名；训练后的所述语言模型根据遮掩后的所述测试数据推理获得新的类别名。
[0011]优选地，上述训练后的所述语言模型根据遮掩后的所述测试数据推理获得新的类别名具体为：设置推理结果数量；训练后的所述语言模型根据遮掩后的所述测试数据推理获得所述推理结果数量的类别名的第一个字；训练后的所述语言模型根据推理获得的所述类别名的第一个字推理获得所述推理结果数量的类别名的第二个字；判断推理获得的类别名的字数是否等于被遮掩的类别名的字数，如果否，训练后的所述语言模型根据已推理获得的类别名的字推理获得所述推理结果数量的类别名的下一个字；将推理获得的所述第一个字、所述第二个字及所有其他字按顺序组合成新的类别名。
[0012]优选地，上述训练数据和测试数据的各名称之间用逗号拼接的步骤之后还包括：对所述训练数据和所述测试数据按词语进行切词；所述设置推理结果数量具体为：将类别名中的词语的第一个字的推理结果数量设置为2个，将类别名中的词语的非第一个字的推理结果数量设置为1个；
[0013]所述将所述训练数据按一定的字符长度划分成不同的训练组具体为：将所述训练数据按20个字符长度划分成不同的训练组；
[0014]所述随机遮掩所述训练组内一定比例的类别名具体为：随机遮掩所述训练组内15％的类别名。
[0015]优选地，上述构建语言模型具体为：构建Roberta
‑
wwm语言模型；
[0016]所述随机遮掩所述训练组内一定比例的类别名具体为：用掩码机制方法随机遮掩所述训练组内一定比例的类别名；
[0017]所述遮掩所述测试数据的类别名具体为：用掩码机制方法遮掩所述测试数据的类别名；
[0018]所述对所述测试数据按词语进行切词具体为：依次用Jieba方法和字节对编码切词方法对所述测试数据按词语进行切词；
[0019]所述训练后的所述语言模型根据遮掩后的所述测试数据推理获得所述推理结果数量的类别名的第一个字具体为：训练后的所述语言模型根据遮掩后的所述测试数据用贪心搜索的方法推理获得所述推理结果数量的类别名的第一个字；
[0020]所述训练后的所述语言模型根据推理获得的所述类别名的第一个字推理获得所述推理结果数量的类别名的第二个字具体为：训练后的所述语言模型根据推理获得的所述类别名的第一个字用集束搜索的方法推理获得所述推理结果数量的类别名的第二个字；
[0021]所述训练后的所述语言模型根据已推理获得的类别名的字推理获得所述推理结果数量的类别名的下一个字具体为：训练后的所述语言模型根据已推理获得的类别名的字用集束搜索的方法推理获得所述推理结果数量的类别名的下一个字。
[0022]第二方面，本申请实施例提供了一种类别词挖掘装置，包括：数据获取模块，用于获取后台兴趣点的训练数据和测试数据；语言模型模块，用于构建语言模型；训练模型模
块，用于用所述训练数据训练所述语言模型；类别名模块，用于在所述训练后的所述语言模型输入测试数据、用训练后的所述语言模型获得新的类别名。
[0023]第三方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的类别词挖掘方法的步骤。
[0024]第四方面，本申请实施例提供了一种计算机设备，包括：一个或多个处理器；存储器；以及一个或多个计算机程序，所述处理器和所述存储器通过总线连接，其中所述一个或多个计算机程序被存储在所述存储器中，并且被配置成由所述一个或多个处理器执行，所述处理器执行所述计算机程序时实现如上所述的类别词挖掘方法的步骤。
[0025]本申请实施例的类别词挖掘方法，获取后台兴趣点的训练数据和测试数据，后台兴趣点的数据是用户在检索框输入的兴趣点POI(Point ofInterest)，在地理信息系统中，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种类别词挖掘方法，其特征在于，包括：获取后台兴趣点的训练数据和测试数据；构建语言模型；用所述训练数据训练所述语言模型；在所述训练后的所述语言模型输入测试数据、用训练后的所述语言模型获得新的类别名。2.如权利要求1所述的类别词挖掘方法，其特征在于，所述用所述训练数据训练所述语言模型具体为：将同一类别的所述训练数据按一定的字符长度划分成不同的训练组；随机遮掩所述训练组内一定比例的类别名：所述语言模型对遮掩后的所述训练组进行推理，预测被遮掩的类别名；将预测的所述被遮掩的类别名和被遮掩的所述类别名进行比对分析优化所述语言模型。3.如权利要求2所述的类别词挖掘方法，其特征在于，所述获取后台兴趣点的训练数据和测试数据的步骤之后还包括：对所述训练数据和所述测试数据进行预处理：所述对数据进行预处理具体为：去除所述训练数据和所述测试数据的标点符号；去除所述训练数据和所述测试数据中名称的字数小于等于两个的名称；去除所述训练数据和所述测试数据中括号内的词；所述训练数据和所述测试数据的各名称之间用逗号拼接。4.如权利要求3所述的类别词挖掘方法，其特征在于，所述用训练后的所述语言模型获得新的类别名具体为：将同一类别的所述测试数据按一定的字符长度划分成不同的测试组；遮掩所述测试组内的类别名；训练后的所述语言模型根据遮掩后的所述测试数据推理获得新的类别名。5.如权利要求4所述的类别词挖掘方法，其特征在于，所述训练后的所述语言模型根据遮掩后的所述测试数据推理获得新的类别名具体为：设置推理结果数量；训练后的所述语言模型根据遮掩后的所述测试数据推理获得所述推理结果数量的类别名的第一个字；训练后的所述语言模型根据推理获得的所述类别名的第一个字推理获得所述推理结果数量的类别名的第二个字；判断推理获得的类别名的字数是否等于被遮掩的类别名的字数，如果否，训练后的所述语言模型根据已推理获得的类别名的字推理获得所述推理结果数量的类别名的下一个字；将推理获得的所述第一个字、所述第二个字及所有其他字按顺序组合成新的类别名。6.如权利要求5所述的类别词挖掘方法，其特征在于，所述训练数据和测试数据的各名称之间用逗号拼接的步骤之后还包括：对所述训练数
据和所述测试数据按词语进行切词；所述设置推理结果数量具体为：将类别名中的词语的第一个字的推理结果数量设置为2个，将类别名中的词语的非第一个字的推理结果数量设置为...

【专利技术属性】
技术研发人员：顾佳怡，沈奇，赵骥，
申请(专利权)人：深圳依时货拉拉科技有限公司，
类型：发明
国别省市：