一种回单核验方法、装置及通信设备制造方法及图纸

本发明专利技术提供一种回单核验方法、装置及通信设备，涉及通信服务领域。该方法包括：采用多级分类模型对待核验回单进行分类，得到N个目标分类标签；其中，多级分类模型是基于历史回单构建的，目标分类标签为多级分类标签级联得到的，各级分类模型包括至少一个投诉原因分类标签；根据N个目标分类标签，确定待核验回单的各级投诉原因。本发明专利技术的方案，解决了回单核验效率低、人工成本高的问题。人工成本高的问题。人工成本高的问题。

【技术实现步骤摘要】
一种回单核验方法、装置及通信设备


[0001]本专利技术涉及通信服务领域，特别是指一种回单核验方法、装置及通信设备。

技术介绍

[0002]随着网络发展，移动用户因对移动网络质量不满而进行投诉的问题与日俱增，目前投诉回单均由投诉处理的第三方现场工作人员填写，以人工记录形式形成。但每日投诉回单量大复杂，投诉原因多种多样且分四级级联，每级的投诉原因存在内在联系，若现场工作人员业务能力不过关不够细心就难免出现错选、漏选的情况，这样就会导致此条投诉回单记录不过关，需要后期消耗人力核验。

技术实现思路

[0003]本专利技术的目的是提供一种回单核验方法、装置及通信设备，解决现有技术中回单核验效率低、人工成本高的问题。
[0004]为解决以上问题，本专利技术的实施例提供一种回单核验方法，包括：
[0005]采用多级分类模型对待核验回单进行分类，得到N个目标分类标签；其中，多级分类模型是基于历史回单构建的，目标分类标签为多级分类标签级联得到的，各级分类模型包括至少一个投诉原因分类标签；
[0006]根据N个目标分类标签，确定待核验回单的各级投诉原因。
[0007]可选地，所述多级分类模型为四级分类模型，所述采用多级分类模型对待核验回单进行分类，得到N个目标分类标签的步骤，包括：
[0008]采用第一级分类模型对所述待核验回单进行分类，得到第一级分类标签；
[0009]将所述第一级分类标签和所述待核验回单进行合并，得到第二级文本；
[0010]采用第二级分类模型对所述第二级文本进行分类，得到第二级分类标签；
[0011]将所述第二级分类标签和所述待核验回单进行合并，得到第三级文本；
[0012]采用第三级分类模型对所述第三级文本进行分类，得到第三级分类标签；
[0013]将所述第三级分类标签和所述待核验回单进行合并，得到第四级文本；
[0014]采用第四级分类模型对所述第四级文本进行分类，得到所述目标分类标签。
[0015]可选地，采用第一级分类模型对所述待核验回单进行分类，得到第一级分类标签的步骤，包括：
[0016]采用第一级分类模型对所述待核验回单进行分类，得到W个分类标签；
[0017]将所述W个分类标签中分类概率最高的w个，确定为第一级分类标签。
[0018]可选地，将所述第一级分类标签和所述待核验回单进行合并，得到第二级文本的步骤，包括：
[0019]将w个第一级分类标签分别与所述待核验回单进行合并，得到w个第二级文本；
[0020]所述采用第二级分类模型对所述第二级文本进行分类，得到第二级分类标签的步骤，包括：
[0021]采用所述第二级分类模型对所述w个第二级文本进行分类，得到w*X个分类标签；
[0022]将所述w*X个分类标签中分类得分最高的x个，确定为第二级分类标签。
[0023]可选地，将所述第二级分类标签和所述待核验回单进行合并，得到第三级文本的步骤，包括：
[0024]将x个第二级分类标签分别与所述待核验回单进行合并，得到x个第三级文本；
[0025]所述采用第三级分类模型对所述第三级文本进行分类，得到第三级分类标签的步骤，包括：
[0026]采用所述第三级分类模型对所述x个第三级文本进行分类，得到x*Y个分类标签；
[0027]将所述x*Y个分类标签中分类得分最高的y个，确定为第三分类标签。
[0028]可选地，将所述第三级分类标签和所述待核验回单进行合并，得到第四级文本的步骤，包括：
[0029]将y个第三分类标签分别与所述待核验回单进行合并，得到y个第四级文本；
[0030]所述采用第四级分类模型对所述第四级文本进行分类，得到所述目标分类标签的步骤，包括：
[0031]采用所述第四级分类模型对所述y个第四级文本进行分类，得到y*Z个分类标签；
[0032]将所述y*Z个分类标签中分类得分最高的N个，确定为所述目标分类标签。
[0033]可选地，根据所述N个目标分类标签，确定所述待核验回单的各级投诉原因的步骤，包括：
[0034]将所述N个目标分类标签中分类得分最高的一个，确定为所述待核验回单的各级投诉原因。
[0035]可选地，所述方法还包括：
[0036]对所述历史回单进行统计分析，构造包含多级投诉原因的数据集；
[0037]对所述数据集中的多级投诉原因进行预处理，得到包括总文本的训练集；
[0038]对所述训练集中的文本进行划分，得到多级文本；
[0039]采用预训练语言模型对所述多级文本进行训练，得到各级文本特征；
[0040]根据各级文本特征构建多级分类模型。
[0041]可选地，对所述历史回单进行统计分析，构造包含多级投诉原因的数据集的步骤，包括：
[0042]对所述历史回单中出现频率大于第一阈值的各级投诉原因打标签，得到标签数据；
[0043]根据所述历史回单和所述标签数据，构造数据集。
[0044]可选地，对所述历史回单中出现频率大于第一阈值的各级投诉原因打标签，得到标签数据的步骤之后，还包括：
[0045]对所述历史回单的文本进行同义词替换、随机插入、随机交换或随机删除，得到所述历史回单的变形回单；
[0046]所述根据所述历史回单和所述标签数据，构造数据集的步骤，包括：
[0047]根据所述变形回单、所述历史回单和所述标签数据，构造所述数据集。
[0048]可选地，所述方法还包括：
[0049]对所述历史回单中未打标签的回单的文本进行同义词替换、随机插入、随机交换
或随机删除，得到增广回单；
[0050]采用分类器对所述增广回单的无标签文本进行特征分类，得到伪标签；
[0051]采用第一公式，降低所述伪标签的熵；
[0052]将所述标签数据对应的回单与降低熵的伪标签对应的回单的文本特征拼接，得到拼接文本；
[0053]将所述标签数据与降低熵的伪标签拼接，得到拼接标签；
[0054]分别对对所述拼接文本和所述拼接标签进行随机重排和数据交织，得到增广文本和增广标签；
[0055]所述根据所述历史回单和所述标签数据，构造数据集的步骤，包括：
[0056]根据打标签的历史回单、所述标签数据、所述增广文本和所述增广标签，构造数据集。
[0057]可选地，对所述数据集中的多级投诉原因进行预处理，得到包括总文本的训练集的步骤，包括：
[0058]将所述数据集中各级投诉原因中相似度小于一定阈值的标签进行合并，得到待处理总文本；
[0059]对所述待处理总文本进行中文分词并删除所述待处理总文本中的无效词，得到处理后的总文本。
[0060]可选地，对所述训练集中的文本进行划分，得到多级文本的步骤，包括：
[0061]将处理后的总文本作为一级文本；
[0062本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种回单核验方法，其特征在于，包括：采用多级分类模型对待核验回单进行分类，得到N个目标分类标签；其中，所述多级分类模型是基于历史回单构建的，所述目标分类标签为多级分类标签级联得到的，各级分类模型包括至少一个投诉原因分类标签；根据所述N个目标分类标签，确定所述待核验回单的各级投诉原因。2.根据权利要求1所述的回单核验方法，其特征在于，所述多级分类模型为四级分类模型，所述采用多级分类模型对待核验回单进行分类，得到N个目标分类标签的步骤，包括：采用第一级分类模型对所述待核验回单进行分类，得到第一级分类标签；将所述第一级分类标签和所述待核验回单进行合并，得到第二级文本；采用第二级分类模型对所述第二级文本进行分类，得到第二级分类标签；将所述第二级分类标签和所述待核验回单进行合并，得到第三级文本；采用第三级分类模型对所述第三级文本进行分类，得到第三级分类标签；将所述第三级分类标签和所述待核验回单进行合并，得到第四级文本；采用第四级分类模型对所述第四级文本进行分类，得到所述目标分类标签。3.根据权利要求2所述的回单核验方法，其特征在于，采用第一级分类模型对所述待核验回单进行分类，得到第一级分类标签的步骤，包括：采用第一级分类模型对所述待核验回单进行分类，得到W个分类标签；将所述W个分类标签中分类概率最高的w个，确定为第一级分类标签。4.根据权利要求3所述的回单核验方法，其特征在于，将所述第一级分类标签和所述待核验回单进行合并，得到第二级文本的步骤，包括：将w个第一级分类标签分别与所述待核验回单进行合并，得到w个第二级文本；所述采用第二级分类模型对所述第二级文本进行分类，得到第二级分类标签的步骤，包括：采用所述第二级分类模型对所述w个第二级文本进行分类，得到w*X个分类标签；将所述w*X个分类标签中分类得分最高的x个，确定为第二级分类标签。5.根据权利要求4所述的回单核验方法，其特征在于，将所述第二级分类标签和所述待核验回单进行合并，得到第三级文本的步骤，包括：将x个第二级分类标签分别与所述待核验回单进行合并，得到x个第三级文本；所述采用第三级分类模型对所述第三级文本进行分类，得到第三级分类标签的步骤，包括：采用所述第三级分类模型对所述x个第三级文本进行分类，得到x*Y个分类标签；将所述x*Y个分类标签中分类得分最高的y个，确定为第三分类标签。6.根据权利要求5所述的回单核验方法，其特征在于，将所述第三级分类标签和所述待核验回单进行合并，得到第四级文本的步骤，包括：将y个第三分类标签分别与所述待核验回单进行合并，得到y个第四级文本；所述采用第四级分类模型对所述第四级文本进行分类，得到所述目标分类标签的步骤，包括：采用所述第四级分类模型对所述y个第四级文本进行分类，得到y*Z个分类标签；将所述y*Z个分类标签中分类得分最高的N个，确定为所述目标分类标签。
7.根据权利要求1至6任一项所述的回单核验方法，其特征在于，根据所述N个目标分类标签，确定所述待核验回单的各级投诉原因的步骤，包括：将所述N个目标分类标签中分类得分最高的一个，确定为所述待核验回单的各级投诉原因。8.根据权利要求1至6任一项所述的回单核验方法，其特征在于，所述方法还包括：对所述历史回单进行统计分析，构造包含多级投诉原因的数据集；对所述数据集中的多级投诉原因进行预处理，得到包括总文本的训练集；对所述训练集中的文本进行划分，得到多级文本；采用预训练语言模型对所述多级文...

【专利技术属性】
技术研发人员：张鸿硕，朱琳，刘静，王一光，冯俊兰，
申请(专利权)人：中国移动通信集团有限公司，
类型：发明
国别省市：