本发明专利技术是关于一种多阶段多任务的文本阅读理解方法及装置。该方法包括：采用第一训练集对文本分类模型进行预训练，第一训练集为同一业务方向的不同类型的题目；采用第二训练集对经过预训练的文本分类模型进行训练，第二训练集为相似业务方向的同类型的题目；使用文本分类模型对待预测文本进行预测，输出预测结果。本发明专利技术提供的技术方案，能够融合其他问题类型和其他业务方向的知识，增加了同业务方向的训练样本和同问题的回答范式，进一步提升模型效果；针对训练样本比较少的业务场景，可以有效利用到同业务的其他数据进行预训练，从而获取了更多的先验知识，有效提高了模型精度，降低了对特定训练数据集大小的依赖，适用于少样本的业务问题解决。样本的业务问题解决。样本的业务问题解决。
【技术实现步骤摘要】
一种多阶段多任务的文本阅读理解方法及装置
[0001]本专利技术涉及文本处理领域，尤其涉及一种多阶段多任务的文本阅读理解方法及装置。
技术介绍
[0002]在如今这样一个人工智能蓬勃发展的时代，人们对智能问答、机器阅读理解越来越感兴趣，比如IBM沃森、百度小度音箱等等，训练出一款能够具备文本智能的机器成为各个公司展现实力的一种途径。然而如何提高多项选择阅读理解的准确性和全面性成为一个亟待解决的问题。
[0003]针对这一问题，目前采用的一种现有技术是通过FAQ的方式存储所有标准问答句，然后用户输入问句时，匹配最相似的问句，并返回相似问句的结果，作为答案返回给用户。这种现有技术的缺点在于，由于相似问句不等同于相同问句，容易造成错误回答，同时，面对多项选择题目，还存在选项和FAQ的回答不匹配的形式，需要进一步做处理。
[0004]目前采用的另一种现有技术的技术方案，是通过大规模预训练模型，将问题和选项拼接进行训练，然后输出CLS得到分类结果。这种现有技术的缺点在于，模型效果依赖特定训练数据的大小，不能从其他数据或者同类型的训练数据当中习得有效经验。
技术实现思路
[0005]本专利技术目的在于实现一种多阶段多任务学习模型，能够从其他类型数据和本类型其他业务数据当中吸取到有用知识，从而提高多项选择阅读理解的智能程度。
[0006]根据本专利技术实施例的第一方面，提供一种多阶段多任务的文本阅读理解方法，包括：
[0007]在粗调阶段，采用第一训练集对文本分类模型进行预训练，所述第一训练集为与待预测文本属于同一业务方向的不同类型的题目；
[0008]在多任务学习阶段，采用第二训练集对经过预训练的文本分类模型进行训练，所述第二训练集为所述待预测文本的相似业务方向的同类型的题目；
[0009]使用完成训练的文本分类模型对所述待预测文本进行预测，输出预测结果。
[0010]进一步，所述文本分类模型采用bert模型。
[0011]进一步，所述第一训练集的题目类型为是非题或单选题，所述第二训练集的题目类型为单选题或多选题。
[0012]进一步，在使用完成训练的文本分类模型对所述待预测文本进行预测之前，该方法还包括：
[0013]将所述待预测文本的数据处理成所述文本分类模型的编码器的输入格式。
[0014]根据本专利技术实施例的第二方面，提供一种多阶段多任务的文本阅读理解装置，包括：
[0015]粗调模块，用于在粗调阶段，采用第一训练集对文本分类模型进行预训练，所述第
一训练集为与待预测文本属于同一业务方向的不同类型的题目；
[0016]多任务学习模块，用于在多任务学习阶段，采用第二训练集对经过预训练的文本分类模型进行训练，所述第二训练集为所述待预测文本的相似业务方向的同类型的题目；
[0017]文本预测模块，用于使用完成训练的文本分类模型对所述待预测文本进行预测，输出预测结果。
[0018]进一步，所述文本分类模型采用bert模型。
[0019]进一步，所述第一训练集的题目类型为是非题或单选题，所述第二训练集的题目类型为单选题或多选题。
[0020]进一步，该装置还包括：
[0021]文本数据处理模块，用于在所述文本预测模型使用完成训练的文本分类模型对所述待预测文本进行预测之前，将所述待预测文本的数据处理成所述文本分类模型的编码器的输入格式。
[0022]根据本专利技术实施例的第三方面，提供一种终端设备，包括：
[0023]处理器；以及
[0024]存储器，其上存储有可执行代码，当所述可执行代码被所述处理器执行时，使所述处理器执行如上所述的方法。
[0025]根据本专利技术实施例的第四方面，提供一种非暂时性机器可读存储介质，其上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器执行如上所述的方法。
[0026]本专利技术的实施例提供的技术方案可以包括以下有益效果：
[0027]1、能够融合其他问题类型和其他业务方向的知识，增加了同业务方向的训练样本和同问题的回答范式，进一步提升模型效果；
[0028]2、针对训练样本比较少的业务场景，可以有效利用到同业务的其他数据进行预训练，从而获取了更多的先验知识，有效提高了模型精度，降低了对特定训练数据集大小的依赖，同样适用于少样本的业务问题解决。
[0029]应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本专利技术。
附图说明
[0030]通过结合附图对本专利技术示例性实施方式进行更详细的描述，本专利技术的上述以及其它目的、特征和优势将变得更加明显，其中，在本专利技术示例性实施方式中，相同的参考标号通常代表相同部件。
[0031]图1是根据本专利技术一示例性实施例示出的一种多阶段多任务的文本阅读理解方法的流程示意图；
[0032]图2是本专利技术实施例示出的一种多阶段多任务的文本阅读理解方法的流程示意图；
[0033]图3是bert模型的数据处理格式示意图；
[0034]图4是根据本专利技术示例性实施例示出的一种多阶段多任务的文本阅读理解装置的结构框图；
[0035]图5是根据本专利技术一示例性实施例示出的一种计算设备的结构示意图。
具体实施方式
[0036]下面将参照附图更详细地描述本专利技术的优选实施方式。虽然附图中显示了本专利技术的优选实施方式，然而应该理解，可以以各种形式实现本专利技术而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了使本专利技术更加透彻和完整，并且能够将本专利技术的范围完整地传达给本领域的技术人员。
[0037]在本专利技术使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本专利技术。在本专利技术和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
[0038]应当理解，尽管在本专利技术可能采用术语“第一”、“第二”、“第三”等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本专利技术范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本专利技术的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
[0039]以下结合附图详细描述本专利技术实施例的技术方案。
[0040]图1是根据本专利技术一示例性实施例示出的一种多阶段多任务的文本阅读理解方法的流程示意图。
[0041]参见图1，该方法包括：
[0042]110、在粗调阶段，采用第一训练集对文本分类模型进行预训练，所述第一训练集为与待预测文本属于同一业务方向的不同类型的题目；
[0043]具体的，如图2所示，将训练本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种多阶段多任务的文本阅读理解方法，其特征在于，包括：在粗调阶段，采用第一训练集对文本分类模型进行预训练，所述第一训练集为与待预测文本属于同一业务方向的不同类型的题目；在多任务学习阶段，采用第二训练集对经过预训练的文本分类模型进行训练，所述第二训练集为所述待预测文本的相似业务方向的同类型的题目；使用完成训练的文本分类模型对所述待预测文本进行预测，输出预测结果。2.根据权利要求1所述的多阶段多任务的文本阅读理解方法，其特征在于，所述文本分类模型采用bert模型。3.根据权利要求1所述的多阶段多任务的文本阅读理解方法，其特征在于，所述第一训练集的题目类型为是非题或单选题，所述第二训练集的题目类型为单选题或多选题。4.根据权利要求1
‑
3任一项所述的多阶段多任务的文本阅读理解方法，其特征在于，在使用完成训练的文本分类模型对所述待预测文本进行预测之前，还包括：将所述待预测文本的数据处理成所述文本分类模型的编码器的输入格式。5.一种多阶段多任务的文本阅读理解装置，其特征在于，包括：粗调模块，用于在粗调阶段，采用第一训练集对文本分类模型进行预训练，所述第一训练集为与待预测文本属于同一业务方向的不同类型的题目；多任务学习模块，用于在多任务学习阶段，采用第二训练集对经过...
【专利技术属性】
技术研发人员：邓礼志，于皓，张杰，吴信东，吴明辉，
申请(专利权)人：上海明略人工智能集团有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。