应答模型的训练方法、应答方法、装置、设备及存储介质制造方法及图纸

本发明专利技术实施例涉及人工智能技术领域，公开了一种应答模型的训练方法、应答方法、装置、设备及存储介质，应答模型的训练方法包括：基于知识图谱提取出的实体信息构建意图训练样本；基于预训练模型构建问答训练样本；根据所述意图训练样本和所述问答训练样本构建应答模型训练样本；使用所述应答模型训练样本对预先构建的应答模型进行训练，得到训练好的应答模型。本发明专利技术实施例提供的方法通过根据知识图谱抽取结果自动生成训练语料，完成端到端的应答模型的会话设计与会话构建，将规则和深度学习结合应用提高了生成的应答模型训练样本与真实问答数据的相似性，一定程度上提高了生成文本的泛化能力，进而提高了应答模型的通用性。

【技术实现步骤摘要】
应答模型的训练方法、应答方法、装置、设备及存储介质
本专利技术实施例涉及人工智能领域，尤其涉及一种应答模型的训练方法、应答方法、装置、设备及存储介质。
技术介绍
智能运维(ArtificialIntelligenceforITOperations，AIOps)，是将人工智能的能力与运维相结合，通过机器学习的方法来提升运维效率。AIops主张由机器学习算法自动地从海量运维数据(包括事件本身以及运维人员的人工处理日志)中不断地学习，不断提炼并总结规则。AIOps在自动化运维的基础上，增加了一个基于机器学习的大脑，指挥监测系统采集大脑决策所需的数据，做出分析、决策，并指挥自动化脚本去执行大脑的决策，从而达到运维系统的整体目标。综上看，自动化运维水平是AIOps的重要基石，而AIOps将基于自动化运维，将AI和运维很好地结合起来，但目前的AIOps仍存在不同场景下运维知识迁移的缺陷，对于新场景，新数据，往往需要重新从零构建AIops，需要额外重复的劳动力，费时费力。
技术实现思路
本专利技术实施例提供了一种应答模型的训练方法、应答方法、装置、设备及存储介质，以实现提高智能运维的通用性。第一方面，本专利技术实施例提供了一种应答模型的训练方法，其特征在于，包括：基于知识图谱提取出的实体信息构建意图训练样本；基于预训练模型构建问答训练样本；根据意图训练样本和问答训练样本构建应答模型训练样本；使用应答模型训练样本对预先构建的应答模型进行训练，得到训练好的应答模型。第二方面，本专利技术实施例还提供了一种应答方法，包括：获取待应答信息；将待应答信息输入至预先训练的应答模型中，获得应答模型的输出结果，其中，应答模型是通过本专利技术任意实施例所提供的应答模型的训练方法训练得到的；根据输出结果确定应答信息并输出。第三方面，本专利技术实施例还提供了一种应答模型的训练装置，包括：意图样本构建模块，用于基于知识图谱提取出的实体信息构建意图训练样本；问答样本构建模块，用于基于预训练模型构建问答训练样本；训练样本构建模块，用于根据意图训练样本和问答训练样本构建应答模型训练样本；应答模型训练模块，用于使用应答模型训练样本对预先构建的应答模型进行训练，得到训练好的应答模型。第四方面，本专利技术实施例提供了一种应答装置，包括：待应答信息获取模块，用于获取待应答信息；应答模型预测模块，用于将待应答信息输入至预先训练的应答模型中，获得应答模型的输出结果，其中，应答模型是通过本专利技术任意实施例所提供的应答模型的训练方法训练得到的；应答信息输出模块，用于根据输出结果确定应答信息并输出。第五方面，本专利技术实施例提供了一种计算机设备，设备包括：一个或多个处理器；存储装置，用于存储一个或多个程序；当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现如本专利技术实施例第一方面所提供的应答模型的训练方法，和/或，实现如本专利技术实施例第二方面所提供的应答方法。第六方面，本专利技术实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本专利技术任意实施例第一方面所提供的应答模型的训练方法，和/或，实现如本专利技术实施例第二方面所提供的应答方法。本专利技术实施例提供的应答模型的训练方法通过基于知识图谱提取出的实体信息构建意图训练样本；基于预训练模型构建问答训练样本；根据意图训练样本和问答训练样本构建应答模型训练样本；使用应答模型训练样本对预先构建的应答模型进行训练，得到训练好的应答模型，通过根据知识图谱抽取结果自动生成训练语料，完成端到端的应答模型的会话设计与会话构建，将规则和深度学习结合应用提高了生成的应答模型训练样本与真实问答数据的相似性，一定程度上提高了生成文本的泛化能力，进而提高了应答模型的通用性。附图说明图1是本专利技术实施例一所提供的一种应答模型的训练方法的流程示意图；图2是本专利技术实施例二所提供的一种应答模型的训练方法的流程示意图；图3是本专利技术实施例三所提供的一种应答模型的训练方法的流程示意图；图4是本专利技术实施例四所提供的一种应答方法的流程示意图；图5是本专利技术实施例五所提供的一种运维机器人的训练及应用示意图；图6是本专利技术实施例六所提供的一种应答模型的训练装置的结构示意图；图7是本专利技术实施例七所提供的一种应答装置的结构示意图；图8是本专利技术实施例八所提供的一种计算机设备的结构示意图。具体实施方式下面结合附图和实施例对本专利技术作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本专利技术，而非对本专利技术的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本专利技术相关的部分而非全部结构。实施例一图1是本专利技术实施例一所提供的一种应答模型的训练方法的流程示意图。本实施例可适用于对应答模型进行训练时的情形，尤其适用于对运维机器人中的应答模块进行训练时的情形。该方法可以由应答模型的训练装置执行，该应答模型的训练装置可以采用软件和/或硬件的方式实现，例如，该应答模型的训练装置可配置于计算机设备中。如图1所示，该方法包括：S110、基于知识图谱提取出的实体信息构建意图训练样本。在本实施例中，考虑到运维知识的迁移问题，避免新场景，新数据，需要重新从零构建智能运维的技术问题，根据知识图谱抽取结果自动生成训练语料，完成端到端的会话设计与会话构建。对于自然语言理解训练语料，在端到端设计思路中，将规则和深度学习一起结合应用起来提高了生成的训练数据与真实机器人问答数据的相似性，一定程度上提高了生成文本的“泛化”能力。其中，知识图谱可具体根据智能运维的应用场景确定。示例性的，假设智能运维用于业务往来交易，则知识图谱可以为企业、个人、账户等组成的知识图谱；假设智能运维用于系统维护，则知识图谱可以为系统内硬件、部件等组成的知识图谱。可以理解的是，知识图谱可以根据获取到的源数据构建，也可以直接获取已经构建完成的知识图谱，在此不做限定。知识图谱的构建方式可以参照现有技术中知识图谱的构建方式，在此不做赘述。在本专利技术的一种实施方式中，基于知识图谱提取出的实体与实体属性构建意图训练样本，包括：提取出知识图谱中的实体信息，其中实体信息包括实体、实体属性以及实体间的关系；根据预先设置的意图问题模板和实体信息构建意图训练样本。可选的，可以先提取出知识图谱中各实体的实体属性以及各实体之间的关系，将各实体的实体属性以及各实体之间的关系作为已知参数，结合预先设的意图问题模板构建意图训练样本。示例性的，可以根据知识图谱，提取到实体，构建实体表entity1，针对每一类实体，提取其属性，构建属性表attribute1，根据知识图谱提取所有关系，构建关系表relation1。可选的，根据预先设置的意图问题模板和实体信息构建意图训练样本，包括：根据questioni＝∏entityi(∑attribute本文档来自技高网...

【技术保护点】
1.一种应答模型的训练方法，其特征在于，包括：/n基于知识图谱提取出的实体信息构建意图训练样本；/n基于预训练模型构建问答训练样本；/n根据所述意图训练样本和所述问答训练样本构建应答模型训练样本；/n使用所述应答模型训练样本对预先构建的应答模型进行训练，得到训练好的应答模型。/n

【技术特征摘要】
1.一种应答模型的训练方法，其特征在于，包括：
基于知识图谱提取出的实体信息构建意图训练样本；
基于预训练模型构建问答训练样本；
根据所述意图训练样本和所述问答训练样本构建应答模型训练样本；
使用所述应答模型训练样本对预先构建的应答模型进行训练，得到训练好的应答模型。


2.根据权利要求1所述的方法，其特征在于，所述基于知识图谱提取出的实体与实体属性构建意图训练样本，包括：
提取出知识图谱中的实体信息，其中所述实体信息包括实体、实体属性以及实体间的关系；
根据预先设置的意图问题模板和所述实体信息构建所述意图训练样本。


3.根据权利要求2所述的方法，其特征在于，所述根据预先设置的意图问题模板和所述实体信息构建所述意图训练样本，包括：
根据questioni＝∏entityi(∑attributei+∑relationi)构建所述意图训练样本，其中，questioni为意图训练样本，entityi为实体，attributei为实体属性，relationi为实体间的关系。


4.根据权利要求1所述的方法，其特征在于，所述应答模型包括特征提取模块、意图识别模块和实体提取模块，所述使用所述应答模型训练样本对预先构建的应答模型进行训练，得到训练好的应答模型，包括：
将所述应答模型训练样本输入至所述特征提取模块中，获得所述特征提取模块输出的样本初始特征；
将所述样本初始特征输入至所述意图识别模块中，得到所述意图识别模块输出的样本意图特征；
将所述应答模型训练样本和所述样本意图特征输入至所述实体提取模块中，得到所述实体提取模块输出的样本实体特征；
根据所述样本意图特征和意图标签确定意图损失值，根据所述样本实体特征和实体标签确定实体损失值，根据所述意图损失值和所述实体损失值确定目标损失值；
以所述目标损失值达到收敛条件为目标，对所述应答模型进行训练。


5.根据权利要求4所述的方法，其特征在于，所述根据所述意图损失值和所述实体损失值确定目标损失值，包括：
将所述意图损失值和所述实体损失值加权求和，得到所述目标损失值。


6.根据权利要求4所述的方法，其特征在于，所述应答模型还包括注意力模块，所述意图识别模块、所述注意力模块和所述实体提取模块顺次连接，在将所述意图训练样本和所述样本意图特征输入至所述实体提取模块中，得到所述实体提取模块输出的样本实体特征之前，还包括：
将所述样本意图特征输入至所述注意力模型中，得到所述注意力模型输出的注意力结果；
相应的，将所述应答模型训练样本和所述样本意图特征输入至所述实体提取模块中，得到所述实体提取模块输出的预测实体之前，包括：
将所述应答模型训练样本和所述注意力结果输入至所述实体提取模块中，得到所述实体提取模块输出的样本实体特征。


7.根据权利要求1所述的方法，其特征在于，还包括：
根据所述意图训练样本中的实体标签数量设置所述意图训练样本...

【专利技术属性】
技术研发人员：张美伟，李昱，王全礼，张晨，杨占栋，
申请(专利权)人：中国建设银行股份有限公司，
类型：发明
国别省市：北京;11