一种基于异构图神经网络的用户意图识别方法及装置制造方法及图纸

本发明专利技术公开了一种基于异构图神经网络的用户意图识别方法及装置，意图识别装置根据对话内容直接识别用户意图进而得到一个初步的识别结果；历史信息筛选装置根据对话内容以及初步结果对用户历史信息进行筛选，得到与对话内容相关的用户历史信息；识别结果调整装置结合对话内容，初步识别结果以及相关的历史信息对识别结果进行调整进而更准确地识别用户意图。本发明专利技术解决了传统深度学习方法无法有效识别用户个性化表达的问题，设计了一种两阶段的意图识别策略，利用异构图神经网络结合用户历史发言，有效对用户个性化发言进行识别，提高了意图识别的准确性，进而为系统做出准确回复提供了帮助。

【技术实现步骤摘要】
一种基于异构图神经网络的用户意图识别方法及装置
本专利技术涉及计算机应用、计算机系统及其技术产品
，尤其涉及一种基于异构图神经网络的用户意图识别方法及装置。
技术介绍
自然语言理解是人工智能的核心课题之一。通过利用计算机模拟人类间的语言交互过程，使计算机理解和运用人类的自然语言，为人类提供信息服务，如解答问题、查询资料等。传统的自然语言理解技术已应用于多个领域，包括搜索系统、问答系统、对话系统等。搜索系统根据用户输入，识别用户意图，为用户返回最相关的内容，像百度、谷歌、必应等搜索引擎，微信里的搜一搜，甚至在京东、淘宝上选购心仪的商品时都离不开搜索系统。问答系统和对话系统也逐渐出现在日常生活中，如智能客服、聊天机器人等。自然语言理解技术的快速发展，使计算机能更准确地理解用户意图，进而为用户提供方便快捷的服务。传统的自然语言理解技术通常采用领域专家手工定制的规则模板来解析用户输入，这就导致模型无法泛化，用于汽车领域的搜索系统就无法应用于计算机领域，每个系统都需要消耗大量的时间和精力来精心构造。另一方面，由于自然语言的口语化和多样性，输入的文本通常是不规范的甚至是存在拼写或者语法错误的，这也导致基于规则模板的模型鲁棒性差，需要用户输入准确才能进行识别，为用户的使用带来诸多不便。近年来，基于深度学习的自然语言理解技术受到学术界与工业界的广泛关注，并展现了巨大的商业潜力。与基于规则模板的方法相比，基于深度学习的方法通过数据驱动，实现了端到端的深度学习模型，减少了模型训练过程中的人工干预，使模型可以很方便的从一个领域迁移到另一领域。传统的基于深度学习的方法通常采用时序模型对对话语义建模，忽略了对话中多用户间灵活频繁的交互过程，为了解决这一问题，最近的一些方法采用图神经网络为对话建模。然而，由于自然语言的随意性和多样性，人们可以用多种多样个性化的方式来表达自己的意图，这为准确识别用户意图带来了更多的困难。
技术实现思路
本专利技术目的就是为了弥补已有技术无法准确识别用户个性化表达的缺陷，提供一种基于异构图神经网络的用户意图识别方法及装置。本专利技术是通过以下技术方案实现的：一种基于异构图神经网络的用户意图识别装置，包括有意图识别装置、历史信息筛选装置和识别结果调整装置；所述意图识别装置根据用户的对话内容直接识别用户意图得到初步的识别结果；所述历史信息筛选装置根据对话内容以及初步的识别结果对用户历史信息进行筛选，得到与对话内容相关的用户历史信息；所述识别结果调整装置采用异构图神经网络对当前对话内容以及与对话内容相关的用户历史信息进行编码，进而对所述初步的识别结果进行调整，识别最终的用户意图。所述的意图识别装置根据对话内容直接识别用户意图得到初步的识别结果，具体如下：意图识别装置将对话内容转化为对应的特征向量，并对对话内容中每句话得到一个初步的识别结果。所述的意图识别装置将对话内容转化为对应的特征向量，并对对话内容中每句话得到一个初步的识别结果，具体如下：意图识别装置采用卷积神经网络和双向长短期记忆网络得到包含上下文语境信息的句子特征向量，使用全连接层作为分类器，对对话内容中的每句话进行分类，进而为对话内容中的每句话得到一个初步的识别结果。所述的用户历史信息是指用户在其他对话中的历史发言。所述的历史信息筛选装置根据对话内容以及初步的识别结果对用户历史信息进行筛选，得到与对话内容相关的用户历史信息，具体如下：历史信息筛选装置是使用一种粗粒度历史选择模块对用户历史信息进行筛选的，首先，利用预训练词编码将文本中离散的词转换为连续的词向量表示，通过最大池化操作分别得到当前对话内容的向量表示和用户历史发言的向量表示；通过计算两者之间的余弦相似度得到用户历史发言与当前对话内容的相关性分数，同时，根据意图类别对用户历史发言进行归类，并根据相关性分数为每个类别选择前K个与当前对话内容最相关的历史发言。利用相关性重计算方法模块来计算当前对话内容中每一句话与每个类别里K个历史发言之间的相关性分数，得到一个相似度矩阵；利用初步的识别结果和相似度矩阵，为每个类别里的K个历史发言重新计算与当前对话内容整体的相关性分数。所述的异构图神经网络包含两种节点：句子节点和标签节点，其中，句子节点的向量表示来自于意图识别装置得到的句子特征向量表示，标签节点利用历史信息筛选装置得到的与当前对话内容最相关的K个历史发言的向量表示，根据相关性分数加权平均来得到标签节点的向量表示。所述的异构图神经网络包含两种边：用户边和标签边，其中，用户边用来表示句子节点之间的关系，采用一种基于相似度的注意力模块对用户边的权重进行初始化；标签边用来连接标签节点和句子节点，标签边的权重表示句子节点与不同标签之间的关系，利用意图识别装置得到的初步的识别结果作为标签边权重的初始化，使用一种特定于边关系的消息传递策略对节点表示进行更新，根据异构图神经网络得到的句子节点表示，利用全连接层对每个句子节点进行分类，进而为每个句子得到调整后的意图识别结果。在对话内容中，根据用户以及发言顺序，将用户边分为4类，即自己前、自己后、他人前、他人后。一种基于异构图神经网络的用户意图识别方法，具体步骤如下：S1首先根据用户的对话内容直接识别用户意图得到初步的识别结果；S2根据对话内容以及步骤S1得到的初步的识别结果对用户历史信息进行筛选，得到与对话内容相关的用户历史信息；S3采用异构图神经网络对当前对话内容以及步骤S2得到的与对话内容相关的用户历史信息进行编码，进而对步骤S1得到的初步的识别结果进行调整，识别最终的用户意图。本专利技术的优点是：本专利技术解决了传统深度学习方法无法有效识别用户个性化表达的问题，设计了一种两阶段的意图识别策略，首先根据对话上下文初步识别用户意图，再利用异构图神经网络结合用户当前对话以及在其它对话中曾经的历史发言更精准地识别用户意图。同时，本专利技术还设计了一种降噪机制来避免无关历史信息带来的噪声，从而进一步提高了识别用户个性化表达的准确性。本方法的一些实施例中，利用异构图神经网络结合用户历史发言，有效对用户个性化发言进行识别，提高了意图识别的准确性，进而为系统做出准确回复提供了帮助。附图说明图1为本专利技术实施例装置框图。图2为本专利技术实施例意图识别装置原理图。图3为本专利技术实施例粗粒度历史选择模块原理图。图4为本专利技术实施例相关性重计算模块和识别结果调整装置。图5为本专利技术实施例方法流程图。具体实施方式一种基于异构图神经网络的用户意图识别装置，意图识别装置1根据对话内容直接识别用户意图进而得到一个初步的识别结果；历史信息筛选装置2根据对话内容以及初步结果对用户历史信息进行筛选，得到与对话内容相关的用户历史信息；识别结果调整装置3结合对话内容，初步识别结果以及相关的历史信息对识别结果进行调整进而更准确地识别用户意图。本专利技术包含两阶段的意图识别过程：初步识别和识别结果本文档来自技高网...

【技术保护点】
1.一种基于异构图神经网络的用户意图识别方法，其特征在于：包括如下步骤：/nS1、根据用户的对话内容直接识别用户意图得到初步的识别结果；/nS2、根据对话内容以及步骤S1得到的初步的识别结果对用户历史信息进行筛选，得到与对话内容相关的用户历史信息；/nS3、采用异构图神经网络对当前对话内容以及步骤S2得到的与对话内容相关的用户历史信息进行编码，进而对步骤S1得到的初步的识别结果进行调整，识别最终的用户意图。/n

【技术特征摘要】
1.一种基于异构图神经网络的用户意图识别方法，其特征在于：包括如下步骤：
S1、根据用户的对话内容直接识别用户意图得到初步的识别结果；
S2、根据对话内容以及步骤S1得到的初步的识别结果对用户历史信息进行筛选，得到与对话内容相关的用户历史信息；
S3、采用异构图神经网络对当前对话内容以及步骤S2得到的与对话内容相关的用户历史信息进行编码，进而对步骤S1得到的初步的识别结果进行调整，识别最终的用户意图。


2.根据权利要求1所述的一种基于异构图神经网络的用户意图识别方法，其特征在于：步骤S1中所述的根据对话内容直接识别用户意图得到初步的识别结果，具体如下：将对话内容转化为对应的特征向量，并对对话内容中每句话得到一个初步的识别结果。


3.根据权利要求2所述的一种基于异构图神经网络的用户意图识别方法，其特征在于：所述的将对话内容转化为对应的特征向量，并对对话内容中每句话得到一个初步的识别结果，具体如下：采用卷积神经网络和双向长短期记忆网络得到包含上下文语境信息的句子特征向量，使用全连接层作为分类器，对对话内容中的每句话进行分类，进而为对话内容中的每句话得到一个初步的识别结果。


4.根据权利要求3所述的一种基于异构图神经网络的用户意图识别方法，其特征在于：所述的用户历史信息是指用户在其他对话中的历史发言。


5.根据权利要求4所述的一种基于异构图神经网络的用户意图识别方法，其特征在于：步骤S2所述的根据对话内容以及初步的识别结果对用户历史信息进行筛选，得到与对话内容相关的用户历史信息，具体如下：使用一种粗粒度历史选择模块对用户历史信息进行筛选，首先，利用预训练词编码将文本中离散的词转换为连续的词向量表示，通过最大池化操作分别得到当前对话内容的向量表示和用户历史发言的向量表示；通过计算两者之间的余弦相似度得到用户历史发言与当前对话内容的相关性分数，同时，根据意图类别对用户历史发言进行归类，并根据相关性分数为每个类别选择前K个与当前对话内容最相关的历史发言。


6.根据权利要求5所述的一种基于异构图...

【专利技术属性】
技术研发人员：郑海涛，王栋，李自然，沈颖，肖喜，江勇，夏树涛，
申请(专利权)人：清华大学深圳国际研究生院，
类型：发明
国别省市：广东;44