一种基于深度神经网络的自动聊天方法和机器人技术

本公开提供了一种基于深度神经网络的自动聊天方法，包括以下步骤：获取用户输入信息，并经深度神经网络编码器生成固定长度向量；所述固定长度向量输入多个attention子模型之后分别输出分数；以及对所述多个attention子模型输出的分数进行比较，选择最高分数所对应的attention子模型作为最终模型，生成与所述输入信息对应的答复信息。本公开还提供了一种基于深度神经网络的自动聊天机器人。本公开基于深度神经网络的自动聊天方法及机器人保证了聊天过程中答复信息的准确性，使得聊天内容更切合实际。

LSTM neural network chip and its usage

The present disclosure provides an automatic chat method based on a depth neural network, comprising the following steps: obtaining user input information and generating a fixed length vector via a depth neural network encoder; outputting fractions respectively after the fixed length vector inputs multiple attentions sub-models; and outputting the multiple attentions sub-models. The final model is the attention sub-model corresponding to the highest score, and the response information corresponding to the input information is generated. The present disclosure also provides an automatic chatting robot based on deep neural network. The automatic chat method and robot based on deep neural network in the disclosure ensure the accuracy of the reply information in the chat process, and make the chat content more realistic.

【技术实现步骤摘要】
LSTM神经网络芯片及其使用方法
本公开涉及人工智能
，尤其涉及一种基于深度神经网络的自动聊天方法及机器人。
技术介绍
近年来，随着人工智能的迅速发展，聊天机器人也受到了学术界和工业界的广泛关注。但是，传统的聊天机器人也存在着面临着很多问题，例如对话无法产生具体的含义，前后文没有承接逻辑，无法满足使用需求。特别是，目前我国正在快速进入老龄化社会。在未来社会，如何养老将会是一个巨大的社会与经济问题。现在的养老模式多采用护理人员陪伴老人聊天的方式，从而达到为老人提供陪伴聊天服务，提供老年人情感上的慰藉。而人工的去和老年人聊天将会占用大量的人力物力，如果将和老年人聊天这一服务使用聊天机器人完成，将会有巨大的经济和社会效益。然而传统的聊天机器人无法很好的满足老年人的情感需要。老年人会发现自己在和机器对话，从而不喜欢这些聊天。
技术实现思路
(一)要解决的技术问题为了解决或者至少部分缓解上述技术问题，本公开提供了一种基于深度神经网络的自动聊天方法及机器人。(二)技术方案根据本公开的一个方面，提供了一种基于深度神经网络的自动聊天方法，包括以下步骤：获取用户输入信息，并经深度神经网络编码器生成固定长度向量；所述固定长度向量输入attention模型之后输出分数；以及根据所述分数判定经由attention模型或自然模型生成与所述输入信息对应的答复信息；其中，若所述分数小于一分数阈值，则进入语言模型，经语言模型生成与所述输入信息对应的答复信息；反之，直接经由attention模型生成与所述输入信息对应的答复信息。在一些实施例中，所述attention模型为包括一或多个神经网络层的深度神经网络，所述固定长度向量输入attention模型之后输出全部可能答复信息所对应的分数，选择最高分数所对应的答复信息作为最终答复信息。在一些实施例中，所述attention模型中包括全连接层和softmax层；所述固定长度向量在attention模型中作向量/矩阵乘法和/或加法运算从而输出所述分数。在一些实施例中，所述attention模型包括多个attention子模型，分别采用不同类别预料训练而成；该多个attention子模型并联连接，固定长度向量分别输入所述多个attention子模型中的神经网络后输出多个分数，若所述多个分数中的最高分数小于一分数阈值，则进入语言模型，经语言模型生成与所述输入信息对应的答复信息；反之，直接经attention模型生成与所述输入信息对应的答复信息。在一些实施例中，所述多个attention子模型包括：第一attention子模型，其包括全连接层神经网络、softmax层神经网络及卷积层神经网络，采用日常生活类别语料进行训练；第二attention子模型，其包括卷积层、全连接层、池化层及batchnorm层神经网络，采用时事新闻类别语料进行训练；第三attention子模型，其包括全连接层神经网络、池化层神经网络、softmax层神经网络及卷积层神经网络，采用心灵情感类别语料进行训练。在一些实施例中，所述attention模型包括多个attention子模型；在经由attention模型生成与所述输入信息对应的答复信息时，对所述多个attention子模型输出的分数进行比较，选择最高分数所对应的attention子模型作为生成答复信息的最终模型。在一些实施例中，利用N-GRAM、WFST生成所述语言模型；在语言模型中，使用A*搜索、束搜索生成与所述输入信息对应的答复信息。在一些实施例中，所述自然模型以文字的形式生成答复信息，语言模型在每一次迭代中产生所有待选文字新的分数，由此迭代完成后会生成一个时间序列上的所有文字的搜索空间，在该搜索空间中根据编码器产生的固定长度向量得到最终唯一的输出结果。根据本公开的另一个方面，提供了一种基于深度神经网络的自动聊天机器人，包括：预处理模块，用于获取用户输入信息，并通过一深度神经网络编码器对所述输入信息进行预处理，生成固定长度向量；处理模块：用于接收所述固定长度向量，并利用attention模型输出分数；以及判定及生成模块，用于根据所述分数判定经由attention模型或自然模型生成与所述输入信息对应的答复信息；其中，若所述分数小于一分数阈值，则进入语言模型，经语言模型生成与所述输入信息对应的答复信息；反之，直接经由attention模型生成与所述输入信息对应的答复信息。在一些实施例中，所述attention模型为包括一或多个神经网络层的深度神经网络，所述固定长度向量输入attention模型之后输出全部可能答复信息所对应的分数，选择最高分数所对应的答复信息作为最终答复信息。根据本公开的另一个方面，提供了一种基于深度神经网络的自动聊天方法，包括以下步骤：获取用户输入信息，并经深度神经网络编码器生成固定长度向量；所述固定长度向量输入多个attention子模型之后分别输出分数；以及对所述多个attention子模型输出的分数进行比较，选择最高分数所对应的attention子模型作为最终模型，生成与所述输入信息对应的答复信息。在一些实施例中，所述多个attention子模型分别采用不同类别预料训练而成。在一些实施例中，所述多个attention子模型并联连接，各所述attention子模型为包括一或多个神经网络层的深度神经网络。在一些实施例中，所述attention子模型中包括全连接层和sofimax层；所述固定长度向量在attention子模型中作向量/矩阵乘法和/或加法运算从而输出所述分数。在一些实施例中，所述固定长度向量输入所述作为最终模型的所述attention子模型之后输出全部可能答复信息所对应的分数，选择全部可能答复信息所对应的分数中的最高分数所对应的答复信息作为最终答复信息。在一些实施例中，所述多个attention子模型包括：第一attention子模型，其包括全连接层神经网络、softmax层神经网络及卷积层神经网络，采用日常生活类别语料进行训练；第二attention子模型，其包括卷积层、全连接层、池化层及batchnorm层神经网络，采用时事新闻类别语料进行训练；第三attention子模型，其包括全连接层神经网络、池化层神经网络、sofimax层神经网络及卷积层神经网络，采用心灵情感类别语料进行训练。在一些实施例中，在对所述多个attention子模型输出的分数进行比较的步骤之后，还包括：在所述最高分数小于一分数阈值时，利用语言模型生成与所述输入信息对应的答复信息。在一些实施例中，利用N-GRAM、WFST生成所述语言模型；在所述语言模型中，使用A*搜索、束搜索生成与所述输入信息对应的答复信息。根据本公开的另一个方面，还提供了一种基于深度神经网络的自动聊天机器人，包括：预处理模块，用于获取用户输入信息，并通过一深度神经网络编码器对所述输入信息进行预处理，生成固定长度向量；处理模块：用于接收所述固定长度向量，并利用多个attention子模型分别输出分数；以及判定及生成模块，用于对所述多个attention子模型输出的分数进行比较，选择最高分数所对应的attention子模型作为最终模型，生成与所述输入信息对应的答复信息。在一些实施例本文档来自技高网...

【技术保护点】
1.一种基于深度神经网络的自动聊天方法，包括以下步骤：获取用户输入信息，并经深度神经网络编码器生成固定长度向量；所述固定长度向量输入多个attention子模型之后分别输出分数；以及对所述多个attention子模型输出的分数进行比较，选择最高分数所对应的attention子模型作为最终模型，生成与所述输入信息对应的答复信息。

【技术特征摘要】
2017.11.30 CN 20171124037361.一种基于深度神经网络的自动聊天方法，包括以下步骤：获取用户输入信息，并经深度神经网络编码器生成固定长度向量；所述固定长度向量输入多个attention子模型之后分别输出分数；以及对所述多个attention子模型输出的分数进行比较，选择最高分数所对应的attention子模型作为最终模型，生成与所述输入信息对应的答复信息。2.根据权利要求1所述的基于深度神经网络的自动聊天方法，其中，所述多个attention子模型分别采用不同类别预料训练而成。3.根据权利要求1所述的基于深度神经网络的自动聊天方法，其中，所述多个attention子模型并联连接，各所述attention子模型为包括一或多个神经网络层的深度神经网络。4.根据权利要求3所述的基于深度神经网络的自动聊天方法，其中，所述attention子模型中包括全连接层和softmax层；所述固定长度向量在attention子模型中作向量/矩阵乘法和/或加法运算从而输出所述分数。5.根据权利要求1所述的基于深度神经网络的自动聊天方法，其中，所述固定长度向量输入所述作为最终模型的所述attention子模型之后输出全部可能答复信息所对应的分数，选择全部可能答复信息所对应的分数中的最高分数所对应的答复信息作为最终答复信息。6.根据权利要求1所述的基于深度神经网络的自动聊天方法，其中，所述多个attention子模型包括：第一at...

【专利技术属性】
技术研发人员：于涌，陈云霁，
申请(专利权)人：中国科学院计算技术研究所，
类型：发明
国别省市：北京,11