一种基于自然语言的机器人深度交互与推理方法与装置制造方法及图纸

本发明专利技术公开了一种基于自然语言的机器人深度交互与推理方法与装置，该方法包括以下步骤：1）语音识别：接收用户语音输入，对输入信号进行处理，得到文本信息；2）获取案例属性：将步骤1）中获取的文本进行分词处理，然后将分词后的文本与案例库中的案例进行相似度匹配提取案例的属性；3）深度对话与三维情景交互：如果根据步骤2）提取案例的属性获得的用户意图不完整，则结合Kinect传感器获取的实时地图文件对用户进行多次引导，直至获取完整意图，然后针对用户完整意图的作业任务生成解决方案；语音合成：将得到的解决方案以文本的形式表示出来，合成语音通过音响设备反馈给用户。本发明专利技术交互过程中机器人与用户均使用自然语言。

【技术实现步骤摘要】

本专利技术涉及人工智能技术，尤其涉及一种基于自然语言的机器人深度交互与推理方法与装置。
技术介绍
近年来，随着智能机器人的快速发展，人们期望通过对话的方式让机器人在复杂环境中完成各种作业任务。用自然语言与机器进行通信，这是人们长期以来所追求的：人们可以用自己最习惯的语言来使操作机器人，而无需再花大量的时间和精力去学习各种复杂的计算机语言。在这个过程中，就需要智能机器人系统理解自然语言，了解用户期望，并且具有一种推理机制对实时问题进行推理、求解和学习。目前的研究成果中，具有代表性的推理机制有基于规则推理(Rule-Based Reasoning,RBR)、过程推理(Procedural Reasoning System,PRS)以及基于实例推理(case-based reasoning，CBR)。其中，基于规则推理为核心的推理机制在某些领域内难以获取推理规则而没有被广泛使用；基于过程推理机制缩短了推理时间，但也存在一些不足，如规划库的限定，无法对新生成的规划进行学习和存储等；基于实例推理的机制通过访问事例库中的源事例从而获得当前事例的解决方案，具有一定的学习能力，也具有较高的实用性。但是基于实例推理的推理机制不具有分析能力，无法分析用户不明确的用途并反馈引导，不具有自主性。在此背景下，本方法引入BDI(belief-desire-intention)模型，BDI是一种行为认知架构，其本质是为了解决如何确定智能体的目标和智能体如何实现目标，将基于实例的推理机制与BDI模型结合，既可以增加推理系统的自主性，也解决了BDI模型不具有学习能力的缺点。同时，还引入深度对话与三维情景推理过程，将推理与实际场景结合起来，提高了机器人的智能性。
技术实现思路
本专利技术要解决的技术问题在于针对现有技术中的缺陷，提供一种基于自然语言的机器人深度交互与推理方法与装置，通过自然语言实现用户与机器人的深度交互与推理，提高机器人的智能性与自主性。本专利技术解决其技术问题所采用的技术方案是：一种基于自然语言的机器人深度交互与推理方法，包括以下步骤：1)语音识别：接收用户语音输入，对输入信号进行处理，得到文本信息；2)获取案例属性：将步骤1)中获取的文本进行分词处理，然后将分词后的文本与案例库中的案例进行匹配提取当前案例的属性；所述案例库用于存储根据实际场景预先设计的案例，每一个案例有包括以下基本属性值，包括：案例的属性集合和案例的解决方案；3)深度对话与三维情景交互：如果根据步骤2)提取当前案例的属性获得的用户意图不完整，则结合Kinect传感器获取的实时地图信息对用户进行多次引导，直至获取完整意图，然后针对用户完整意图的作业任务生成解决方案；语音合成：推理机将得到的解决方案以文本的形式表示出来，机器以语音的方式发送给用户，采用TTS技术合成语音通过音响设备反馈给用户。按上述方案，所述步骤1)语音识别过程具体包括如下步骤：1.1)预处理：通过麦克风阵列采集用户语音信息，对输入的原始语音信号进行处理，滤除掉其中的不重要的信息以及背景噪声，并进行语音信号的端点检测、语音分帧以及预加重处理；1.2)特征提取：提取出反映语音信号特征的关键特征参数形成特征矢量序列；1.3)采用隐马尔科夫模型(HMM)进行声学模型建模，在识别的过程中将待识别的语音与声学模型进行匹配，从而获取识别结果；1.4)对训练文本数据库进行语法、语义分析，经过基于统计模型训练得到N-Gram语言模型，从而提高识别率，减少搜索范围。1.5)针对输入的语音信号，根据己经训练好的HMM声学模型、语言模型及字典建立一个识别网络，根据搜索算法在该网络中寻找最佳的一条路径，这个路径就是能够以最大概率输出该语音信号的词串，从而确定这个语音样本所包含的文字。按上述方案，所述步骤2)中提取当前案例的属性是将分词后的文本与案例库中的案例进行基于向量空间模型的文本相似度匹配提取当前案例的属性。按上述方案，所述步骤2)中案例库的建立采用如下步骤：根据需求设计对话主题，根据对话主题来设计主题树，主题树分为主题节点，必要属性节点和叶节点，它们之间的关系为叶节点从属与必要属性节点，必要属性节点从属于主题节点，每一个结点都有一个二值的有效状态符，其中叶节点之间为或的关系，必要属性节点之间为与的关系；根据主题树的节点来写对话生成函数，这些对话生成函数的集合构成引导库；在不同的系统状态下，调用该函数会得到不同的应答输出，每个对话生成函数都只负责它所对应结点的应答，在设计和修改时互不影响。按上述方案，所述步骤2)中获取案例属性过程具体包括如下步骤：2.1)对步骤1)中获得的文本进行分词处理，即将文本分割成单个词组；2.2)将分词后的文本与案例库中的案例进行匹配，由于每个案例包含任务的属性集合，当检索到最相似案例时，将提取案例对应的任务属性；按上述方案，所述步骤3)深度对话与三维情景交互过程具体包括如下步骤：3.1)当推理机接收到语音信息输入时，机器人根据Kinect传感器获取的地图信息判断用户输入语音，若与当前地图信息不相关，则机器人会进行用户引导；若用户输入与当前地图信息相关，则机器人会将用户输入与案例库中的案例进行匹配，若存在相似案例，则将用户输入信息与Kinect传感器获取的地图信息进行匹配，判断是否能够满足用户期望并反馈给用户；3.2)通过案例检索和地图匹配之后，推理机就得到了相应任务属性和匹配度，接下来对这些信息进行分析从而得到用户期望，如果计算得到用户期望是完整的则不需要进行进一步引导，转入步骤3.4)，如果期望不完整，则需要进行进一步用户引导，转入步骤3.3)；3.3)用XML文件构建一个引导案例库，所述引导库包含了用户期望不完整时针对缺少属性对用户做出的引导方案；将用户期望的每个属性与引导库案例的属性一一比较，相同为1，不同为0，得到的值相加，值最大的为最佳案例，取该引导案例作为引导方案引导用户；直至获取完整的用户期望；3.4)调用案例库中该完整期望对应的解决方案并与实时三维环境信息匹配后重用，生成一连串可执行动作序列(Intention)，从而实现指定的作业任务。一种基于自然语言的机器人深度交互与推理装置，包括：点云采集模块，用于将Kinect采集到的地图深度信息和颜色信息经过融合处理后生成三维点云数据(PCD)，经过预处理、关键点提取、描述子提取，再通过物体特征数据库进行特征匹配得到三维场景语义地图描述文件；语音识别模块，用于对麦克风阵列采集的用户输入的语音信号进行降噪处理，并采用MFCC算法进行特征提取，然后结合HMM声学模型和N-gram语言模型，通过语音解码搜索算法将语音信号转化为文本。深度对话与三维情景交互模块，用于将接收到的文本与案例库中的案例进行检索寻找最相似的案例，结合物体识别节点得到的地图文件进行地图匹配、期望分析和引导，从而完善用户的期望生成解决方案，同时对用户的答复和引导信息以文本的形式发送给语音合成节点；语音合成模块，使用TTS技术将人机交互时得到的文本通过文本分析、韵律建模和语音合成三个步骤生成相应的语音信号反馈给用户；案例库，用XML文件构建的用于存储现实中经验的知识库，借鉴人类的经验记忆模式，根据实际场景设计案例，每个案例包含以下基本属性值：属性集合和案例的解本文档来自技高网...

【技术保护点】
一种基于自然语言的机器人深度交互与推理方法，其特征在于，包括以下步骤：1)语音识别：接收用户语音输入，对输入信号进行处理，得到文本信息；2)获取案例属性：将步骤1)中获取的文本进行分词处理，然后将分词后的文本与案例库中的案例进行基于向量空间模型的文本相似度匹配提取案例的属性；所述案例库用于存储根据实际场景预先设计的案例，每一个案例有三个基本属性值，包括：案例的最初属性集合，案例的解决方案，经过和环境交互与推理后产生的最终属性集合；3)深度对话与三维情景交互：如果根据步骤2)提取案例的属性获得的用户意图不完整，则结合Kinect传感器获取的实时地图文件对用户进行多次引导，直至获取完整意图，然后针对用户完整意图的作业任务生成解决方案；语音合成：推理机将得到的解决方案以文本的形式表示出来，以语音的方式发送给用户。

【技术特征摘要】
1.一种基于自然语言的机器人深度交互与推理方法，其特征在于，包括以下步骤：1)语音识别：接收用户语音输入，对输入信号进行处理，得到文本信息；2)获取案例属性：将步骤1)中获取的文本进行分词处理，然后将分词后的文本与案例库中的案例进行基于向量空间模型的文本相似度匹配提取案例的属性；所述案例库用于存储根据实际场景预先设计的案例，每一个案例有三个基本属性值，包括：案例的最初属性集合，案例的解决方案，经过和环境交互与推理后产生的最终属性集合；3)深度对话与三维情景交互：如果根据步骤2)提取案例的属性获得的用户意图不完整，则结合Kinect传感器获取的实时地图文件对用户进行多次引导，直至获取完整意图，然后针对用户完整意图的作业任务生成解决方案；语音合成：推理机将得到的解决方案以文本的形式表示出来，以语音的方式发送给用户。2.根据权利要求1所述的基于自然语言的机器人深度交互与推理方法，其特征在于，所述步骤1)语音识别过程具体包括如下步骤：1.1)预处理：通过麦克风阵列采集用户语音信息，对输入的原始语音信号进行处理，滤除掉其中的不重要的信息以及背景噪声，并进行语音信号的端点检测、语音分帧以及预加重处理；1.2)特征提取：提取出反映语音信号特征的关键特征参数形成特征矢量序列；1.3)采用隐马尔科夫模型进行声学模型建模，在识别的过程中将待识别的语音与声学模型进行匹配，从而获取识别结果；1.4)对训练文本数据库进行语法、语义分析，经过基于统计模型训练得到N-Gram语言模型，从而提高识别率，减少搜索范围。1.5)针对输入的语音信号，根据己经训练好的HMM声学模型、语言模型及字典建立一个识别网络，根据搜索算法在该网络中寻找最佳的一条路径，这个路径就是能够以最大概率输出该语音信号的词串，从而确定这个语音样本所包含的文字。3.根据权利要求1所述的基于自然语言的机器人深度交互与推理方法，其特征在于，所述步骤2)中案例库的建立采用如下步骤：根据需求设计对话主题，根据对话主题来设计主题树，主题树分为主题节点，必要属性节点和叶节点，每一个结点都有一个二值的有效状态符；根据主题树的节点来写对话生成函数，这些对话生成函数的集合构成引导库；在不同的系统状态下，调用该函数会得到不同的应答输出，每个对话生成函数都只负责它所对应结点的应答，在设计和修改时互不影响。4.根据权利要求1所述的基于自然语言的机器人深度交互与推理方法，其特征在于，所述步骤2)中获取案例属性过程具体包括如下步骤：2.1)对步骤1)中获得的文本进行分词处理，即将文本分割成单个词组；2.2)...

【专利技术属性】
技术研发人员：闵华松，李潇，齐诗萌，林云汉，周昊天，
申请(专利权)人：武汉科技大学，
类型：发明
国别省市：湖北;42