用于导讲机器人的语言交流与互动系统及其工作方法技术方案

本发明专利技术公开一种用于导讲机器人的语言交流与互动系统，包括中央处理器单元和与中央处理器单元相连接的输入装置、输出装置、存储器；该系统工作方法的步骤是：S1、语音拾音器、摄像头采集声音和人脸信息；S2、进入用户模式或游客模式；S3、机器人引导式询问，并以LED灯作为提示输入；S4、语音识别并经数据库相似度匹配后输出；S5、中央处理单元各个模块处理输出信息，并发出指令；S6、扬声器输出声音、机器人运动或控制协调工作。本发明专利技术的用于导讲机器人的语言交流与互动系统，达到了友好的人机交互效果，基于博物馆的导讲任务，所述的语音交互系统完全可以胜任，并且操作方便，从长期使用情况来看，节省了高昂的人工费用的支出。

Language communication and interaction system for guiding robot and working method thereof

The invention discloses a guide for language exchange and interaction system of the robot, input device, output device, memory connected comprises a central processor unit and unit and a central processor; a work method of the system comprises the following steps: S1, voice pickup, camera collecting voice and face information; S2, enter the user mode or visitors model; S3, robot guided inquiry, and the LED lamp as input; S4, speech recognition and database similarity matching output; S5, central processing unit processing modules output information, a concurrent instruction; S6, speakers, or robot motion coordination control. The invention is used to guide language communication and interaction system of the robot, to achieve a friendly man-machine interaction effect, the museum guide based on interactive voice speaking tasks, the system can be fully competent, and convenient operation, from long-term use, saves the labor cost high spending.

【技术实现步骤摘要】
用于导讲机器人的语言交流与互动系统及其工作方法
本专利技术涉及机器人
，具体地说涉及一种用于导讲机器人的语言交流与互动系统及其工作方法。
技术介绍
导讲机器人是用于引导和讲解的机器人，随着社会的进步和生活水平的提高，导讲机器人已经用于人们生活的各个方面，为人们提供了极大的方便；但目前的导讲机器人仍然存在着多种缺陷如：1、人机交互能力差；2、功能单一，大多仅停留在按钮、手柄控制；3、没有用户身份辨别或者容易误辨别，安全性不高；4、只要有声音就可以识别，机器人说个不停；5语音对话没有提示等。
技术实现思路
本专利技术的目的在于针对上述现有技术的缺陷，提供一种用于导讲机器人的语言交流与互动系统及其工作方法。采用声纹特征和面部特征双重门限精确确认用户身份；有用户模式和游客模式两种模式，人机交互能力强，可以中英文交互，各个场景交互，情感分析，语音控制，LED指示灯提示；可以引导式问答，具备不同数据库，包括场景数据库：历史文化、俏皮话、歌曲、算术；情感内容数据库：高兴、生气、中性、悲伤、害怕；运动控制数据库：前进、后退、左转、右转、再转一点、快一点、再快一点、慢一点、再慢一点、停止；日常对话数据库。达到了友好的人机交互效果，基于博物馆的导讲任务，所述的语音交互系统完全可以胜任，并且操作方便。为实现上述目的，本专利技术所采取的技术方案是：一种用于导讲机器人的语言交流与互动系统，包括中央处理器单元和与中央处理器单元相连接的输入装置、输出装置、存储器；所述输入装置包括声音采集器和人脸采集器，所述中央处理器单元包括处理器、与处理器相连接的身份鉴别模块、中英文语音识别模块、语音情感分析模块、语音控制模块、语音导讲模块，所述输出装置包括扬声器和信号灯，所述存储器包括数据库；所述人脸采集器、声音采集器与处理器相连接，分别用于采集用户的声音信息和人脸信息，识别客户的身份；所述中英文语音识别模块与处理器相连接，采集和鉴别客户的中英文语音信息；所述身份鉴别模块、中英文语音识别模块、语音情感分析模块、语音控制模块、语音导讲模块接受并处理声音信息、人脸信息、中英文语音信息，对输入装置采集的声音信息和人脸信息进行分析处理、语音情感分析并将这种信息输入到存储器中，保存在数据库中；所述输出装置接收指令，以音频或者电信号的方式输出。作为对上述技术方案的改进，所述声音采集器为声音拾音器，所述人脸采集器为摄像头；所述信号灯为LED灯。作为对上述技术方案的改进，所述数据库预先存储用户的身份信息，包含用户的声纹特征和面部特征。作为对上述技术方案的改进，所述数据库加载中文和英文两种语言；加载不同场景的讲解内容，包含博物馆历史文化、俏皮话、歌曲、算术；加载情感内容；加载运动控制内容，包含前进、后退、左转、右转、再转一点、快一点、再快一点、慢一点、再慢一点、停止；加载日常对话内容。作为对上述技术方案的改进，所述输入装置包括用户模式和游客模式；在所述用户模式下，输入装置进行身份确认和交互；在所述游客模式下，所述输入装置对游客的人脸进行交互；根据用户面部特征和声纹特征信息和数据库中的用户身份根据用户面部特征和声纹特征信息和数据库中的用户身份信息进行匹配，匹配度作为机器人是否做出响应的条件。作为对上述技术方案的改进，本专利技术并提供了该用于导讲机器人的语言交流与互动系统的工作方法，该工作方法的步骤是：S1、语音拾音器、摄像头采集声音和人脸信息；S2、进入用户模式或游客模式；S3、机器人引导式询问，并以LED灯作为提示输入；S4、语音识别并经数据库相似度匹配后输出；S5、中央处理单元各个模块处理输出信息，并发出指令；S6、扬声器输出声音、机器人运动或控制协调工作。与现有技术相比，本专利技术具有的优点和积极效果是：本专利技术的用于导讲机器人的语言交流与互动系统，达到了友好的人机交互效果，基于博物馆的导讲任务，所述的语音交互系统完全可以胜任，并且操作方便，从长期使用情况来看，节省了高昂的人工费用的支出。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术的工作流程图；图2为本专利技术的数据库组成框图；图3为本专利技术的中央处理单元的组成结构框图；图4为本专利技术的结构框图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，所作的任何修改、等同替换、改进等，均应包含在本专利技术的保护范围之内。如图1、2、3和4所示，本专利技术的一种用于导讲机器人的语言交流与互动系统，包括中央处理器单元和与中央处理器单元相连接的输入装置、输出装置、存储器；所述输入装置包括声音采集器和人脸采集器，所述中央处理器单元包括处理器、与处理器相连接的身份鉴别模块、中英文语音识别模块、语音情感分析模块、语音控制模块、语音导讲模块，所述输出装置包括扬声器和信号灯，所述存储器包括数据库；所述人脸采集器、声音采集器与处理器相连接，分别用于采集用户的声音信息和人脸信息，识别客户的身份；所述中英文语音识别模块与处理器相连接，采集和鉴别客户的中英文语音信息；所述身份鉴别模块、中英文语音识别模块、语音情感分析模块、语音控制模块、语音导讲模块接受并处理声音信息、人脸信息、中英文语音信息，对输入装置采集的声音信息和人脸信息进行分析处理、语音情感分析并将这种信息输入到存储器中，保存在数据库中；所述输出装置接收指令，以音频或者电信号的方式输出。作为对上述技术方案的改进，所述声音采集器为声音拾音器，所述人脸采集器为摄像头；所述信号灯为LED灯。作为对上述技术方案的改进，所述数据库预先存储用户的身份信息，包含用户的声纹特征和面部特征。作为对上述技术方案的改进，所述数据库加载中文和英文两种语言；加载不同场景的讲解内容，包含博物馆历史文化、俏皮话、歌曲、算术；加载情感内容；加载运动控制内容，包含前进、后退、左转、右转、再转一点、快一点、再快一点、慢一点、再慢一点、停止；加载日常对话内容。作为对上述技术方案的改进，所述输入装置包括用户模式和游客模式；在所述用户模式下，输入装置进行身份确认和交互；在所述游客模式下，所述输入装置对游客的人脸进行交互；根据用户面部特征和声纹特征信息和数据库中的用户身份根据用户面部特征和声纹特征信息和数据库中的用户身份信息进行匹配，匹配度作为机器人是否做出响应的条件。作为对上述技术方案的改进，本专利技术并提供了该用于导讲机器人的语言交流与互动系统的工作方法，该工作方法的步骤是：S1、语音拾音器、摄像头采集声音和人脸信息；S2、进入用户模式或游客模式；S3、机器人引导式询问，并以LED灯作为提示输入；S4、语音识别并经数据库相似度匹配后输出；S5、中央处理单元各个模块处理输出信息，并发出指令；S6、扬声器输出声音、机器人运动或控制协调工作。与现有技术相比，本专利技术具有的优点和积极效果是：本专利技术的用于导讲机器人的语言交流与互动系统本文档来自技高网...

【技术保护点】
一种用于导讲机器人的语言交流与互动系统，其特征在于：包括中央处理器单元和与中央处理器单元相连接的输入装置、输出装置、存储器；所述输入装置包括声音采集器和人脸采集器，所述中央处理器单元包括处理器、与处理器相连接的身份鉴别模块、中英文语音识别模块、语音情感分析模块、语音控制模块、语音导讲模块，所述输出装置包括扬声器和信号灯，所述存储器包括数据库；所述人脸采集器、声音采集器与处理器相连接，分别用于采集用户的声音信息和人脸信息，识别客户的身份；所述中英文语音识别模块与处理器相连接，采集和鉴别客户的中英文语音信息；所述身份鉴别模块、中英文语音识别模块、语音情感分析模块、语音控制模块、语音导讲模块接受并处理声音信息、人脸信息、中英文语音信息，对输入装置采集的声音信息和人脸信息进行分析处理、语音情感分析并将这种信息输入到存储器中，保存在数据库中；所述输出装置接收指令，以音频或者电信号的方式输出。

【技术特征摘要】
1.一种用于导讲机器人的语言交流与互动系统，其特征在于：包括中央处理器单元和与中央处理器单元相连接的输入装置、输出装置、存储器；所述输入装置包括声音采集器和人脸采集器，所述中央处理器单元包括处理器、与处理器相连接的身份鉴别模块、中英文语音识别模块、语音情感分析模块、语音控制模块、语音导讲模块，所述输出装置包括扬声器和信号灯，所述存储器包括数据库；所述人脸采集器、声音采集器与处理器相连接，分别用于采集用户的声音信息和人脸信息，识别客户的身份；所述中英文语音识别模块与处理器相连接，采集和鉴别客户的中英文语音信息；所述身份鉴别模块、中英文语音识别模块、语音情感分析模块、语音控制模块、语音导讲模块接受并处理声音信息、人脸信息、中英文语音信息，对输入装置采集的声音信息和人脸信息进行分析处理、语音情感分析并将这种信息输入到存储器中，保存在数据库中；所述输出装置接收指令，以音频或者电信号的方式输出。2.根据权利要求1所述的用于导讲机器人的语言交流与互动系统，其特征在于：所述声音采集器为声音拾音器，所述人脸采集器为摄像头；所述信号灯为LED灯。3.根据权利要求1所述的用于导讲机器人的语言交流与互动系统，其特征在于：所述数据库预先存储用户的身份信息，包含用...

【专利技术属性】
技术研发人员：谢明，陈闯，陈海，
申请(专利权)人：山东南工机器人科技有限公司，
类型：发明
国别省市：山东,37