一种基于识别情绪的聊天机器人系统及该系统的判断方法技术方案

本发明专利技术涉及电子通信技术领域，具体涉及一种基于识别情绪的聊天机器人系统及该系统的判断方法。本发明专利技术这种基于识别情绪的聊天机器人系统及该系统的判断方法充分运用目前业已成熟的人脸识别技术、心理学常识等，通过不断判断聊天者的真实含义，将视觉表情分析、语音信号处理、表情机器人的动作协调集成融合，以视觉信息作为表情分析的内核，辅助语音语调强度分析的融合方法，充分利用各种方法各自优点，既反应了视觉表情分析的结果，也体现了语音情感的状态，使该方法具有较高的智能性，从而调整聊天内容，使得聊天者获得接近真实的聊天感受，从而极大提高聊天机器人的真实感、准确性。

【技术实现步骤摘要】
一种基于识别情绪的聊天机器人系统及该系统的判断方法
本专利技术涉及电子通信
，具体涉及一种基于识别情绪的聊天机器人系统及该系统的判断方法。
技术介绍
面部表情机器人对于实现人机自然交互，减少人类与机器人之间的情感距离，具有积极的促进意义。国内外学者对此研究方向展开大量的研究工作：具有代表性的表情机器人有美国麻省理工学院人工智能实验室的Kismet、东京理工大学开发的SAYA机器人、美国汉森机器人技术公司的K-bot和“爱因斯坦”、英国赫特福德大学设计的Nao、日本大阪大学研究的ReplieeQ1、ReplieeQ2和GeminoidTMF、国内哈工大研究的H&F系列机器人等。与传统的固定工位、固定工序和固定操作场景的工业机器人不同，面部表情机器人对于交互性、智能性和自主性的要求更高，其研究涉及机械设计、自动控制、计算机智能、心理学及认知科学等多领域知识，具有典型的多学科交叉特征。聊天机器人是一种通过人工智能技术识别文字语意，并合理选择答案，到达于模拟真人聊天目的的机器人。目前，聊天机器人的开发都集中在提高识别对方的语意，选择合理的答案的阶段，相关的研究很多，其还仅限于双方的文字沟通。然而实际上的语言沟通，绝非局限于语言，还包括表情、肢体动作等。相同的语言，配以不同的表情和语气，其可能表达完全相反的含义。比如，某人说“你请我吃饭？”，配以一个不屑一顾的表情，可能表明的是拒绝，而配以惊喜的表情，这显然是接受。聊天机器人的发展趋势应当是综合这些相关内容，到达一个尽可能真实、可信的沟通过程，使得聊天者产生和真人聊天的“错觉”。
技术实现思路
本专利技术的目的在于充分运用目前业已成熟的人脸识别技术、心理学常识等，通过不断判断聊天者的真实含义，从而调整聊天内容，使得聊天者获得接近真实的聊天感受，从而极大提高聊天机器人的真实感、准确性，提供一种基于识别情绪的聊天机器人系统的判断方法，解决以上技术问题；一种基于识别情绪的聊天机器人系统的判断方法，包括以下步骤：步骤A，建立人脸表情数据库，存储人脸在不同表情下的面部特征；步骤B，通过图像采集装置定期收集聊天者的数字图像；步骤C，从数字图像中识别聊天者的五官，统计聊天者面部特征；步骤D，根据聊天者面部特征，从人脸表情数据库中获得和上述位置关系对应的表情，作为聊天者的表情。上述的基于识别情绪的聊天机器人系统的判断方法，步骤A中按以下栏位存储人脸不同表情中的面部特征：人种、性别、年龄。上述的基于识别情绪的聊天机器人系统的判断方法，步骤A中存储人脸以下表情中的面部特征：无表情、快乐、哀伤、焦虑、愤怒、忧愁、厌恶、惊讶、轻蔑。上述的基于识别情绪的聊天机器人系统的判断方法，面部特征包括：眉毛方向、两个眉毛之间的距离、眼睛大小、瞳孔大小、两嘴角角度、嘴巴大小、上下嘴唇形状、鼻孔直径。上述的基于识别情绪的聊天机器人系统的判断方法，步骤C中，还包括从数字图像中识别获取聊天者头部动作、双肩动作和手部动作。上述的基于识别情绪的聊天机器人系统的判断方法，步骤D之前包括：步骤D1，语音接收模块不断侦测声源，侦测是否有语音信号；步骤D2，提取侦测的语音信号中的关键词；步骤D3，将关键词与存储模块中保存的开启词语进行匹配；步骤D4，若匹配成功，则发送唤醒指令，聊天机器人进入开启状态。上述的基于识别情绪的聊天机器人系统的判断方法，还包括以下步骤：步骤E，根据聊天内容获得聊天主题，并以当前聊天者的语言和表情为依据，判断聊天者对当前聊天主题的真实态度；步骤F，根据得到的聊天者对当前聊天主题的真实态度调整聊天的策略：改变聊天主题、修正机器人对聊天主题的观点、调整机器人的语言风格。本专利技术的目的还在于调整聊天内容，使得聊天者获得接近真实的聊天感受，从而极大提高聊天机器人的真实感、准确性，提供一种基于识别情绪的聊天机器人系统，解决以上技术问题。本专利技术所解决的技术问题可以采用以下技术方案来实现：一种基于识别情绪的聊天机器人系统，包括：控制模块，用于接收其他模块发来的信息，并根据需要将收到的信息转给其他模块处理；图像采集模块，与所述控制模块的输入端电连接，用于定期收集聊天者的面部特征，并将面部特征转换为数字图像，存储于数据库中；摄像模块，与控制模块的输入端电连接，用于识别人脸不同表情中的面部特征及聊天者头部动作、双肩动作和手部动作；语音输出模块，与控制模块的输出端电连接，用于播放相应语音；显示模块，与控制模块的输出端电连接，用于根据聊天者面部特征显示相对应的表情。上述的基于识别情绪的聊天机器人系统，还包括：存储模块，与控制模块连接，用于存储聊天机器人开启的开启词；语音接收模块，与存储模块和控制模块连接，用于侦测语音信号；判断模块，与控制模块连接，用于判断侦测得到的关键词与存储模块中的开启词是否匹配。有益效果：由于采用以上技术方案，本专利技术这种基于识别情绪的聊天机器人系统及该系统的判断方法充分运用目前业已成熟的人脸识别技术、心理学常识等，通过不断判断聊天者的真实含义，将视觉表情分析、语音信号处理、表情机器人的动作协调集成融合，以视觉信息作为表情分析的内核，辅助语音语调强度分析的融合方法，充分利用各种方法各自优点，既反应了视觉表情分析的结果，也体现了语音情感的状态，使该方法具有较高的智能性，从而调整聊天内容，使得聊天者获得接近真实的聊天感受，从而极大提高聊天机器人的真实感、准确性。附图说明图1为为本专利技术实施例中的一种基于识别情绪的聊天机器人系统的判断方法的工作流程图；图2为本专利技术实施例中的一种基于识别情绪的聊天机器人系统的结构示意图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本专利技术保护的范围。需要说明的是，在不冲突的情况下，本专利技术中的实施例及实施例中的特征可以相互组合。下面结合附图和具体实施例对本专利技术作进一步说明，但不作为本专利技术的限定。参照图1，一种基于识别情绪的聊天机器人系统的判断方法，包括以下步骤：步骤A，建立人脸表情数据库，存储人脸在不同表情下的面部特征；步骤B，通过图像采集装置定期收集聊天者的数字图像；步骤C，从数字图像中识别聊天者的五官，统计聊天者面部特征；步骤D，根据聊天者面部特征，从人脸表情数据库中获得和上述位置关系对应的表情，作为聊天者的表情。针对不同的应用需求，选择用于表情分析的识别训练样本库。有两种方案可供选择，一种是选择已有的表情库，如考虑到本专利技术针对中国人脸部特征，可选择由日本ART媒体信息科学实验室提供的JAFFE库，该库提供了10名日本年轻女性的7种基本表情，较适于女性操作者表情分析识别。另一种可以根据特定需求，选择指定的操作者在同一操作场景下，作为特定用途的自建表情库。表情库选定后按照表情类别分类存储在指定的目录下，从表情库中已知表情类别的表情图像中提取特征向量。本专利技术中，将表情库中的表情归类成为若干不同类别的表情组，对各个表情组中的表情图像提取特征向量，作为训练样本；以特征向量构成得到表情特征空间，基于表情特征空间对待识别的人脸图像进行识别。语音信息处理分为输入和输本文档来自技高网...

【技术保护点】
一种基于识别情绪的聊天机器人系统的判断方法，其特征在于，包括以下步骤：步骤A，建立人脸表情数据库，存储人脸在不同表情下的面部特征；步骤B，通过图像采集装置定期收集聊天者的数字图像；步骤C，从所述数字图像中识别聊天者的五官，统计聊天者面部特征；步骤D，根据聊天者面部特征，从所述人脸表情数据库中获得和上述位置关系对应的表情，作为聊天者的表情。

【技术特征摘要】
1.一种基于识别情绪的聊天机器人系统的判断方法，其特征在于，包括以下步骤：步骤A，建立人脸表情数据库，存储人脸在不同表情下的面部特征；步骤B，通过图像采集装置定期收集聊天者的数字图像；步骤C，从所述数字图像中识别聊天者的五官，统计聊天者面部特征；步骤D，根据聊天者面部特征，从所述人脸表情数据库中获得和上述位置关系对应的表情，作为聊天者的表情。2.根据权利要求1所述的一种基于识别情绪的聊天机器人系统的判断方法，其特征在于，所述步骤A中按以下栏位存储人脸不同表情中的面部特征：人种、性别、年龄。3.根据权利要求1所述的一种基于识别情绪的聊天机器人系统的判断方法，其特征在于，所述步骤A中存储人脸以下表情中的面部特征：无表情、快乐、哀伤、焦虑、愤怒、忧愁、厌恶、惊讶、轻蔑。4.根据权利要求3所述的一种基于识别情绪的聊天机器人系统的判断方法，其特征在于，所述面部特征包括：眉毛方向、两个眉毛之间的距离、眼睛大小、瞳孔大小、两嘴角角度、嘴巴大小、上下嘴唇形状、鼻孔直径。5.根据权利要求1所述的一种基于识别情绪的聊天机器人系统的判断方法，其特征在于，所述步骤C中，还包括从所述数字图像中识别获取聊天者头部动作、双肩动作和手部动作。6.根据权利要求1所述的一种基于识别情绪的聊天机器人系统的判断方法，其特征在于，所述步骤D之前包括：步骤D1，语音接收模块不断侦测声源，侦测是否有语音信号；步骤D2，提取侦测的语音信号中的关键词；步骤D3，将所述关键词与存储模块中保存的开启词语进行匹配；步骤D4...

【专利技术属性】
技术研发人员：王国亮，
申请(专利权)人：宁波高新区锦众信息科技有限公司，
类型：发明
国别省市：浙江,33