情绪数据的处理方法及装置制造方法及图纸

本发明专利技术公开了一种情绪数据的处理方法及装置。其中，该方法包括：通过智能家居设备中的图像采集装置采集目标对象的面部特征数据；在面部特征数据识别目标对象的情绪的准确率小于或等于预设阈值的情况下，通过智能家居设备的音频采集装置采集目标对象的音频数据；将面部特征数据和音频数据输入识别模型，由识别模型输出目标对象的情绪类型，其中，识别模型为深度学习模型，识别模型由多组训练数据训练而成，每组训练数据包括输入的目标对象的面部特征数据和音频数据，以及目标对象的情绪类型；根据情绪类型控制一个或多个智能家居设备执行对应的目标操作。本发明专利技术解决了相关技术中仅通过音频识别用户情绪，存在准确率较低的技术问题。问题。问题。

【技术实现步骤摘要】
情绪数据的处理方法及装置


[0001]本专利技术涉及情绪识别领域，具体而言，涉及一种情绪数据的处理方法及装置。

技术介绍

[0002]现有的基于用户情绪的智能决策方案，通常是通过用户发出的声音，比如孩子的哭声来进行情绪判断；同时，服务的用户群体大部分是基于孩子，而无法智能识别更多的用户群体(比如成年人)的情绪，并且识别情绪后采取的安抚方式也是基于孩子的需求出发，比如模拟妈妈声音的安抚等。通过声音识别情绪的方式，并不适合大部分成年或老年用户所处的场景；且由于安抚情绪的方式相对单一，大部分情况下并不是用户需要的。
[0003]在现有技术中，用户情绪的识别是通过声音，识别到消极情绪之后，通过语音输出进行安抚。比如，识别到孩子(或成年人)的哭泣，经判断后会通过语音功能设备比如音箱，模拟妈妈或者最喜欢的人的声音进行安抚等等。这种识别方式需要对用户发出的声音进行识别，我们知道，婴幼儿不开心时会放声大哭，而儿童甚至成年人，很少通过声音释放自己的情绪，所以识别方式适用的用户群体有限；同时，利用语音输出模拟声音进行安抚的方式，形式比较单一，后续这种形式对用户很难起到安抚作用。
[0004]现有技术中，通过声音识别分析用户的情绪，并通过输出语音进行安抚用户。如上面所说，一方面这种识别方式依赖用户发出声音，如果用户没有通过发出声音的方式，就无法识别用户的情绪，这就导致了用户群体更多的聚焦在婴幼儿；二是针对识别到的情况，安抚方式过于单一，可能会对用户并不适用或重复使用降低安抚效果。
[0005]针对上述的问题，目前尚未提出有效的解决方案。

技术实现思路

[0006]本专利技术实施例提供了一种情绪数据的处理方法及装置，以至少解决相关技术中仅通过音频识别用户情绪，存在准确率较低的技术问题。
[0007]根据本专利技术实施例的一个方面，提供了一种情绪数据的处理方法，包括：通过智能家居设备中的图像采集装置采集目标对象的面部特征数据；在所述面部特征数据识别目标对象的情绪的准确率小于或等于预设阈值的情况下，通过所述智能家居设备的音频采集装置采集目标对象的音频数据；将所述面部特征数据和所述音频数据输入识别模型，由所述识别模型输出所述目标对象的情绪类型，其中，所述识别模型为深度学习模型，所述识别模型由多组训练数据训练而成，每组训练数据包括输入的目标对象的面部特征数据和音频数据，以及所述目标对象的情绪类型；根据所述情绪类型控制一个或多个智能家居设备执行对应的目标操作。
[0008]可选的，通过智能家居设备中的图像采集装置采集目标对象的面部特征数据包括：通过目标图像采集装置采集所述目标对象的第一面部关键点，其中，所述目标图像采集装置为所述智能家居设备中多个图像采集装置中的已授权一个，多个图像采集装置分别与所述智能家居设备中多个智能家电设备对应；在所述第一面部关键点的数量达到预设数量
的情况下，根据所述第一面部关键点确定所述面部特征数据。
[0009]可选的，通过智能家居设备中的图像采集装置采集目标对象的面部特征数据包括：通过目标图像采集装置采集所述目标对象的第一面部关键点；在所述第一面部关键点的数量未达到预设数量的情况下，从多个图像采集装置中选取其他的图像采集装置进行辅助采集，得到第二面部关键点；将所述第一面关键点和所述第二面部关键点进行组合，得到组合关键点；在所述组合关键点未达到所述预设数量的情况下，继续从多个图像采集装置中选取图像采集装置进行辅助采集，直至所述组合关键点达到所述预设数量，根据所述组合关键点确定所述面部特征数据。
[0010]可选的，还包括：在所述多个图像采集装置全部参与采集，对应的组合关键点仍然未达到所述预设数量的情况下，根据所述组合关键点确定面部特征数据，并确定所述面部特征数据识别所述目标对象的情绪的准确率小于预设阈值。
[0011]可选的，在所述面部特征数据识别目标对象的情绪的准确率小于预设阈值的情况下，通过所述智能家居设备的音频采集装置采集目标对象的音频数据包括：通过目标音频采集装置采集所述目标对象的音频数据，其中，所述目标音频采集装置为所述智能家居设备中多个音频采集装置中的已授权一个，多个音频采集装置分别与所述智能家居设备中多个智能家电设备对应。
[0012]可选的，通过目标音频采集装置采集所述目标对象的音频数据之后，还包括：在所述音频数据的音频参数未达到预设条件的情况下，从多个音频采集装置中选取其他的已授权的图像采集装置进行辅助采集，其中，所述音频参数包括音频音量。
[0013]可选的，根据所述情绪类型控制一个或多个智能家居设备执行对应的目标操作之前，还包括：发送是否执行所述目标操作的请求信息；接收所述目标对象对所述请求信息的响应；在所述响应指示执行所述目标操作的情况下，控制所述目标对象当前操作的智能家电设备执行所述目标操作；在所述响应指示不执行所述目标操作，或者预设时间内没有接收到所述响应的情况下，不执行所述目标操作。
[0014]根据本专利技术实施例的另一方面，还提供了一种情绪数据的处理装置，包括：第一采集模块，用于通过智能家居设备中的图像采集装置采集目标对象的面部特征数据；第二采集模块，用于在所述面部特征数据识别目标对象的情绪的准确率小于或等于预设阈值的情况下，通过所述智能家居设备的音频采集装置采集目标对象的音频数据；识别模块，用于将所述面部特征数据和所述音频数据输入识别模型，由所述识别模型输出所述目标对象的情绪类型，其中，所述识别模型为深度学习模型，所述识别模型由多组训练数据训练而成，每组训练数据包括输入的目标对象的面部特征数据和音频数据，以及所述目标对象的情绪类型；操作模块，用于根据所述情绪类型控制一个或多个智能家居设备执行对应的目标操作。
[0015]根据本专利技术实施例的另一方面，还提供了一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行上述中任意一项所述的情绪数据的处理方法。
[0016]根据本专利技术实施例的另一方面，还提供了一种计算机可读存储介质，所述计算机存储介质包括存储的程序，其中，在所述程序运行时控制所述计算机存储介质所在设备执行上述中任意一项所述的情绪数据的处理方法。
[0017]在本专利技术实施例中，采用通过智能家居设备中的图像采集装置采集目标对象的面部特征数据；在面部特征数据识别目标对象的情绪的准确率小于或等于预设阈值的情况
下，通过智能家居设备的音频采集装置采集目标对象的音频数据；将面部特征数据和音频数据输入识别模型，由识别模型输出目标对象的情绪类型，其中，识别模型为深度学习模型，识别模型由多组训练数据训练而成，每组训练数据包括输入的目标对象的面部特征数据和音频数据，以及目标对象的情绪类型；根据情绪类型控制一个或多个智能家居设备执行对应的目标操作，以缓解目标对象的情绪的方式，达到了结合图像识别和语音识别的方式对情绪进行准确识别的目的，从而实现了提高情绪识别的准确率的技术效果，进而解决了相关技术中仅通过音频识别用户情绪，存在准确率较低的技术问题。
附图说明
[0018]此处所说明的附图用来提本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种情绪数据的处理方法，其特征在于，包括：通过智能家居设备中的图像采集装置采集目标对象的面部特征数据；在所述面部特征数据识别目标对象的情绪的准确率小于或等于预设阈值的情况下，通过所述智能家居设备的音频采集装置采集目标对象的音频数据；将所述面部特征数据和所述音频数据输入识别模型，由所述识别模型输出所述目标对象的情绪类型，其中，所述识别模型为深度学习模型，所述识别模型由多组训练数据训练而成，每组训练数据包括输入的目标对象的面部特征数据和音频数据，以及所述目标对象的情绪类型；根据所述情绪类型控制一个或多个智能家居设备执行对应的目标操作。2.根据权利要求1所述的方法，其特征在于，通过智能家居设备中的图像采集装置采集目标对象的面部特征数据包括：通过目标图像采集装置采集所述目标对象的第一面部关键点，其中，所述目标图像采集装置为所述智能家居设备中多个图像采集装置中的已授权一个，多个图像采集装置分别与所述智能家居设备中多个智能家电设备对应；在所述第一面部关键点的数量达到预设数量的情况下，根据所述第一面部关键点确定所述面部特征数据。3.根据权利要求1所述的方法，其特征在于，通过智能家居设备中的图像采集装置采集目标对象的面部特征数据包括：通过目标图像采集装置采集所述目标对象的第一面部关键点；在所述第一面部关键点的数量未达到预设数量的情况下，从多个图像采集装置中选取其他的图像采集装置进行辅助采集，得到第二面部关键点；将所述第一面关键点和所述第二面部关键点进行组合，得到组合关键点；在所述组合关键点未达到所述预设数量的情况下，继续从多个图像采集装置中选取图像采集装置进行辅助采集，直至所述组合关键点达到所述预设数量，根据所述组合关键点确定所述面部特征数据。4.根据权利要求3所述的方法，其特征在于，还包括：在所述多个图像采集装置全部参与采集，对应的组合关键点仍然未达到所述预设数量的情况下，根据所述组合关键点确定面部特征数据，并确定所述面部特征数据识别所述目标对象的情绪的准确率小于预设阈值。5.根据权利要求1所述的方法，其特征在于，在所述面部特征数据识别目标对象的情绪的准确率小于预设阈值的情况下，通过所述智能家居...

【专利技术属性】
技术研发人员：毛莉，
申请(专利权)人：海尔智家股份有限公司，
类型：发明
国别省市：