基于多模态识别的智能家居控制方法、系统和存储介质技术方案

本发明专利技术公开了基于多模态识别的智能家居控制方法，包括如下步骤：获取家庭场景中的日常家庭信息集，根据所述日常家庭信息集构建神经网络模型；本发明专利技术的有益效果在于通过神经网络模型对实时家庭信息进行适应性预测，可以获知家庭场景中的最优预测结果，通过智能家居控制策略编写成推理脚本对最优预测结果和实时环境信息进行推理，获得推理结果，根据所述推理结果对智能家居设备进行控制。从而获得准确率高的智能家居设备控制信息，实现自动控制智能家居设备之间相互协同配合发挥功能，提高用户与智能家居设备的人机交互体验。户与智能家居设备的人机交互体验。户与智能家居设备的人机交互体验。

【技术实现步骤摘要】
基于多模态识别的智能家居控制方法、系统和存储介质


[0001]本专利技术涉及智能家居控制领域，具体为基于多模态识别的智能家居控制方法、系统和存储介质。

技术介绍

[0002]随着5G物联网时代的到来，嵌入式设备在人们的日常家居生活中得到广泛的应用。为了满足人们美好生活的需求，经济发展和科技进步使得人们的消费观念和生活理念发生改变。为此，智能家居中人机交互体验技术提高为用户带来高质量的生活体验。
[0003]从目前家庭场景中，智能家居人机交互主要依靠遥控器或者手机进行红外遥控，通过按键或触摸进行操作；还有利用语音、视觉控制智能家居设备，实现非接触式控制。然而，上述的控制方式都存在局限性：智能家居设备控制信息来源单一、准确率不高等问题，无法为用户提供更舒适便利的家居体验。

技术实现思路

[0004]为了克服上述
技术介绍
中智能家居设备控制信息存在来源单一和准确率不高等问题，无法为用户提供更舒适便利的家居体验的缺点，本专利技术的目的在于提供一种基于多模态识别的智能家居控制方法。
[0005]为了达到以上目的，本专利技术采用如下的技术方案：
[0006]本专利技术的第一方面，提供一种基于多模态识别的智能家居控制方法，包括如下步骤：
[0007]获取家庭场景中的日常家庭信息集，根据所述日常家庭信息集构建神经网络模型；
[0008]获取家庭场景中的实时家庭信息，将所述实时家庭信息输入所述神经网络模型中进行预测，获得预测结果；
[0009]根据用户习惯构建智能家居控制策略，将所述智能家居控制策略编写成推理脚本；
[0010]获取家庭场景中的实时环境信息，通过推理脚本对所述预测结果和实时环境信息进行多模态融合识别，获得推理结果，根据所述推理结果对智能家居设备进行控制。
[0011]在一些可能的实施方式中，所述家庭信息包括图像信息和音频信息，根据所述图像信息集训练YOLO目标检测神经网络模型；根据所述音频信息集训练DNN深度神经网络声学模型。
[0012]在一些可能的实施方式中，所述环境信息包括温度、坐标、湿度和光照强度。
[0013]在一些可能的实施方式中，所述推理脚本为Prolog语言脚本。
[0014]本专利技术的第二方面，提供一种基于多模态识别的智能家居控制系统，包括
[0015]模型训练模块：获取家庭场景中的日常家庭信息集，根据所述日常家庭信息集构建神经网络模型；
[0016]模型预测模块：获取家庭场景中的实时家庭信息，将所述实时家庭信息输入所述神经网络模型中进行预测，获得预测结果；
[0017]脚本编写模块：根据用户习惯构建智能家居控制策略，将所述智能家居控制策略编写成推理脚本；
[0018]推理控制模块：获取家庭场景中的实时环境信息，通过推理脚本对所述预测结果和实时环境信息进行多模态融合识别，获得推理结果，根据所述推理结果对智能家居设备进行控制。
[0019]在一些可能的实施方式中，所述家庭信息包括图像信息和音频信息，根据所述图像信息集训练YOLO目标检测神经网络模型；根据所述音频信息集训练DNN深度神经网络声学模型。
[0020]在一些可能的实施方式中，所述环境信息包括温度、坐标、湿度和光照强度。
[0021]在一些可能的实施方式中，所述推理脚本为Prolog语言脚本。
[0022]本专利技术的第三方面，提供一种计算机存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述的基于多模态识别的智能家居控制方法的步骤。
[0023]本专利技术的有益效果在于：
[0024]本专利技术提供的一种基于多模态识别的智能家居控制方法，通过神经网络模型对实时家庭信息进行适应性预测，可以获知家庭场景中的最优预测结果，通过智能家居控制策略编写成推理脚本对最优预测结果和实时环境信息进行推理，从而获得准确率高的智能家居设备控制信息，实现自动控制智能家居设备之间相互协同配合发挥功能，提高用户与智能家居设备的人机交互体验。
附图说明
[0025]图1为本专利技术实施例基于多模态识别的智能家居控制方法的整体步骤流程图；
[0026]图2为本专利技术实施例的硬件结构示意图；
[0027]图3为本专利技术实施例的基于多模态识别的智能家居控制系统结构示意图。
具体实施方式
[0028]下面结合附图对本专利技术的较佳实施例进行详细阐述，以使本专利技术的优点和特征能更易于被本领域技术人员理解，从而对本专利技术的保护范围做出更为清楚明确的界定。
[0029]技术问题：从目前家庭场景中，智能家居人机交互主要依靠遥控器或者手机进行红外遥控，通过按键或触摸进行操作；还有利用语音、视觉控制智能家居设备，实现非接触式控制。然而，上述的控制方式都存在局限性：智能家居设备控制信息来源单一、准确率不高等问题，无法为用户提供更舒适便利的家居体验。
[0030]为了解决上述问题，我们利用多模态信息融合方式实现家庭内智能家居设备自动化控制，使其具备AI语音、视觉识别等功能。本专利技术提供实施例1，本实施例1提供一种基于多模态识别的智能家居控制方法，具体包括如下步骤：
[0031]S1:获取家庭场景中的日常家庭信息集，根据所述日常家庭信息集构建神经网络模型。其中，所述家庭信息包括图像信息和音频信息(包括视频或照片和录音等)等。S1具体
如下：通过机器人获取家庭场景中的日常图像信息集和日常音频信息集，其中，所述机器人用于实现家庭场景内图像信息采集和音频信息采集等功能。
[0032]根据日常图像信息集构建YOLO目标检测神经网络模型，YOLO目标检测神经网络模型主要分为三个模块：主干特征提网络(Backbone)模块，用于对输入的图像信息特征提取；加强特征网络(Neck)模块，实现对不同尺度特征图融合提取特征；预测网络(Head)模块,预测目标锚框位置。通过设置不同卷积层、池化层、激活函数等搭建YOLO目标检测模型，利用图像数据不断的迭代训练模型，最终获得用于家庭的YOLO目标检测神经网络模型。
[0033]根据日常音频信息集训练DNN深度神经网络声学模型，DNN深度神经网络声学模型是有多层隐层的多层感知机，结构包括输入层、隐层和输出层。利用采集到的音频信息进行训练模型，同时可进行加噪训练，使得DNN模型在复杂环境下识别性能提高，最终获得用于家庭的DNN深度神经网络声学模型。
[0034]将YOLO目标检测神经网络模型和DNN深度神经网络声学模型部署在家庭信息箱中，机器人和家庭信息箱通讯连接。
[0035]S2:获取家庭场景中的实时家庭信息，将所述实时家庭信息输入所述神经网络模型中进行预测，获得预测结果。S2具体如下：上述机器人在客厅巡视，将t时刻采集到的图像信息和音频信息分别发送到YOLO目标检测神经网络模型中和DNN深度神经网络声学模型中进行预测。预测过程具体如下：例如，例如某天下午16时，识别目标为用户和沙发，当用户的坐标未发生变化，用户的中心坐标为(本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于多模态识别的智能家居控制方法，其特征在于，包括如下步骤：获取家庭场景中的日常家庭信息集，根据所述日常家庭信息集构建神经网络模型；获取家庭场景中的实时家庭信息，将所述实时家庭信息输入所述神经网络模型中进行预测，获得预测结果；根据用户习惯构建智能家居控制策略，将所述智能家居控制策略编写成推理脚本；获取家庭场景中的实时环境信息，通过推理脚本对所述预测结果和实时环境信息进行多模态融合识别，获得推理结果，根据所述推理结果对智能家居设备进行控制。2.根据权利要求1所述的基于多模态识别的智能家居控制方法，其特征在于，所述家庭信息包括图像信息和音频信息，根据所述图像信息集训练YOLO目标检测神经网络模型；根据所述音频信息集训练DNN深度神经网络声学模型。3.根据权利要求1所述的基于多模态识别的智能家居控制方法，其特征在于，所述环境信息包括温度、坐标、湿度和光照强度。4.根据权利要求1所述的基于多模态识别的智能家居控制方法，其特征在于，所述推理脚本为Prolog语言脚本。5.基于多模态识别的智能家居控制系统，其特征在于，包括模型训练模块：获取家庭场景中的日常家庭信息集，根据所述日常家庭信息集构建神经网...

【专利技术属性】
技术研发人员：王斌，王英超，杨杰，王西志，
申请(专利权)人：苏州蓝赫朋勃智能科技有限公司，
类型：发明
国别省市：