【技术实现步骤摘要】
本申请涉及行智能机器人控制领域，且更为具体地，涉及一种基于视觉听觉融合的智能控制方法、系统和电子设备。
技术介绍
1、随着科学技术的不断进步，机器人被广泛地应用于各个领域。例如，在工业生产中，控制机器人可以协助人类工作，提高生产效率和安全性。机器人可以识别和定位物体，并根据指令执行相应的动作，如搬运物品、装配零部件等。另外，机器人还可以感知环境中的声音信号，如异常噪音或故障警报，并及时采取措施。也就是，控制机器人可以与人类工作人员进行协同操作和交互。在工业生产中，机器人可以与人类工作人员共同完成任务，如共同搬运重物、协同装配零部件或进行复杂的操作。
2、但是，传统的单一模态控制方法可能导致机器人对人类指令的误解或误操作。单一模态的信息可能存在歧义或不足以准确传达用户的意图。例如，语音指令可能受到噪音干扰或语音识别错误，导致机器人执行错误的动作或无法正确响应用户的需求。
3、因此，期待一种基于视觉听觉融合的智能控制方法、系统和电子设备，基于工作人员的指令动作和语音命令，控制机器人进行相应的指令操作，从而实现机器人与工作人员的协同操作和交互。
技术实现思路
1、为了解决上述技术问题，提出了本申请。本申请的实施例提供了一种基于视觉听觉融合的智能控制方法、系统和电子设备，将待监测工作人员在工作过程中的监控视频以及待监测工作人员在工作过程中的语音信号作为输入数据，通过深度学习技术中的卷积神经网络模型分别对二者进行卷积编码之后得到工作人员动作变化特征向量和工作人员语音特
2、根据本申请的第一方面，提供了一种基于视觉听觉融合的智能控制方法，其包括：
3、采集待监测工作人员在工作过程中的监控视频以及待监测工作人员在工作过程中的语音信号；
4、分别获取所述待监测工作人员在工作过程中的监控视频的特征信息以及所述待监测工作人员在工作过程中的语音信号的特征信息以得到工作人员动作变化特征向量和工作人员语音特征向量；
5、基于所述工作人员动作变化特征向量和所述工作人员语音特征向量，以得到分类结果。
6、根据本申请的第二方面，提供了一种基于视觉听觉融合的智能控制系统，其包括：
7、工作人员数据采集模块，用于采集待监测工作人员在工作过程中的监控视频以及待监测工作人员在工作过程中的语音信号；
8、工作人员特征提取模块，用于分别获取所述待监测工作人员在工作过程中的监控视频的特征信息以及所述待监测工作人员在工作过程中的语音信号的特征信息以得到工作人员动作变化特征向量和工作人员语音特征向量；
9、工作人员指令分类模块，用于基于所述工作人员动作变化特征向量和所述工作人员语音特征向量，以得到分类结果。
10、根据本申请的第三方面，提供了一种电子设备，包括：处理器；以及，存储器，在所述存储器中存储有计算机程序指令，所述计算机程序指令在被所述处理器运行时使得所述处理器执行如上述所述的基于视觉听觉融合的智能控制方法。
11、根据本申请的第四方面，提供了一种计算机可读介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行如上所述的基于视觉听觉融合的智能控制方法。
12、结合本申请的第一方面，在本申请的第一方面的一种基于视觉听觉融合的智能控制方法中，分别获取所述待监测工作人员在工作过程中的监控视频的特征信息以及所述待监测工作人员在工作过程中的语音信号的特征信息以得到工作人员动作变化特征向量和工作人员语音特征向量，包括：对所述待监测工作人员在工作过程中的监控视频进行卷积编码以得到所述工作人员动作变化特征向量；对所述待监测工作人员在工作过程中的语音信号进行卷积编码以得到所述工作人员语音特征向量。
13、结合本申请的第二方面，在本申请的第二方面的一种基于视觉听觉融合的智能控制系统中，所述工作人员指令分类模块，包括：将所述工作人员动作变化特征向量和所述工作人员语音特征向量进行特征融合以得到工作人员指令分类特征向量；将所述工作人员指令分类特征向量进行基于敏感特征反向学习的逆向尺度放缩优化以得到优化的工作人员指令分类特征向量；通过分类器对所述优化的工作人员指令分类特征向量进行特征分类以得到分类结果。其中，所述分类结果用于表示待监测工作人员指令类型。
14、与现有技术相比，本申请提供的一种基于视觉听觉融合的智能控制方法、系统和电子设备，将待监测工作人员在工作过程中的监控视频以及待监测工作人员在工作过程中的语音信号作为输入数据，通过深度学习技术中的卷积神经网络模型分别对二者进行卷积编码之后得到工作人员动作变化特征向量和工作人员语音特征向量。也就是，输入数据通过深度学习技术处理之后得到两个更加准确地特征表示。然后融合并分析这两个特征向量以获取分类结果。这样，通过视觉听觉融合的多模态特征分析方法，能够更加全面地监测到工作人员的指令操作，从而实现机器人与工作人员的协同操作和交互。
本文档来自技高网...【技术保护点】
1.一种基于视觉听觉融合的智能控制方法，其特征在于，包括：
2.根据权利要求1所述的基于视觉听觉融合的智能控制方法，其特征在于，分别获取所述待监测工作人员在工作过程中的监控视频的特征信息以及所述待监测工作人员在工作过程中的语音信号的特征信息以得到工作人员动作变化特征向量和工作人员语音特征向量，包括：
3.根据权利要求2所述的基于视觉听觉融合的智能控制方法，其特征在于，对所述待监测工作人员在工作过程中的监控视频进行卷积编码以得到所述工作人员动作变化特征向量，包括：
4.根据权利要求3所述的基于视觉听觉融合的智能控制方法，其特征在于，对所述待监测工作人员在工作过程中的语音信号进行卷积编码以得到所述工作人员语音特征向量，包括：
5.根据权利要求4所述的基于视觉听觉融合的智能控制方法，其特征在于，基于所述工作人员动作变化特征向量和所述工作人员语音特征向量，以得到分类结果，包括：
6.根据权利要求5所述的基于视觉听觉融合的智能控制方法，其特征在于，将所述工作人员指令分类特征向量进行基于敏感特征反向学习的逆向尺度放缩优化以得到优化的
7.根据权利要求6所述的基于视觉听觉融合的智能控制方法，其特征在于，所述分类结果用于表示待监测工作人员指令类型。
8.一种基于视觉听觉融合的智能控制系统，其特征在于,包括：
9.根据权利要求8所述的基于视觉听觉融合的智能控制系统，其特征在于，所述工作人员特征提取模块，包括：
10.一种电子设备，包括：
...【技术特征摘要】
1.一种基于视觉听觉融合的智能控制方法，其特征在于，包括：
2.根据权利要求1所述的基于视觉听觉融合的智能控制方法，其特征在于，分别获取所述待监测工作人员在工作过程中的监控视频的特征信息以及所述待监测工作人员在工作过程中的语音信号的特征信息以得到工作人员动作变化特征向量和工作人员语音特征向量，包括：
3.根据权利要求2所述的基于视觉听觉融合的智能控制方法，其特征在于，对所述待监测工作人员在工作过程中的监控视频进行卷积编码以得到所述工作人员动作变化特征向量，包括：
4.根据权利要求3所述的基于视觉听觉融合的智能控制方法，其特征在于，对所述待监测工作人员在工作过程中的语音信号进行卷积编码以得到所述工作人员语音特征向量，包括：
5.根据权利...
【专利技术属性】
技术研发人员：陈亮，
申请(专利权)人：武汉晟桥科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。