【技术实现步骤摘要】
本专利技术涉及机器学习，尤其涉及一种集成机器学习图像语音识别系统及设备。
技术介绍
1、深度学习已经在语音、文本、图像等单一模态领域取得了巨大的成功。这为多模态学习提供了强大的基础，使得机器能够更好地理解和处理单一类型的数据。随着单一模态研究的深入，多模态机器学习研究逐渐成为热点，尤其是在图像和文本处理方面。例如，图像字幕生成、基于文本的图像生成、视觉问答、视觉推理等方向的研究；近年来，图像处理和语言理解方面的技术突破使得融合图像和文本的多模态任务获得了广泛的关注并取得了相当大的成功；可见在当前的技术背景下，多模态图像语音识别系统正逐渐成为人工智能领域的一个研究热点。这些系统旨在通过整合图像和语音等多种数据模态，提高识别的准确性和用户体验。但是现有的图像和语音均采用单一模态进行，这样在识别时会出现识别错误的问题。为了解决上述问题，本专利技术中提出了一种集成机器学习图像语音识别系统及设备。
技术实现思路
1、为实现上述目的，本专利技术提供了一种集成机器学习图像语音识别系统，包括：
2、图像采集模块，用于采集图像数据；
3、语音采集模块，用于采集语言数据；
4、预处理模块，用于对采集的图像数据和语音数据进行预处理；
5、特征提取模块，用于提取预处理后的图像数据和语音数据的特征；
6、深度学习网络，用于对图像数据和语音数据的特征进行深度学习处理；
7、特征融合模块，用于将深度学习处理后的图像和语音高维特征通过一融合层
8、分类器，用于对整合后的特征进行最终分类；
9、输出模块，用于输出最终分类的识别结果。
10、可选的，采用所述系统进行深度学习处理的方法，包括如下步骤：
11、a、使用预训练的卷积神经网络对图像数据进行特征提取；
12、b、使用预训练的循环神经网络或长短期记忆网络对语音数据进行特征提取；
13、c、将图像数据和语音数据的特征向量组合成统一的特征表示；
14、d、通过加权求和、拼接或注意力机制融合c步骤中的图像数据和语音数据的特征；
15、e、使用全连接层作为分类器，将融合后的特征映射到类别概率空间；
16、f、使用softmax函数来输出每个所述类别的概率，并进行分类；
17、g、在得到分类结果后，采用阈值处理或置信度评分来提高识别准确性。
18、为实现上述目的，本专利技术还提供了一种集成机器学习图像语音识别设备，包含有所述的集成机器学习图像语音识别系统，所述集成机器学习图像语音识别设备包括外壳组件，以及设于所述外壳组件内的图像采集模块、语音采集模块、预处理模块、特征提取模块、深度学习网络、特征融合模块、分类器和输出模块，其中，所述外壳组件包括壳本体，以及固定设于所述壳本体内的若干个屏蔽箱，若干个所述屏蔽箱相互隔绝设置，且若干个所述屏蔽箱分别用于存储图像采集模块、语音采集模块、预处理模块、特征提取模块、深度学习网络、特征融合模块、分类器和输出模块，所述外壳组件还包括盖设于所述壳本体的开口上的壳盖，以及固定设于所述壳盖的下端面上的若干个屏蔽盖，所述屏蔽盖用于盖设所述屏蔽箱的开口。
19、可选的，所述屏蔽盖的下端面上设置有密封管组件，所述密封管组件可插接在所述屏蔽箱内，所述密封管组件包括第一密封管、第二密封管和支撑导向组件，所述支撑导向组件设于所述第一密封管和第二密封管之间，并用于所述第一密封管和第二密封管的连接，还包括固定设于所述屏蔽箱的内侧壁上的承托挡板，所述支撑导向组件包括支撑导向杆、支撑导向筒和支撑导向弹簧，所述支撑导向杆活动插接在支撑导向筒内，所述支撑导向弹簧缠绕设置在支撑导向杆外，且支撑导向弹簧的两端分别固定连接在支撑导向杆的侧壁上和支撑导向筒的外侧壁上。
20、可选的，还包括第一填充机构，所述第一填充机构包括沿着第一方向开设在所述第一密封管上的第一填充槽，以及活动设置在所述第一填充槽内的第一填充板，所述第一填充板的侧壁固定连接有第一填充弹簧，所述第一填充弹簧的自由端固定连接在第一填充槽的侧壁上，所述第一密封管上开设有与所述第一填充槽相互连通的第一抵触孔，所述第二密封管的下端面上固定连接有与第一抵触孔相互匹配设置的第一抵触板。
21、可选的，还包括第二填充机构，所述第二填充机构包括沿着第二方向开设在第一密封管上的第二填充槽，所述第二填充槽内活动设置有第二填充板，所述第二填充板的端部活动设置在第三填充槽内，所述第三填充槽开设在第一填充板上，所述第二填充板的侧壁上固定连接有第二填充弹簧，所述第二填充弹簧的自由端固定连接在第二填充槽的侧壁上，所述第一密封管上开设有与第二填充槽相互连通的第二抵触孔，所述第二密封管的下端面上固定连接有与第二抵触孔相互匹配设置的第二抵触板。
22、可选的，还包括吸真空机构，所述吸真空机构包括固定连接在所述壳本体的外侧壁上的吸真空泵，以及与所述吸真空泵的进风端连通设置的导气管，所述导气管的自由端与第一气道相互连通，所述第一气道开设在壳本体上，所述屏蔽箱上开设有相互连通的第二气道和第三气道，所述第二气道和第三气道用于连通所述屏蔽箱的内腔和所述第一气道。
23、可选的，还包括智能控制机构，所述智能控制机构包括固定连接在第二密封管的下端面上的第一电极触片，以及设于所述第一电极触片的下方的第二电极触片，所述第二电极触片的下端面上固定连接有伸缩杆，所述伸缩杆活动插接在伸缩筒内，所述伸缩杆外缠绕设置有伸缩弹簧，所述伸缩弹簧的两端分别固定连接在伸缩杆的侧壁上和伸缩筒的外侧壁上，所述伸缩筒固定连接在第一密封管的上端面上。
24、可选的，还包括散热筒组件，所述散热筒组件包括固定插接在所述壳盖和屏蔽盖上的散热筒本体，所述散热筒本体的上端凸出到所述壳盖外，以及贴合在散热筒本体的内侧壁上的导热管，所述导热管可相对散热筒本体在竖直方向上运动，所述散热筒本体和导热管之间设置有若干个支撑弹簧，所述支撑弹簧的上端固定连接在散热筒本体的下端面上，所述支撑弹簧的下端固定连接在导热管的上端面上，所述导热管的内侧壁上固定设置有若干个导热板。
25、本专利技术的有益效果如下：
26、本专利技术通过集成机器学习能够同时处理图像和语音数据，利用深度学习网络对这两种数据的特征进行学习，并在特征融合模块中将它们结合起来，以增强识别能力；同时，本专利技术的设置可以减少单一模态识别中出现的错误，提高了识别的准确度，尤其是在多模态语音识别领域，引入与语音相关的图像信息可以辅助识别，避免关键词被错误转录，从而提升语音识别的准确度；此外，深度学习网络能够自动学习语音的特征，避免了手工特征提取的繁琐过程，进一步提高了识别效率。
本文档来自技高网...【技术保护点】
1.一种集成机器学习图像语音识别系统，其特征在于，包括：
2.根据权利要求1所述的集成机器学习图像语音识别系统，其特征在于，采用所述系统进行深度学习处理的方法，包括如下步骤：
3.一种集成机器学习图像语音识别设备，其特征在于，包含有如权利要求1至2中任一项所述的集成机器学习图像语音识别系统，所述集成机器学习图像语音识别设备包括外壳组件，以及设于所述外壳组件内的图像采集模块、语音采集模块、预处理模块、特征提取模块、深度学习网络、特征融合模块、分类器和输出模块，其中，所述外壳组件包括壳本体(1)，以及固定设于所述壳本体(1)内的若干个屏蔽箱(2)，若干个所述屏蔽箱(2)相互隔绝设置，且若干个所述屏蔽箱(2)分别用于存储图像采集模块、语音采集模块、预处理模块、特征提取模块、深度学习网络、特征融合模块、分类器和输出模块，所述外壳组件还包括盖设于所述壳本体(1)的开口上的壳盖(3)，以及固定设于所述壳盖(3)的下端面上的若干个屏蔽盖(4)，所述屏蔽盖(4)用于盖设所述屏蔽箱(2)的开口。
4.根据权利要求3所述的集成机器学习图像语音识别设备，其特征在于，
5.根据权利要求4所述的集成机器学习图像语音识别设备，其特征在于，还包括第一填充机构(6)，所述第一填充机构(6)包括沿着第一方向开设在所述第一密封管(51)上的第一填充槽(62)，以及活动设置在所述第一填充槽(62)内的第一填充板(61)，所述第一填充板(61)的侧壁固定连接有第一填充弹簧(63)，所述第一填充弹簧(63)的自由端固定连接在第一填充槽(62)的侧壁上，所述第一密封管(51)上开设有与所述第一填充槽(62)相互连通的第一抵触孔(65)，所述第二密封管(52)的下端面上固定连接有与第一抵触孔(65)相互匹配设置的第一抵触板(64)。
6.根据权利要求5所述的集成机器学习图像语音识别设备，其特征在于，还包括第二填充机构(7)，所述第二填充机构(7)包括沿着第二方向开设在第一密封管(51)上的第二填充槽(72)，所述第二填充槽(72)内活动设置有第二填充板(71)，所述第二填充板(71)的端部活动设置在第三填充槽(73)内，所述第三填充槽(73)开设在第一填充板(61)上，所述第二填充板(71)的侧壁上固定连接有第二填充弹簧，所述第二填充弹簧的自由端固定连接在第二填充槽(72)的侧壁上，所述第一密封管(51)上开设有与第二填充槽(72)相互连通的第二抵触孔(75)，所述第二密封管(52)的下端面上固定连接有与第二抵触孔(75)相互匹配设置的第二抵触板(74)。
7.根据权利要求4所述的集成机器学习图像语音识别设备，其特征在于，还包括吸真空机构(8)，所述吸真空机构(8)包括固定连接在所述壳本体(1)的外侧壁上的吸真空泵(81)，以及与所述吸真空泵(81)的进风端连通设置的导气管(82)，所述导气管(82)的自由端与第一气道(83)相互连通，所述第一气道(83)开设在壳本体(1)上，所述屏蔽箱(2)上开设有相互连通的第二气道(84)和第三气道(85)，所述第二气道(84)和第三气道(85)用于连通所述屏蔽箱(2)的内腔和所述第一气道(83)。
8.根据权利要求7所述的集成机器学习图像语音识别设备，其特征在于，还包括智能控制机构(9)，所述智能控制机构(9)包括固定连接在第二密封管(52)的下端面上的第一电极触片(91)，以及设于所述第一电极触片(91)的下方的第二电极触片(92)，所述第二电极触片(92)的下端面上固定连接有伸缩杆(93)，所述伸缩杆(93)活动插接在伸缩筒(94)内，所述伸缩杆(93)外缠绕设置有伸缩弹簧(95)，所述伸缩弹簧(95)的两端分别固定连接在伸缩杆(93)的侧壁上和伸缩筒(94)的外侧壁上，所述伸缩筒(94)固定连接在第一密封管(51)的上端面上。
9.根据权利要求...
【技术特征摘要】
1.一种集成机器学习图像语音识别系统，其特征在于，包括：
2.根据权利要求1所述的集成机器学习图像语音识别系统，其特征在于，采用所述系统进行深度学习处理的方法，包括如下步骤：
3.一种集成机器学习图像语音识别设备，其特征在于，包含有如权利要求1至2中任一项所述的集成机器学习图像语音识别系统，所述集成机器学习图像语音识别设备包括外壳组件，以及设于所述外壳组件内的图像采集模块、语音采集模块、预处理模块、特征提取模块、深度学习网络、特征融合模块、分类器和输出模块，其中，所述外壳组件包括壳本体(1)，以及固定设于所述壳本体(1)内的若干个屏蔽箱(2)，若干个所述屏蔽箱(2)相互隔绝设置，且若干个所述屏蔽箱(2)分别用于存储图像采集模块、语音采集模块、预处理模块、特征提取模块、深度学习网络、特征融合模块、分类器和输出模块，所述外壳组件还包括盖设于所述壳本体(1)的开口上的壳盖(3)，以及固定设于所述壳盖(3)的下端面上的若干个屏蔽盖(4)，所述屏蔽盖(4)用于盖设所述屏蔽箱(2)的开口。
4.根据权利要求3所述的集成机器学习图像语音识别设备，其特征在于，所述屏蔽盖(4)的下端面上设置有密封管组件(5)，所述密封管组件(5)可插接在所述屏蔽箱(2)内，所述密封管组件(5)包括第一密封管(51)、第二密封管(52)和支撑导向组件(53)，所述支撑导向组件(53)设于所述第一密封管(51)和第二密封管(52)之间，并用于所述第一密封管(51)和第二密封管(52)的连接，还包括固定设于所述屏蔽箱(2)的内侧壁上的承托挡板(54)，所述支撑导向组件(53)包括支撑导向杆(531)、支撑导向筒(532)和支撑导向弹簧(533)，所述支撑导向杆(531)活动插接在支撑导向筒(532)内，所述支撑导向弹簧(533)缠绕设置在支撑导向杆(531)外，且支撑导向弹簧(533)的两端分别固定连接在支撑导向杆(531)的侧壁上和支撑导向筒(532)的外侧壁上。
5.根据权利要求4所述的集成机器学习图像语音识别设备，其特征在于，还包括第一填充机构(6)，所述第一填充机构(6)包括沿着第一方向开设在所述第一密封管(51)上的第一填充槽(62)，以及活动设置在所述第一填充槽(62)内的第一填充板(61)，所述第一填充板(61)的侧壁固定连接有第一填充弹簧(63)，所述第一填充弹簧(63)的自由端固定连接在第一填充槽(62)的侧壁上，所述第一密封管(51)上开设有与所述第一填充槽(62)相互连通的第一抵触孔(65)，所述第二密封管(52)的下端面上固定连接有与第一抵触孔(65)相互匹配设置的第一抵触板(64)。
6.根据权利要求5所述的集成机器学习图...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。