【技术实现步骤摘要】
本专利技术涉及多模态识别，尤其是涉及基于多模态数据融合的老鼠识别方法。
技术介绍
1、目前，食品安全事件频频发生，卫生事件在各地反复出现，食品安全卫生引起越来越多人的关注，人们对餐饮行业的要求也随之提高。随着计算机视觉技术的快速发展，计算机视觉的相关技术被应用到老鼠抓拍中，逐渐在餐饮行业中发挥重要作用。相比于传统的人工监管，视频视觉智能检测技术不需要人工干预，有很大的优势。
2、当前使用的视觉智能分析技术，主要是基于背景建模和目标检测的方法，通过定时截取视频帧的方式进行分析，从该视频截取的图像中提取老鼠的形状，判断图片是否有存在老鼠。虽然能够抓拍一部分，但是误检漏检的问题比较多，准确度很低。
技术实现思路
1、本专利技术的目的在于克服上述技术不足，提出基于多模态数据融合的老鼠识别方法，解决现有技术中计算机视觉应用在老鼠检测场景中误检漏检的问题比较多，准确度很低的技术问题。
2、为达到上述技术目的，第一方面，本专利技术的技术方案提供一种基于多模态数据融合的老鼠识别方法，包括以下步骤：
3、获取目标场景的视频数据和音频数据，使用视频抽帧法从所述视频数据中按预设的间隔连续采集多张图像数据；
4、对所述图像数据预处理，再将预处理后的所述图像数据从rgb颜色空间转换到ycbcr颜色空间；
5、使用帧间差分法比较连续帧所述图像数据之间的像素强度差异来检测运动物体，得到运动检测结果；
6、对检测到运动物体的所述图像数据对应时
7、根据所述运动检测结果和所述音频识别结果计算得到老鼠识别的综合置信度，根据所述综合置信度标记目标场景是否出现老鼠。
8、与现有技术相比，本专利技术提供的基于多模态数据融合的老鼠识别方法的有益效果包括：
9、本专利技术提供的基于多模态数据融合的老鼠识别方法，将来自不同传感器的数据整合到一起的过程，即视频数据和音频数据，目的是获得比任何单一数据源更准确、更可靠的信息，可以有效地利用多模态数据融合的方法来抓拍老鼠，从多个角度综合信息，从图像中提取老鼠的形状和运动轨迹，从声音中分析老鼠的叫声频率，从热成像中识别老鼠的热量分布，同时，还可以利用多个角度的摄像头进行综合分析。本方法不仅能够提高抓拍的准确性，还能够在不同的环境和条件下灵活应对，本专利技术能够有效避免出现误检漏检的情况，具有较高的准确度和可靠性，应用范围较广。
10、根据本专利技术的一些实施例，使用帧间差分法比较连续帧所述图像数据之间的像素强度差异来检测运动物体，得到运动检测结果，包括步骤：
11、m_t(x,y) = |i_t(x,y) - i_{t-1}(x,y)|
12、其中m_t(x,y)是在时间t位置(x, y)的运动度量，i_t(x,y)和 i_{t-1}(x,y)分别是在时间t和t-1的图像强度；当m_t(x,y)大于预设阈值，则认为当前所述图像数据存在运动物体。
13、根据本专利技术的一些实施例，获取目标场景的视频数据，包括步骤：
14、使用多个摄像头对所述目标场景进行对象跟踪，对多个摄像头进行校正和标定；
15、特征提取与匹配：从每个摄像头捕获的图像中提取特征点，并在不同摄像头之间进行特征匹配；
16、多视图几何构建：使用匹配的特征点来构建多视图几何关系；
17、数据关联与融合：将不同摄像头检测到的对象关联起来，并将轨迹融合在一起。
18、根据本专利技术的一些实施例，对所述图像数据预处理，包括步骤：去噪处理和灰度化处理。
19、根据本专利技术的一些实施例，应用短时傅里叶变换方法分析声音频率成分，得到音频识别结果，包括步骤：
20、应用短时傅里叶变换方法将所述音频数据分解为时间维度信息和频率维度信息，所述频率维度信息包括频率峰值和能量分布信息，对特定时间窗口内的频率峰值和能量分布信息进行识别得到老鼠的声音模式。
21、根据本专利技术的一些实施例，根据所述运动检测结果和所述音频识别结果计算得到老鼠识别的综合置信度，表示为：
22、c_t(x,y) = w_s cdot s_t(x,y) + w_a cdot a_t(x,y)
23、其中， c_t(x,y) 代表在时间t的综合置信度，s_t(x,y)是运动检测结果，a_t(x,y)代表音频识别结果，而w_s和w_a是权重系数，用于调整不同数据源的重要性。
24、根据本专利技术的一些实施例，根据所述综合置信度标记目标场景是否出现老鼠，包括步骤：
25、当综合置信度大于设定阈值，标记目标场景出现老鼠；
26、当综合置信度小于设定阈值，标记目标场景未出现老鼠。
27、第二方面，本专利技术的技术方案提供一种电子设备，包括处理器，存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如第一方面中任一项所述的基于多模态数据融合的老鼠识别方法。
28、第三方面，本专利技术的技术方案提供一种可读存储介质，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如第一方面中任一项所述的基于多模态数据融合的老鼠识别方法。
29、本专利技术的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本专利技术的实践了解到。
本文档来自技高网...【技术保护点】
1.一种基于多模态数据融合的老鼠识别方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于多模态数据融合的老鼠识别方法，其特征在于，使用帧间差分法比较连续帧所述图像数据之间的像素强度差异来检测运动物体，得到运动检测结果，包括步骤：
3.根据权利要求1所述的基于多模态数据融合的老鼠识别方法，其特征在于，获取目标场景的视频数据，包括步骤：
4.根据权利要求1所述的基于多模态数据融合的老鼠识别方法，其特征在于，对所述图像数据预处理，包括步骤：去噪处理和灰度化处理。
5.根据权利要求1所述的基于多模态数据融合的老鼠识别方法，其特征在于，应用短时傅里叶变换方法分析声音频率成分，得到音频识别结果，包括步骤：
6.根据权利要求1所述的基于多模态数据融合的老鼠识别方法，其特征在于，根据所述运动检测结果和所述音频识别结果计算得到老鼠识别的综合置信度，表示为：
7.根据权利要求6所述的基于多模态数据融合的老鼠识别方法，其特征在于，根据所述综合置信度标记目标场景是否出现老鼠，包括步骤：
8.一种电子设备，其特征
9.一种可读存储介质，其特征在于，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如权利要求1-7任一项所述的基于多模态数据融合的老鼠识别方法。
...【技术特征摘要】
1.一种基于多模态数据融合的老鼠识别方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于多模态数据融合的老鼠识别方法，其特征在于，使用帧间差分法比较连续帧所述图像数据之间的像素强度差异来检测运动物体，得到运动检测结果，包括步骤：
3.根据权利要求1所述的基于多模态数据融合的老鼠识别方法，其特征在于，获取目标场景的视频数据，包括步骤：
4.根据权利要求1所述的基于多模态数据融合的老鼠识别方法，其特征在于，对所述图像数据预处理，包括步骤：去噪处理和灰度化处理。
5.根据权利要求1所述的基于多模态数据融合的老鼠识别方法，其特征在于，应用短时傅里叶变换方法分析声音频率成分，得到音频识别结果，包括步骤：
6...
【专利技术属性】
技术研发人员：郑宏弟，赵小平，聂立功，
申请(专利权)人：杭州祐全科技发展有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。