【技术实现步骤摘要】
本专利技术涉及智能安全监控，尤其涉及一种基于跨模态的智能监控方法、系统与存储介质。
技术介绍
1、在工地等复杂环境中往往需要对特定场景进行监控和告警。传统的方法主要是依靠人工进行判别，造成人力的浪费，而基于图像检测的监控方法需要对目标物进行预定义然后检测，而且标签信息所含有的信息量少，没有充分挖掘语言和图像信息的关联性，局限性较大。
2、即现有的解决方案，针对传统人工监控不足，且基于目标物的图像检测方案应用具有局限性。因此，如何在不依赖人工的情况下对自定义描述的场景进行捕捉和预警，是当前所要解决的问题。
技术实现思路
1、本专利技术所要解决的技术问题是：提供一种基于跨模态的智能监控方法、系统与存储介质，实现可自定义描述场景的监测和预警，以降低突发状况可能产生的严重影响。
2、为了解决上述技术问题，本专利技术采用的技术方案为：一种基于跨模态的智能监控方法，包括步骤：
3、s1、构建并训练基于语义增强的跨模态融合模型；
4、s2、获取监控平台的视频流，并对所述视频流进行关键帧提取；
5、s3、根据所需预警的自定义场景描述，通过所述跨模态融合模型对视频关键帧进行检测，若检测到符合所述自定义场景描述的视频画面时，则对平台进行告警。
6、为了解决上述技术问题，本专利技术采用的另一技术方案为：
7、一种基于跨模态的智能监控系统，所述系统包括：
8、样本构建模块，获取跨模态数据集，所述跨模态数据集包括
9、特征提取模块，提取所述跨模态数据集中的场景图像及文本描述的关键特征；
10、模型构建模块，构建基于语义增强的跨模态融合模型；
11、模型训练模块，根据所述跨模态数据集对所述基于语义增强的跨模态融合模型进行训练，计算跨模态数据之间的相似度，获得对自定义描述场景进行识别的模型；
12、定时监测模块，定时采集监控平台的高清视频流并上传；
13、关键帧提取模块，根据上传的视频流进行关键帧提取；
14、告警模块，根据所需预警的自定义场景描述，结合所述跨模态融合模型对视频关键帧进行检测，当检测到符合所述自定义场景描述的视频画面时，生成告警信息并保存场景画面。
15、为了解决上述技术问题，本专利技术采用的另一技术方案为：
16、一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现以上所述的一种基于跨模态的智能监控方法中的步骤。
17、本专利技术的有益效果在于：本专利技术的一种基于跨模态的智能监控方法、系统及存储介质，针对传统人工监控的不足和基于目标物的图像检测方案的局限性，提出了基于语义增强的跨模态融合模型，实现针对自定义描述场景对监控视频流进行识与智能监控；同时，对视频流进行关键帧的获取，可以快速准确地进行视频摘要，降低视频的冗余性和处理的复杂度，提高自定义描述场景识别的速度与准确度。
本文档来自技高网...【技术保护点】
1.一种基于跨模态的智能监控方法，其特征在于，包括步骤：
2.根据权利要求1所述的一种基于跨模态的智能监控方法，其特征在于，所述步骤S1包括步骤：
3.根据权利要求2所述的一种基于跨模态的智能监控方法，其特征在于，所述步骤S12中根据预设的跨模态数据集分别提取场景图像和文本描述的特征，包括：
4.根据权利要求2所述的一种基于跨模态的智能监控方法，其特征在于，所述步骤S12中基于编码特征语义增强对文本描述特征进行特征加强，包括：
5.根据权利要求2所述的一种基于跨模态的智能监控方法，其特征在于，所述步骤S13中构建基于语义增强的跨模态融合模型对齐所述场景图像特征及所述文本描述特征，包括：
6.根据权利要求2所述的一种基于跨模态的智能监控方法，其特征在于，所述步骤S13中聚合对齐后的场景图像特征及文本描述特征并构建对比损失函数对模型进行训练，包括：
7.根据权利要求1所述的一种基于跨模态的智能监控方法，其特征在于，步骤S2包括：
8.根据权利要求7所述的一种基于跨模态的智能监控方法，其特征在于，步骤S
9.一种基于跨模态的智能监控系统，其特征在于，所述系统包括：
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1-8任一项所述一种基于跨模态的智能监控方法中的步骤。
...【技术特征摘要】
1.一种基于跨模态的智能监控方法，其特征在于，包括步骤：
2.根据权利要求1所述的一种基于跨模态的智能监控方法，其特征在于，所述步骤s1包括步骤：
3.根据权利要求2所述的一种基于跨模态的智能监控方法，其特征在于，所述步骤s12中根据预设的跨模态数据集分别提取场景图像和文本描述的特征，包括：
4.根据权利要求2所述的一种基于跨模态的智能监控方法，其特征在于，所述步骤s12中基于编码特征语义增强对文本描述特征进行特征加强，包括：
5.根据权利要求2所述的一种基于跨模态的智能监控方法，其特征在于，所述步骤s13中构建基于语义增强的跨模态融合模型对齐所述场景图像特征及所述文...
【专利技术属性】
技术研发人员：江世松，郑敏忠，林大甲，黄宗荣，
申请(专利权)人：金钱猫科技股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。