【技术实现步骤摘要】
本专利技术涉及人工智能，具体地说是一种基于mamba模型与规则引擎的人员闯入识别方法及系统。
技术介绍
1、随着计算机视觉和深度学习技术的快速发展，人工智能应用已经广泛渗透到安全监控领域，特别是在夜间监控和入侵检测方面。尽管现有技术已经能够在一定程度上满足实时监控的需求，但在处理多模态数据(如红外和rgb图像)和实现高效准确的目标检测方面仍面临重大挑战。现有的系统通常依赖于单一的图像处理模式，难以在复杂的环境条件下(如夜间或恶劣天气)有效识别人员等特定目标。
2、此外，当前的监控系统在数据处理和决策制定方面通常缺乏灵活性，无法根据实时数据动态调整识别策略，这限制了系统的适应能力和应用范围。例如，一些系统可能在没有足够光线的情况下性能大幅下降，或者在遇到未知的监控场景时无法有效调整识别参数。
技术实现思路
1、本专利技术的技术任务是提供一种基于mamba模型与规则引擎的人员闯入识别方法及系统，来解决现有夜间监控系统在多模态数据处理和实时反应方面的不足的问题。
2、本专利技术的技术任务是按以下方式实现的，一种基于mamba模型与规则引擎的人员闯入识别方法，该方法具体如下：
3、红外和rgb数据收集及数据预处理：收集包括红外摄像头和普通rgb摄像头采集的多种传感器的原始数据，并采用深度学习的mamba模型对包括红外图像和rgb图像的多模态数据进行特征提取和初步识别，获取预处理后的质量增强数据，为后续模型训练提供准确的输入数据；
4、深度学习
5、规则引擎处理：根据实时环境变化动态调整，以适应不同的监控条件和响应策略；
6、实时推理与决策：在边缘计算环境中部署训练好的mamba模型，实现实时数据处理和即时决策，并通过增量学习技术定期更新mamba模型，以适应环境变化并提高模型的长期稳定性；
7、数据反馈与迭代更新：将边缘节点的操作数据和识别结果定期回传至云端，云端利用对应数据评估模型性能，并通过机器学习算法优化和更新mamba模型，以不断提升整体性能和适应能力。
8、作为优选，红外图像和rgb图像的数据预处理具体如下：
9、红外图像和rgb图像在空间对应准确：采用sifi或orb的图像配准技术实现红外图像和rgb图像在空间对应准确，识别并匹配红外图像和rgb图像中的关键特征点，实现图像对齐；
10、针对红外图像的特殊性，使用高斯滤波或中值滤波技术对红外图像进行噪声滤除和平滑处理，降低噪声影响同时保持图像细节；再通过直方图均衡化或自适应直方图均衡化技术增强图像对比度，改善图像的视觉效果，使图像中的目标更加突出和易于识别；
11、引入图像超分辨率技术提高红外图像的分辨率和细节表现：通过基于卷积神经网络的模型的深度学习方法，从已有的低分辨率红外图像中学习并重建高分辨率图像，提升图像质量和增强模型对小目标的识别能力；
12、在单独处理完红外图像和rgb图像后，通过特征层面的融合技术将红外图像和rgb图像的数据整合：根据不同传感器图像的特性调整融合权重，利用加权方法结合红外图像的热成像优势和rgb图像的色彩信息，实现对场景的全面理解，不仅提高了目标检测的准确性，也使得系统能够在各种光照和环境条件下稳定运行，有效提升了夜间或视觉受限条件下人员闯入识别的整体性能；
13、深度学习训练过程中，mamba模型通过独特的状态空间方法进行深度特征学习，状态空间方法允许mamba模型有效捕捉输入数据中的时间序列动态，极大地增强了对视频监控数据中时间依赖特性的理解；此外，状态空间方法为mamba模型提供了一种结构化的信息流管理方式，通过引入状态变量来描述数据随时间的演变，从而在复杂或噪声环境中提取有效信息，优化了模型的学习效率和预测准确性。
14、作为优选，规则引擎处理的目的利用预先定义的逻辑规则快速过滤和响应来自深度学习模型的输出，以实现高效的监控和即时反应；
15、其中，规则引擎设置方式具体如下：
16、1)规则定义：首先，基于安全需求和历史安全事件数据，定义一系列的逻辑规则；逻辑规则包括人员在特定区域的非授权活动、特定时间段内的异常移动以及其他被视为潜在安全威胁的行为模式；
17、2)环境感知调整：规则引擎设计为能够接收来自环境监测传感器的输入，环境监测传感器的输入为光线强度、时间信息以及其他可能影响安全系统判断的因素；例如，晚上可能需要不同的灵敏度设置，以适应较低的可见度；
18、3)动态规则调整：规则引擎具备学习和自适应能力，能够根据监控数据的实时分析结果动态调整规则；这一过程中，系统会分析哪些规则频繁触发但不导致实际威胁，或者哪些情况下规则未能覆盖到实际的威胁，据此调整规则的敏感性和参数设置；
19、4)用户配置接口：提供一个用户友好的界面，允许安全管理员根据当前的安全政策和实际需要，轻松修改或添加新的规则；界面设计支持非技术用户通过简单的操作即可完成复杂规则的设置；
20、5)事件响应和通知系统：一旦识别出潜在威胁或异常行为，规则引擎会立即启动预设的响应措施，预设的响应措施为激活警报、通知安全人员或启动自动锁定系统；同时，所有的安全事件都会被记录并生成详细的报告供后续分析使用。
21、更优地，实时推理与决策过程中，利用增量学习技术定期更新部署在边缘节点的模型，增量学习是一种动态的学习过程，允许部署在边缘节点的模型根据新收集到的数据不断进行自我更新和优化；并通过定期从边缘节点收集操作数据和识别结果，监控部署在边缘节点的模型的性能并识别出需要调整的区域；
22、实时推理与决策模块过程中，还基于部署在边缘节点的模型的输出和预设的规则自动化处理安全事件，实现决策；
23、数据反馈与迭代更新过程中，设定定期反馈机制，将边缘节点的操作数据和识别结果回传至云端，云端利用边缘节点的操作数据和识别结果评估部署在边缘节点的模型性能，并通过机器学习算法优化和更新模型，不断提升整体的性能和适应能力。
24、一种基于mamba模型与规则引擎的人员闯入识别系统，该系统包括：
25、数据收集及数据预处理模块，用于收集包括红外摄像头和普通rgb摄像头采集的多种传感器的原始数据，并采用深度学习的mamba模型对包括红外图像和rgb图像的多模态数据进行特征提取和初步识别，获取预处理后的质量增强数据，为后续模型训练提供准确的输入数据；
26、深度学习训练模块，用于采用mamba模型对预处理后的质量增强数据进行特征学习，使用权重的聚焦损失(weighted focal loss)作为自适应损失函数，优化对不平衡数据集的处理，并增强mamba模型对小目标的识别能力；...
【技术保护点】
1.一种基于Mamba模型与规则引擎的人员闯入识别方法，其特征在于，该方法具体如下：
2.根据权利要求1所述的基于Mamba模型与规则引擎的人员闯入识别方法，其特征在于，红外图像和RGB图像的数据预处理具体如下：
3.根据权利要求1所述的基于Mamba模型与规则引擎的人员闯入识别方法，其特征在于，规则引擎处理的目的利用预先定义的逻辑规则快速过滤和响应来自深度学习模型的输出，以实现高效的监控和即时反应；
4.根据权利要求1-3中任一项所述的基于Mamba模型与规则引擎的人员闯入识别方法，其特征在于，实时推理与决策过程中，利用增量学习技术定期更新部署在边缘节点的模型，增量学习是一种动态的学习过程，允许部署在边缘节点的模型根据新收集到的数据不断进行自我更新和优化；并通过定期从边缘节点收集操作数据和识别结果，监控部署在边缘节点的模型的性能并识别出需要调整的区域；
5.一种基于Mamba模型与规则引擎的人员闯入识别系统，其特征在于，该系统包括：
6.根据权利要求4所述的基于Mamba模型与规则引擎的人员闯入识别系统，其特征在于，数
7.根据权利要求4所述的基于Mamba模型与规则引擎的人员闯入识别系统，其特征在于，规则引擎处理模块利用预先定义的逻辑规则快速过滤和响应来自深度学习模型的输出，以实现高效的监控和即时反应；
8.根据权利要求4-7中任一项所述的基于Mamba模型与规则引擎的人员闯入识别系统，其特征在于，实时推理与决策模块利用增量学习技术定期更新部署在边缘节点的模型，增量学习是一种动态的学习过程，允许部署在边缘节点的模型根据新收集到的数据不断进行自我更新和优化；并通过定期从边缘节点收集操作数据和识别结果，监控部署在边缘节点的模型的性能并识别出需要调整的区域；
9.一种电子设备，其特征在于，包括：存储器和至少一个处理器；
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，所述计算机程序可被处理器执行以实现如权利要求1至4中任一项所述的基于Mamba模型与规则引擎的人员闯入识别方法。
...【技术特征摘要】
1.一种基于mamba模型与规则引擎的人员闯入识别方法，其特征在于，该方法具体如下：
2.根据权利要求1所述的基于mamba模型与规则引擎的人员闯入识别方法，其特征在于，红外图像和rgb图像的数据预处理具体如下：
3.根据权利要求1所述的基于mamba模型与规则引擎的人员闯入识别方法，其特征在于，规则引擎处理的目的利用预先定义的逻辑规则快速过滤和响应来自深度学习模型的输出，以实现高效的监控和即时反应；
4.根据权利要求1-3中任一项所述的基于mamba模型与规则引擎的人员闯入识别方法，其特征在于，实时推理与决策过程中，利用增量学习技术定期更新部署在边缘节点的模型，增量学习是一种动态的学习过程，允许部署在边缘节点的模型根据新收集到的数据不断进行自我更新和优化；并通过定期从边缘节点收集操作数据和识别结果，监控部署在边缘节点的模型的性能并识别出需要调整的区域；
5.一种基于mamba模型与规则引擎的人员闯入识别系统，其特征在于，该系统包括：
6.根据权利要求4所述的基于mamb...
【专利技术属性】
技术研发人员：张锐，李贡岩，王炳亮，张文龙，张京辉，
申请(专利权)人：浪潮通信信息系统有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。