消防通道占用检测方法、装置及电子设备制造方法及图纸

本发明专利技术提供一种消防通道占用检测方法、装置及电子设备。本发明专利技术基于预先定义的已知类别目标和标注规则，对视频帧图像集进行样本标注，得到已知类别目标标注图像，对已知类别目标标注图像进行预处理，划分为训练数据集、验证数据集和测试数据集，以两阶段检测器Faster

【技术实现步骤摘要】
消防通道占用检测方法、装置及电子设备


[0001]本专利技术涉及计算机视觉图像处理
，尤其涉及一种消防通道占用检测方法、装置及电子设备。

技术介绍

[0002]消防通道就是生命通道。消防通道是否畅通，关系到抢险救援能否高效完成，更关系着人民群众的生命财产安全能否得到及时有效地抢救，如果被占用、堵塞，会带来严重的消防安全隐患。因此，消防通道不能随便占用，必须时刻保持畅通。为了保证消防通道畅通，传统的消防通道安全检测方法主要依靠人工实地巡检或通过监控视频巡查，完成依赖人工、费时费力，无法达到实时检测、自动检测的目的。随着人工智能技术的发展，基于视频监控的消防通道自动检测方法越来越多。
[0003]公开号为CN113762164 A的专利技术提出了一种基于背景匹配的消防通道障碍物识别方法，首先获取不同光照条件待识别消防通道中不含障碍物的背景模板图像集，然后计算每张背景模板图像与待匹配图像的匹配度，通过判断背景模板图像与待匹配图像的匹配度是否大于设定匹配阈值来判断消防通道中是否存在障碍物。该方法属于传统检测方法，对封闭的室内场景友好，但因受光线、环境因素影响大，泛化性和鲁棒性弱，尤其不适用于室外场景。公开号为CN112528884 A的专利技术提出了一种基于深度学习方法的消防通道障碍物智能检测方法，该专利技术提出在不需要知道目标种类的情况下，对标注过的数据使用深度学习方法进行显著性目标检测模型训练，从而进行显著性目标检测，自动检测消防通道障碍物前景，再通过感兴趣区域判断，实现消防通道占用检测。该方法可以不事先定义占用目标种类，但是需要对监控视频画面中出现的所有前景目标进行标注，工作量大，且由于没有定义具体类别，容易造成重复报警，当人和动物停留在消防通道中，也会被识别为占用目标，实际应用容易产生较多误报。基于深度学习目标检测方法是消防通道占用检测比较主流的方法，但是，采用常规深度学习目标检测算法进行消防通道占用检测具有一定的局限性，该方法只能识别已知类别，当未经训练的目标出现时无法进行检测。

技术实现思路

[0004]本专利技术的目的在于提供一种消防通道占用检测方法、装置及电子设备，以解决常规深度学习目标检测算法只能识别已知类别的局限性，传统机器学习背景建模法泛化性差的问题。
[0005]第一方面，本专利技术提供一种消防通道占用检测方法，包括：获取真实消防通道场景的视频流；按照预设帧率对所述视频流截取视频帧图像集；基于预先定义的已知类别目标和标注规则，对所述视频帧图像集进行样本标注，得到已知类别目标标注图像；对所述已知类别目标标注图像进行预处理，划分为训练数据集、验证数据集和测
试数据集，训练数据集、验证数据集和测试数据集中均包括有已知类别目标的图像和没有已知类别目标的图像；根据所述训练数据集、验证数据集和测试数据集，以两阶段检测器Faster
‑
RCNN作为基础网络，通过对比聚类和基于能量的分类器训练消防通道开放场景目标检测模型；对于未知类别目标，所述消防通道开放场景目标检测模型用于对所述未知类别目标赋予标签，根据已知类别目标与标签之间的匹配程度，将未知类别目标识别成已知类别或者对未知类别目标进行标注，采用类别增量学习方法对新的类别进行学习；根据所述消防通道开放场景目标检测模型对室内外消防通道的实时监控视频进行目标检测，得到模型输出结果；所述消防通道开放场景目标检测模型对已知类别目标输出具体类别名称、置信度、坐标位置，对未知类别目标输出未知和对应的置信度、坐标位置；根据所述模型输出结果进行逻辑判断，输出消防通道占用检测结果。
[0006]进一步地，对所述已知类别目标标注图像进行预处理，划分为训练数据集、验证数据集和测试数据集，包括：对已知类别目标标注图像进行目标实例统计，选取目标实例数量大于预设数量的类别作为基础任务的已知类别；将所述已知类别随机划分为训练集、验证集和测试集，剩余类别作为增量学习的类别。
[0007]进一步地，根据所述训练数据集、验证数据集和测试数据集，以两阶段检测器Faster
‑
RCNN作为基础网络，通过对比聚类和基于能量的分类器训练消防通道开放场景目标检测模型，包括：以两阶段检测器Faster
‑
RCNN作为基础检测器，在第一阶段，检测器通过类不可知的RPN给出可能存在目标的所有区域，在第二阶段，将每个区域进行分类和位置调整；采用对比聚类来区分已知类别和未知类别，在特征空间上进行类别分割，同类别的实例靠近，不相似的类别远离，对于每个已知类别，维护一个原型向量，假设为假设为类别的中间层特征，则类别中间层特征的对比损失函数为：；；为距离函数，为中间层特征与原型向量的距离，为相同类别和不相似类别之间的阈值，不同类别实例间的距离要大于该阈值，为欧氏距离，设置为10；在训练时，通过最小化对比损失来保证特征空间上的类别分割；采用RPN的预测框进行未知目标标注，将预测框中置信度分数高且与已知类别真值无重叠的预设个预测框归类为未知目标，并将其特征加入未知列表的特征队列中；采用基于能量的分类器，学习输入特征F与标签L之间的匹配程度，用来识别未知目标；当检测到的未知类别达到一定数量时，对未知类别进行标注，采用类别增量学习
方法对新的类别进行学习。
[0008]进一步地，根据所述消防通道开放场景目标检测模型对室内外消防通道的实时监控视频进行目标检测，得到模型输出结果，包括：接入实时监控视频流，按照一定间隔进行取帧，得到视频帧；对视频帧划定检测区域，去除完全不相干的背景信息，每个摄像头只需划定一次检测区域；调用消防通道开放场景目标检测模型，对视频帧进行目标检测，得到检测目标，所述检测目标包括已知分类目标或者和/或未知分类目标。
[0009]进一步地，根据所述模型输出结果进行逻辑判断，输出消防通道占用检测结果，包括：判断所述检测目标是否在检测区域中；如果所述检测目标在检测区域中，判断所述检测目标中的非行人、动物目标是否持续静止占用时间达到设定时间阈值T1；如果所述检测目标中的非行人、动物目标持续静止占用时间达到设定时间阈值T1，发出目标占用报警信息；判断是否所述检测目标中的非行人、动物目标未发生位移，且占用时长达到设定时间T2；如果所述检测目标中的非行人、动物目标未发生位移，且占用时长达到设定时间T2，发出目标占用报警信息；判断是否所述检测目标中的非行人、动物目标消失时长达到设定时间T3后再次出现，且持续静止时长达到T1；如果所述检测目标中的非行人、动物目标消失时长达到设定时间T3后再次出现，且持续静止时长达到T1，发出目标占用报警信息。
[0010]进一步地，判断所述检测目标是否在检测区域中，判断规则是所述检测目标的包围框在检测区域中的面积是否达到所述检测目标的包围框的50%；持续静止的判断规则为相邻两帧目标框的交并比大于0.8，且物品周围无行人目标；物品周围无行人的判断规则为物品包围框与行人包围框的交并比小于0.2；物品消失的判断规则为调用消防通道开放场景目标检测模型，对视频帧进行目标检测时未输出对应的目标类别。
[0011]本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种消防通道占用检测方法，其特征在于，包括：获取真实消防通道场景的视频流；按照预设帧率对所述视频流截取视频帧图像集；基于预先定义的已知类别目标和标注规则，对所述视频帧图像集进行样本标注，得到已知类别目标标注图像；对所述已知类别目标标注图像进行预处理，划分为训练数据集、验证数据集和测试数据集，训练数据集、验证数据集和测试数据集中均包括有已知类别目标的图像和没有已知类别目标的图像；根据所述训练数据集、验证数据集和测试数据集，以两阶段检测器Faster
‑
RCNN作为基础网络，通过对比聚类和基于能量的分类器训练消防通道开放场景目标检测模型； 对于未知类别目标，所述消防通道开放场景目标检测模型用于对所述未知类别目标赋予标签，根据已知类别目标与标签之间的匹配程度，将未知类别目标识别成已知类别或者对未知类别目标进行标注，采用类别增量学习方法对新的类别进行学习；根据所述消防通道开放场景目标检测模型对室内外消防通道的实时监控视频进行目标检测，得到模型输出结果；所述消防通道开放场景目标检测模型对已知类别目标输出具体类别名称、置信度、坐标位置，对未知类别目标输出未知和对应的置信度、坐标位置；根据所述模型输出结果进行逻辑判断，输出消防通道占用检测结果。2.如权利要求1所述的消防通道占用检测方法，其特征在于，对所述已知类别目标标注图像进行预处理，划分为训练数据集、验证数据集和测试数据集，包括：对已知类别目标标注图像进行目标实例统计，选取目标实例数量大于预设数量的类别作为基础任务的已知类别；将所述已知类别随机划分为训练集、验证集和测试集，剩余类别作为增量学习的类别。3.如权利要求1所述的消防通道占用检测方法，其特征在于，根据所述训练数据集、验证数据集和测试数据集，以两阶段检测器Faster
‑
RCNN作为基础网络，通过对比聚类和基于能量的分类器训练消防通道开放场景目标检测模型，包括：以两阶段检测器Faster
‑
RCNN作为基础检测器，在第一阶段，检测器通过类不可知的RPN给出可能存在目标的所有区域，在第二阶段，将每个区域进行分类和位置调整；采用对比聚类来区分已知类别和未知类别，在特征空间上进行类别分割，同类别的实例靠近，不相似的类别远离，对于每个已知类别，维护一个原型向量，假设为假设为类别的中间层特征，则类别中间层特征的对比损失函数为：；；为距离函数，为中间层特征与原型向量的距离，为相同类别和不相似类别之间的阈值，不同类别实例间的距离要大于该阈值，为欧氏距离，设置为10；在训练时，
通过最小化对比损失来保证特征空间上的类别分割；采用RPN的预测框进行未知目标标注，将预测框中置信度分数高且与已知类别真值无重叠的预设个预测框归类为未知目标，并将其特征加入未知列表的特征队列中；采用基于能量的分类器，学习输入特征F与标签L之间的匹配程度，用来识别未知目标；当检测到的未知类别达到一定数量时，对未知类别进行标注，采用类别增量学习方法对新的类别进行学习。4.如权利要求1所述的消防通道占用检测方法，其特征在于，根据所述消防通道开放场景目标检测模型对室内外消防通道的实时监控视频进行目标检测，得到模型输出结果，包括：接入实时监控视频流，按照一定间隔进行取帧，得到视频帧；对视...

【专利技术属性】
技术研发人员：刘红利，闾凡兵，吴婷，熊肖一，
申请(专利权)人：长沙海信智能系统研究院有限公司，
类型：发明
国别省市：