一种摊位检测与场景分割结合的游商检测方法及其系统技术方案

本发明专利技术公开了一种摊位检测与场景分割结合的游商检测方法及其系统，包括：获取视频压缩码流，并提取所述视频压缩码流包含的多帧图像数据；获取预训练的神经网络模型，将所述图像数据逐帧输入所述神经网络模型生成用于表征游商摊位的目标检测框；获取预训练的语义分割模型，将所述图像数据逐帧输入所述语义分割模型生成用于表征区域类别的原始分割图；逐一计算所述目标检测框在与其时间上对应的所述原始分割图中的场景语义信息，生成游商摊位检测结果。本发明专利技术通过提取目标检测框在原始分割图上对应的场景语义信息，使得用户无需预先配置摄像单元检测区域内的场景属性即可完成游商摊位检测，并使得摄像单元检测区域能够自由变换。变换。变换。

【技术实现步骤摘要】
一种摊位检测与场景分割结合的游商检测方法及其系统


[0001]本专利技术涉及图像检测
，具体涉及一种摊位检测与场景分割结合的游商检测方法及其系统。

技术介绍

[0002]违法摆摊经营，是指经营者占用城市道路、桥梁及城市广场等公共场所进行盈利性买卖商品或服务的行为。随着城市的不断发展，出店经营者和居民的利益冲突不断升级，许多出店经营者为挤占市民公共道路资源，严重破坏城市市容和经营秩序，其经营行为的弊端日益显现，城管部门对其取缔和整治任务迫在眉睫。
[0003]城管部门可以通过城市治安动态视频监控系统对违法摆摊事件进行监控。城市治安动态视频监控系统是以打击、预防违法犯罪为目的，在治安复杂场所、重点部位、主要街道、案件多发地段、重要路口、卡口等地点设立视频监控点，将监控图像实时传输到各级公安机关和其它相关部门，通过对图像的浏览、记录等方式，使各级公安机关和其它相关部门直观地了解和掌握监控区域的治安动态的视频监控系统。
[0004]传统的视频监控系统大多采取传统的人工判读方法，需要工作人员日夜值守在视频图像前，不间断地用肉眼判断视频图像中是否出现突发的异常情况。近年来出现了部分自动识别摊位的检测系统，但是其需要通过检测桌子、凳子、雨棚、摊位、地摊，配合手工绘制警戒区域达到识别游商摊贩行为。该方法需要手工绘制区域，实际应用中需要人工完成摄像头区域配置，一但摄像区域改变，其检测结果将失真。
[0005]综上所述，现有的自动识别摊位的检测方法存在适应性差、可靠性较低的问题。
[0006]专利技术内容
[0007]有鉴于此，本专利技术提供一种摊位检测与场景分割结合的游商检测方法及其系统，通过改进数据处理方法，解决了传统的自动识别摊位的检测方法存在的适应性差、可靠性较低的问题。
[0008]为解决以上问题，本专利技术的技术方案为采用一种摊位检测与场景分割结合的游商检测方法，包括：获取视频压缩码流，并提取所述视频压缩码流包含的多帧图像数据；获取预训练的神经网络模型，将所述图像数据逐帧输入所述神经网络模型生成用于表征游商摊位的目标检测框；获取预训练的语义分割模型，将所述图像数据逐帧输入所述语义分割模型生成用于表征区域类别的原始分割图；逐一计算所述目标检测框在与其时间上对应的所述原始分割图中的场景语义信息，生成游商摊位检测结果。
[0009]可选地，所述游商检测方法还包括：基于同类的所述目标检测框在单位时间内的所述视频压缩码流中的出现时间、基于单位时间内的所述视频压缩码流中出现的所述目标检测框的种类数量和基于不同类的所述目标检测框在单位时间内的所述视频压缩码流中出现的位置，生成重点检测区域。
[0010]可选地，计算同类的所述目标检测框在单位时间内的所述视频压缩码流中的出现时间，包括：若所述目标检测框仅在单位时间内的所述视频压缩码流的连续图像帧中存在，则基于所述连续图像帧的帧数和摄像单元的采集频率生成所述出现时间；若所述目标检测框在单位时间内的所述视频压缩码流的连续图像帧中存在且在单位时间内的所述视频压缩码流的非连续图像帧中存在，则计算所述目标检测框在单位时间内的所述视频压缩码流中的消失帧数，并基于所述消失帧数和摄像单元的采集频率生成间隔时间，若所述间隔时间小于时间阈值，则基于所述目标检测框在单位时间内的所述视频压缩码流中首次出现的图像帧和所述目标检测框在单位时间内的所述视频压缩码流中最后出现的图像帧生成持续帧数，并基于所述持续帧数和摄像单元的采集频率生成所述出现时间。
[0011]可选地，训练所述语义分割模型，包括：构建所述语义分割模型；获取包含人工标记行人的图像样本构成的训练数据集和测试数据集；基于所述训练数据集和所述测试数据集训练并测试所述语义分割模型。
[0012]可选地，构建的所述语义分割模型包括特征图提取层、池化金字塔和上采样降维结构。
[0013]相应地，本专利技术提供，一种摊位检测与场景分割结合的游商检测系统，包括：摄像单元，用于采集视频压缩码流；数据处理单元，用于获取视频压缩码流，并提取所述视频压缩码流包含的多帧图像数据；获取预训练的神经网络模型，将所述图像数据逐帧输入所述神经网络模型生成用于表征游商摊位的目标检测框；获取预训练的语义分割模型，将所述图像数据逐帧输入所述语义分割模型生成用于表征区域类别的原始分割图；逐一计算所述目标检测框在与其时间上对应的所述原始分割图中的场景语义信息，生成游商摊位检测结果。
[0014]可选地，所述摄像单元被配置为在采集视频压缩码流时，检测区域不固定。
[0015]可选地，所述数据处理单元还包括缓存模块，用于存储所述视频压缩码流、所述目标检测框和所述游商摊位检测结果。
[0016]本专利技术的首要改进之处为提供的摊位检测与场景分割结合的游商检测方法，通过在摊位检测的基础上进行场景分割，在提取了用于表征游商摊位的目标检测框，通过提取目标检测框所属的图像帧对应的原始分割图，使得目标检测框能够与原始分割图相匹配，提取目标检测框在原始分割图上对应的场景语义信息，从而完成游商摊位检测结果，使得用户无需预先配置摄像单元检测区域内的场景属性即可完成游商摊位检测，并使得摄像单元检测区域能够自由变换，解决了传统的自动识别摊位的检测方法存在的适应性差、可靠性较低的问题。
附图说明
[0017]图1是本专利技术的摊位检测与场景分割结合的游商检测方法的简化流程图；图2是本专利技术的语义分割模型的示例图；图3是本专利技术生成的原始分割图的示例图；图4是本专利技术的摊位检测与场景分割结合的游商检测系统的简化单元连接图。
[0018]具体实施方式
[0019]为了使本领域的技术人员更好地理解本专利技术的技术方案，下面结合附图和具体实施例对本专利技术作进一步的详细说明。
[0020]如图1所示，一种摊位检测与场景分割结合的游商检测方法，包括：获取视频压缩码流，并提取所述视频压缩码流包含的多帧图像数据；获取预训练的神经网络模型，将所述图像数据逐帧输入所述神经网络模型生成用于表征游商摊位的目标检测框；获取预训练的语义分割模型，将所述图像数据逐帧输入所述语义分割模型生成用于表征区域类别的原始分割图；逐一计算所述目标检测框在与其时间上对应的所述原始分割图中的场景语义信息，生成游商摊位检测结果。其中，所述目标检测框与其时间上对应的所述原始分割图被定义为：目标检测框所属的图像帧与所述原始分割图所属的图像帧相同；进一步的，所述游商检测方法还包括：基于同类的所述目标检测框在单位时间内的所述视频压缩码流中的出现时间、基于单位时间内的所述视频压缩码流中出现的所述目标检测框的种类数量和基于不同类的所述目标检测框在单位时间内的所述视频压缩码流中出现的位置，生成重点检测区域，从而根据所述重点检测区域调节摄像单元的检测区域，调节方法包括但不限于：将摄像单元的检测区域直接调节为所述重点检测区域；在摄像单元周期性检测一较大检测区域时，更新所述重点检测区域的权重，使得摄像头的检测区域与所述重点检测区域重合或摄像头的检测区域包含所述重点检测区域时，摄像头的停滞时间延长。并进一本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种摊位检测与场景分割结合的游商检测方法，其特征在于，包括：获取视频压缩码流，并提取所述视频压缩码流包含的多帧图像数据；获取预训练的神经网络模型，将所述图像数据逐帧输入所述神经网络模型生成用于表征游商摊位的目标检测框；获取预训练的语义分割模型，将所述图像数据逐帧输入所述语义分割模型生成用于表征区域类别的原始分割图；逐一计算所述目标检测框在与其时间上对应的所述原始分割图中的场景语义信息，生成游商摊位检测结果。2.根据权利要求1所述的游商检测方法，其特征在于，所述游商检测方法还包括：基于同类的所述目标检测框在单位时间内的所述视频压缩码流中的出现时间、基于单位时间内的所述视频压缩码流中出现的所述目标检测框的种类数量和基于不同类的所述目标检测框在单位时间内的所述视频压缩码流中出现的位置，生成重点检测区域。3.根据权利要求2所述的游商检测方法，其特征在于，计算同类的所述目标检测框在单位时间内的所述视频压缩码流中的出现时间，包括：若所述目标检测框仅在单位时间内的所述视频压缩码流的连续图像帧中存在，则基于所述连续图像帧的帧数和摄像单元的采集频率生成所述出现时间；若所述目标检测框在单位时间内的所述视频压缩码流的连续图像帧中存在且在单位时间内的所述视频压缩码流的非连续图像帧中存在，则计算所述目标检测框在单位时间内的所述视频压缩码流中的消失帧数，并基于所述消失帧数和摄像单元的采集频率生成间隔时间，若所述间隔时间小于时间阈值，则基于所述目标检测框在单位时间...

【专利技术属性】
技术研发人员：奚兴，沈复民，申恒涛，
申请(专利权)人：成都考拉悠然科技有限公司，
类型：发明
国别省市：