基于DCNN目标识别的车辆鸣笛监测方法及系统技术方案

一种基于DCNN目标识别的车辆鸣笛监测方法及系统，包括：控制单元、麦克风阵列和高清图像采集处理装置，其中：麦克风阵列和高清图像采集处理装置分别实时采集鸣笛声信号、视频流和静态图像并输出至控制单元，控制单元根据鸣笛声信号采用波束成型算法得到声压云图并与视频流进行叠加，得到带有声压覆盖范围的视频流，并根据静态图像提取出其中所有目标的感兴趣区域；最后根据声压覆盖范围和感兴趣区域进行重叠率计算，并进一步提取出目标中的号牌信息；本发明专利技术高效可靠，能有效防止误判。

【技术实现步骤摘要】
基于DCNN目标识别的车辆鸣笛监测方法及系统
本专利技术涉及的是一种智能交通管理领域的技术，具体是一种基于深度卷积神经网络(DCNN)目标识别的车辆鸣笛监测方法及系统。
技术介绍
目前基于麦克风阵列声源定位技术的机动车辆鸣笛抓拍取证系统，多为基于4*4结构的16模拟麦克风阵列系统辅以单张图片形式捕获，但此系统存在种种不足：麦克风阵列与光学摄像机需要分离安装，两者需要间隔20米，实际使用需要新立电警专用横杆导致部署、维护比较困难；单张的静态图片虽然可以反映违法车辆的外观及牌号，但无法反映违法过程的行为模式，容易受到违法驾驶员的质疑；最重要的一点，现有技术仅依赖于声学定位，由此限制了这些技术仅凭借鸣笛声音的时频特征，无法有效区别助动车、摩托车和普通机动车；并且由于声音存在有反射、绕射等现象，且道路环境复杂，时刻都在变化，麦克风阵列对声音定位的结果容易产生偏离，在车辆聚集的情况，尤其例如首尾相连的两辆以上机动车时极容易产生误判的情况。
技术实现思路
本专利技术针对现有技术存在的上述不足，提出一种基于深度卷积神经网络目标识别的车辆鸣笛监测方法及系统，融合麦克风阵列对鸣笛声的定位结果及深度卷积神经网络对图像中各类目标的分析、定位结果，由计算机AI智能判定实际鸣笛车辆，并给出其车牌、叠加声压云图的非法过程视频，形成证据链，可以将现有系统的准确率进一步提高。本专利技术是通过以下技术方案实现的：本专利技术涉及一种基于深度卷积神经网络目标识别的车辆鸣笛监测方法，通过实时鸣笛识别监测得到鸣笛发生时刻的声压云图，并在该时刻同步采集低解析度的视频流以及高解析度的静态图像；然后分别将声压云图与视频流叠加处理、采用深度卷积神经网络对静态图像进行识别并获得其中所有对象的感兴趣区域(RegionOfInterest，简称ROI)；再通过低解析度视频-高解析度图像之间的单帧配准处理得到图像坐标投影关系，得到投影到静态图像上的声压覆盖范围；最后通过比对感兴趣区域和声压覆盖范围，以重叠率最高的对象判定为鸣笛对象。所述的单帧配准处理是指：控制单元运行配准程序，配准程序自动采集同一时刻来自低分辨率摄像头和高清摄像头的两帧图像，进行配准，得到两帧图像中至少五个特征匹配控制点，计算出从低分辨率摄像头到高清摄像头的坐标投影关系。所述的同一时刻的时间差不超过40ms。所述的声压云图，通过对麦克风阵列采集的声信号进行实时鸣笛识别，当判定鸣笛发生，则采用波束成型算法(Beamforming)进行实时声源定位，生成包含鸣笛声源坐标的声压云图。所述的高解析度的静态图像，采用但不限于高清图像采集处理装置经触发拍摄的图像，或从高清视频流中根据触发信号提取得到的单帧图像。所述的感兴趣区域，通过预先训练好的深度卷积神经网络算法识别画面中的移动目标的类型，并给出各移动目标在画面中的感兴趣区域(ROI)；优选当目标为机动车辆时进一步识别其车牌信息。本专利技术涉及一种基于深度卷积神经网络(DCNN)目标识别的车辆鸣笛取证系统，包括：控制单元、麦克风阵列和高清图像采集处理装置，其中：麦克风阵列和高清图像采集处理装置分别实时采集鸣笛声信号、视频流和静态图像并输出至控制单元，控制单元根据鸣笛声信号采用波束成型算法得到声压云图并与视频流进行叠加，得到带有声压覆盖范围的视频流，并根据静态图像提取出其中所有目标的感兴趣区域；最后根据声压覆盖范围和感兴趣区域进行重叠率计算，并进一步提取出目标中的号牌信息。所述的麦克风阵列包括：外壳以及设置于外壳内的传感器板、低分辨率摄像头、数字信号采集模块和接口模块。所述的控制单元中设有图像处理模块，该图像处理模块为基于GPU加速计算的嵌入式图像处理模块，用于运行经过预先训练的深度卷积神经网络识别算法，从而判断得到图像画面中目标的类型、种类、坐标、范围和号牌。所述的车辆鸣笛取证系统中优选进一步包括执行单元，执行单元接收控制单元推送的鸣笛车辆的号牌，根据选配情况显示车辆号牌或违法图片。所述的执行单元采用但不限于高亮LED显示屏或智能交通用大型LED彩屏。技术效果与现有技术相比，本专利技术可以有效地降低系统误判率，尤其对于非目标机动车鸣笛，如助动车、摩托车鸣笛，有很高的识别率。同时对于由于监控范围外鸣笛声反射至监控范围内造成的误判，也有很高的排除效果。附图说明图1为车辆鸣笛取证系统的结构示意图；图2为麦克风阵列和高清图像采集处理装置安装示意图；图3为总体安装示意图；图4为控制单元程序流程图；图5为图像处理模块程序流程图；图6为叠加声压云图后的图像示意图；图7为识别鸣笛目标后的标记示意图；图8为最终输出图像示意图；图中：1高清图像采集处理装置、2麦克风阵列、3电警杆、4电箱；图9为实施例效果示意图；图中：A～H均为实施例中示意截图；本专利技术附图中的牌照号码及数字内容均经修改，与实际该牌照车辆无任何关系。具体实施方式如图1～图3所示，本实施例包括：电警杆3、电箱4、带有图像处理模块的控制单元、执行单元、麦克风阵列2和高清图像采集处理装置1，其中：麦克风阵列2实时采集鸣笛声信号和视频流，高清图像采集处理装置1实时采集高解析度的静态图片，图像处理模块从高清图像采集处理装置1采集的高解析度的静态图片中判别所有移动目标的类型及所在区域，当移动目标为机动车辆时同时识别其号牌；控制单元从麦克风阵列2采集的鸣笛声信号中获取鸣笛目标的坐标及范围，并结合图像处理模块的判别结果判断是否发生车辆鸣笛，进而将对应的识别的号牌上报并推送至执行单元，执行单元根据选配情况显示车辆号牌或违法图片。所述的麦克风阵列2和高清图像采集处理装置1可以但不限于设置于电警杆3的横杆上朝向监控区域，所述的麦克风阵列2包括：外壳、设置于外壳内的传感器板、低分辨率摄像头、数字信号采集模块和防雷、供电接口模块。所述的高清图像采集处理装置1为标准电警用高清图像采集处理装置1，提供高清视频流输出。所述的图像处理模块为基于GPU加速计算的嵌入式图像处理模块，用于运行经过预先训练的深度卷积神经网络识别算法，从而判断得到图像画面中目标的类型、种类、坐标、范围和号牌。所述的控制单元为无风扇工控机。所述的执行单元为高亮LED显示屏或智能交通用大型LED彩屏。本实施例的麦克风阵列2使用32通道数字微机械(MEMS)声音传感器，并进行防水透声处理；传感器的输出PDM信号序列经由基于FPGA的数字信号采集板卡采集并解调，得到32路同步采集的噪声信号；麦克风阵列2中央的低分辨率视频摄像头最高分辨率为720P，采集实时低分辨率视频流信号，由FPGA信号处理采集板合并32路噪声信号后，统一通过以太网交换机传送至控制单元。本实施例的高清图像采集处理装置1为电子警察常用700W像素高清晰度摄像头，配置为输出标准RTSP视频流信号。本实施例的图像处理模块为基于GPU的嵌入式系统，采用的型号为NVIDIAJetson-TX1，其上运行预先训练好的基于深度卷积神经网络的目标识别系统。本实施例的控制单元为使用Inteli7处理器的无风扇工控机，使用WindowsEmbededSystem操作系统，系统上电后自动运行采集、控制程序。本实施例的执行单元使用1.2m*1.2m的户外高亮LED显示屏，可以同时显示三个违法车辆号牌。步骤一、通过控制单元对麦克风阵列2上的低分本文档来自技高网...

【技术保护点】
1.一种基于深度卷积神经网络目标识别的车辆鸣笛监测方法，其特征在于，通过实时鸣笛识别监测得到鸣笛发生时刻的声压云图，并在该时刻同步采集低解析度的视频流以及高解析度的静态图像；然后分别将声压云图与视频流叠加处理、采用深度卷积神经网络对静态图像进行识别并获得其中所有对象的感兴趣区域；再通过低解析度视频‑高解析度图像之间的单帧配准处理得到图像坐标投影关系，得到投影到静态图像上的声压覆盖范围；最后通过比对感兴趣区域和声压覆盖范围，以重叠率最高的对象判定为鸣笛对象。

【技术特征摘要】
1.一种基于深度卷积神经网络目标识别的车辆鸣笛监测方法，其特征在于，通过实时鸣笛识别监测得到鸣笛发生时刻的声压云图，并在该时刻同步采集低解析度的视频流以及高解析度的静态图像；然后分别将声压云图与视频流叠加处理、采用深度卷积神经网络对静态图像进行识别并获得其中所有对象的感兴趣区域；再通过低解析度视频-高解析度图像之间的单帧配准处理得到图像坐标投影关系，得到投影到静态图像上的声压覆盖范围；最后通过比对感兴趣区域和声压覆盖范围，以重叠率最高的对象判定为鸣笛对象。2.根据权利要求1所述的方法，其特征是，所述的单帧配准处理是指：控制单元运行配准程序，配准程序自动采集同一时刻来自低分辨率摄像头和高清摄像头的两帧图像，进行配准，得到两帧图像中至少五个特征匹配控制点，计算出从低分辨率摄像头到高清摄像头的坐标投影关系。3.根据权利要求1所述的方法，其特征是，所述的声压云图，通过对麦克风阵列采集的声信号进行实时鸣笛识别，当判定鸣笛发生，则采用波束成型算法进行实时声源定位，生成包含鸣笛声源坐标的声压云图。4.根据权利要求3所述的方法，其特征是，所述的波束成型算法具体为：其中：V(k,w)为波数成型的均方值，k为为聚焦方向，w为角频率，M为传感器数量，Cnm为m号传声器接收声压信号相对于n号传声器接收声压信号的互谱，rm为m号传声器的坐标向量，rn为n号传声器的坐标向量。5.根据权利要求1所述的方法，其特征是，所述的感兴趣区域，通过预先训练好的深度卷积神经网络算法识别画面中的移动目标的类型，并给出各移动目标在画面中的感兴趣区域。6.根据权利要求5所述的方法，其特征是，当目标为机动车辆时进一步识别其车牌信息。7.根据权利要求1或5所述的方法，其特征是，所述的深度卷积神经网络，采用SSD目标检测神经网络，其训练采用基于深度学习的SSD目标识别算法，将图像离散为不同特征图点上生成的不同大小和宽高比的一组默认框，对每个默认框就不同种类物体的匹配进行打分，并且计算对边框的调整以更好的匹...

【专利技术属性】
技术研发人员：魏敦楷，李宏斌，邱国庆，梁冉，
申请(专利权)人：上海其高电子科技有限公司，
类型：发明
国别省市：上海,31