一种多目标智能成像与识别装置及方法制造方法及图纸

本发明专利技术公开了一种多目标智能成像与识别装置及方法，所述装置包括：连接在一起的定焦变焦光学防抖镜头、电荷耦合器件CCD、电子轰击电荷耦合器件EBCCD成像ISP图像处理模块、镜头变焦、对焦、光学防抖驱动模块、多目标图像识别处理模块、HDMI输出接口、网络输出接口、USB接口。所述方法通过成像画面中目标跟踪锁定的办法，根据目标图像的准确位置区域内的目标区域成像计算对比后，采用这些局部目标特征的参数的最佳值去调节ISP的对焦、曝光、白平衡的参数以使得需要被识别目标成像能达到最高成像清晰度，提高了目标的识别率，解决了以往成像中识别的目标图像成像不佳，而其他非识别对象过于清晰的问题。

A multi-target intelligent imaging and recognition device and method

【技术实现步骤摘要】
一种多目标智能成像与识别装置及方法
本专利技术涉及一种多目标智能成像与识别装置及方法，属于智能成像

技术介绍
传统的成像抓拍设备摄像机、DV、照相机、录像机、实时图像采集设备，在使用过程中成像设备在顺光、逆光、外界震动、运动的条件下导致在图像采集中需要做识别的目标画面模糊、暗淡不明的现象时有发生，最终导致后期做图像目标识别中无法识别或分辨识别度降低。传统模式的成像是通过计算画面整体来调整ISP成像参数的，通过对焦、白平衡、曝光的算法来调整成像画面的质量，不足之处是不需要的背景拍摄得很清晰，需要做目标识别的局部画面成像效果不佳，最后导致后期用户做目标识别和分析时效果变差。例如，申请号为201480013211.7的智能成像系统，包括智能芯片以及与智能芯片连接的微型拍照镜头和显示屏，以及一种安装有智能成像系统的捕虫装置，包括灯罩、固定板、设置在灯罩内的捕虫装置以及智能成像系统，所述捕虫装置包括粘纸、卷筒以及粘纸架。例如，申请号为201821849597.7的智能成像设备包括前盖、嵌入式处理模块、图像采集模块、电池模块和后壳；所述嵌入式处理模块、图像采集模块和电池模块均收容于前盖与后壳配合后形成的内腔中，所述图像采集模块的一端安装在后壳上。综上所述，在环境背景复杂的画面中，传统的成像设备将非识别目标，如树木、水、沙地、建筑物的拍摄得非常清楚，需要做识别的人、车、动物的目标拍摄得成像不佳，即传统技术存在成像中识别的目标图像成像不佳而其他非识别对象过于清晰的缺点。
技术实现思路
为解决在不同环境下目标图像采集昏暗模糊且目标图像成像不佳的问题，本专利技术提出一种多目标智能成像与识别装置及方法。本专利技术所述装置包括：固定在机架上的定焦变焦光学防抖镜头、电荷耦合器件CCD、电子轰击电荷耦合器件EBCCD成像ISP图像处理模块、镜头变焦(ZOOM)、对焦(FOCUS)、光学防抖(OIS)驱动模块、多目标图像识别处理模块、HDMI输出接口、网络输出接口、USB接口。所述电荷耦合器件CCD、电子轰击电荷耦合器件EBCCD能够由CMOS传感器代替。定焦变焦光学防抖镜头与电荷耦合器件CCD、电子轰击电荷耦合器件EBCCD成像ISP图像处理模块的光学成像轴线重合；多目标图像识别处理模块滑动架能够前后移动，以适应安装多种规格的前端电荷耦合器件CCD、电子轰击电荷耦合器件EBCCD成像ISP图像处理模块。定焦变焦光学防抖镜头、电荷耦合器件CCD、电子轰击电荷耦合器件EBCCD成像ISP图像处理模块和变焦光学防抖镜头的光轴轴线重合，以使定焦变焦光学防抖镜头与电荷耦合器件CCD、电子轰击电荷耦合器件EBCCD成像ISP图像处理模块中的电荷耦合器件CCD或CMOS传感器成像器件之间的轴向垂直，并使焦距对齐并将外界景物清晰地成像到电荷耦合器件CCD、电子轰击电荷耦合器件EBCCD成像ISP图像处理模块的器件焦平面上。本专利技术所述装置的主体机架的材料为金属、塑料、尼龙、电胶木、木质、有机玻璃之一。HDMI输出接口能将原始采集ISP处理后的图像在显示器上实时输出，网络输出接口能通过以太网口输出分类跟踪定位的结构化数据，其他控制外设通过USB接口与本专利技术所述装置连接，通过USB接口设定ISP参数和控制设备的光学变焦防抖镜头。本专利技术所述装置中的定焦变焦光学防抖镜头与电荷耦合器件CCD、电子轰击电荷耦合器件EBCCD成像ISP图像处理模块在装配时是同光轴安装与装配，电荷耦合器件CCD、电子轰击电荷耦合器件EBCCD成像ISP图像处理模块和定焦变焦光学防抖镜头的光轴轴线重合，以使定焦变焦光学防抖镜头与电荷耦合器件CCD、电子轰击电荷耦合器件EBCCD成像ISP图像处理模块中的电荷耦合器件CCD或CMOS传感器成像器件之间的轴向垂直，焦距对齐并能将外界景物清晰地成像到电荷耦合器件CCD、电子轰击电荷耦合器件EBCCD成像ISP图像处理模块的器件焦平面上。HDMI输出接口、网络输出接口与系统外设连接，其中HDMI输出接口输出实时目标图像，网络输出接口输出结构化分类数据与图片。将本专利技术所述装置固定于任何一种支架中，将HDMI视频输出接口接入显示器，将网络输出接口接入计算机主机，通过设定相关参数就能正常使用设备，将USB接口接入计算机主机或控制外设，通过设定相关参数就能设定对ISP参数调整和正常控制设备的变焦镜头。本专利技术所述一种多目标智能成像与识别方法包括以下步骤：步骤1，采用了新的YOLO_V3算法和CornerNet-Lite神经网络的算法，以提高目标跟踪的准确率和速度：步骤1.1，新的Yolo_v3算法采用一个单独的卷积CNN模型实现端到端(end-to-end)的目标检测，将采集的数字输入图片resize到448x448，送入CNN网络，处理网络预测结果得到检测的目标以及目标大小和位置；YOLO_V3将图片分成S*S个块，每个单元格预测B个边界框(boundingbox)以及边界框的置信度(confidencescore)；置信度包含＝边界框中目标存在的可能性大小、边界框的位置准确度，记做Pr(obj)，当框中没有目标物，则Pr(obj)＝0，当含有目标物则Pr(obj)＝1；步骤1.2，边界框的位置的准确度的判断：采用了一种称为IOU(交并比)的方法，即预测的框与真实的框相交的面积，和预测的框与真实框合并的面积的比例，记做IOU(pred)，置信度定义为这两项相乘；步骤1.3，每个格子预测的边界框表示如下：边界框的大小和位置能用四个值来表示，(x,y,w,h)，x，y是指预测出的边界框的中心位置相对于格子的左上角位置的偏移量，偏移量是以格子的大小为一个单位，(x,y,w,h,c)这五个值理论上都在[0,1]区间上，最后一个c是置信度，一个网格预测多个框，置信度是用来评判哪一个框是预测最准确的边界框，使用维度聚类的方法来预测边界框，每个单元格预测3个尺寸：步骤1.4，在YOLO_V3神经网络的算法训练期间，使用平方误差损失的总和，设定对于一些坐标预测的值是t^*，梯度就是由groundtruthbox计算出的groundtruth的值减去预测值：t^*-t*，逆算就能算出groundtruth的值，YOLO_V3使用逻辑回归的方法给每个boundingbox预测一个对象分数，算法只为每个groundtruth对象分配一个边界框。步骤2，分类预测：步骤2.1，类别预测，是将原来的单标签分类改进为多标签分类，网络结构上就将原来用于单标签多分类的softmax层换成用于多标签多分类的Logistic分类器；步骤2.2，Yolov2网络中的Softmax分类器，认为一个目标只属于一个类别，通过输出Score大小，使得每个框分配到Score最大的一个类别，原来分类网络中的softmax层都是假设一张图像或一个object只属于一个类别，但是在一些场景下，一个object可能属于多个类，当类别中有woman和person这两个类，当一张图像中有一个wo本文档来自技高网...

【技术保护点】
1.一种多目标智能成像与识别装置，其特征在于，包括：固定在机架上的定焦变焦光学防抖镜头、电荷耦合器件CCD、电子轰击电荷耦合器件EBCCD成像ISP图像处理模块、镜头变焦、对焦、光学防抖驱动模块、多目标图像识别处理模块、HDMI输出接口、网络输出接口、USB接口；所述电荷耦合器件CCD、电子轰击电荷耦合器件EBCCD能够由CMOS传感器代替；所述定焦变焦光学防抖镜头与电荷耦合器件CCD、电子轰击电荷耦合器件EBCCD成像ISP图像处理模块的光学成像轴线重合；所述多目标图像识别处理模块滑动架能够前后移动以适应安装多种规格的前端电荷耦合器件CCD、电子轰击电荷耦合器件EBCCD成像ISP图像处理模块。/n

【技术特征摘要】
1.一种多目标智能成像与识别装置，其特征在于，包括：固定在机架上的定焦变焦光学防抖镜头、电荷耦合器件CCD、电子轰击电荷耦合器件EBCCD成像ISP图像处理模块、镜头变焦、对焦、光学防抖驱动模块、多目标图像识别处理模块、HDMI输出接口、网络输出接口、USB接口；所述电荷耦合器件CCD、电子轰击电荷耦合器件EBCCD能够由CMOS传感器代替；所述定焦变焦光学防抖镜头与电荷耦合器件CCD、电子轰击电荷耦合器件EBCCD成像ISP图像处理模块的光学成像轴线重合；所述多目标图像识别处理模块滑动架能够前后移动以适应安装多种规格的前端电荷耦合器件CCD、电子轰击电荷耦合器件EBCCD成像ISP图像处理模块。


2.根据权利要求1所述的一种多目标智能成像与识别装置，其特征在于，所述定焦变焦光学防抖镜头、电荷耦合器件CCD、电子轰击电荷耦合器件EBCCD成像ISP图像处理模块和变焦光学防抖镜头的光轴轴线重合。


3.根据权利要求1所述的一种多目标智能成像与识别装置，其特征在于，所述定焦变焦光学防抖镜头与电荷耦合器件CCD、电子轰击电荷耦合器件EBCCD成像ISP图像处理模块在装配时是同光轴安装与装配，电荷耦合器件CCD、电子轰击电荷耦合器件EBCCD成像ISP图像处理模块和定焦变焦光学防抖镜头的光轴轴线重合。


4.根据权利要求1所述的一种多目标智能成像与识别装置，其特征在于，所述装置的主体机架的材料为金属、塑料、尼龙、电胶木、木质、有机玻璃之一。


5.根据权利要求1所述的一种多目标智能成像与识别装置，其特征在于，所述HDMI输出接口、网络输出接口都与系统外设连接。


6.一种多目标智能成像与识别方法，其特征在于，包括以下步骤：
步骤1，采用了新的YOLO_V3算法和CornerNet-Lite神经网络的算法以提高目标跟踪的准确率和速度；
步骤2，分类预测；
步骤3，边界框预测：Yolo_v3预测3种不同尺度的框，采用FPN算法，融合多层特征映射信息；80类物体对应的输出张量为N×N×[3×(4+1+80)]，与Yolo_v2算法相同，使用k-means聚类来确定边界框的坐标，选择9个聚类(clusters)和3个尺度(scales)，在整个尺度上均匀分割聚类，在COCO图像数据集上，9个聚类是：(10×13)；(16×30)；(33×23)；(30×61)；(62×45)；(59×119)；(116×90)；(156×198)；(373×326)；
步骤4，特征提取。


7.根据权利要求6所述的一种多目标智能成像与识别方法，其特征在于，所述步骤1包括以下步骤：
步骤1.1，新的Yolo_v3算法采用一个单独的卷积CNN模型实现端到端(end-to-end)的目标检测，将采集的数字输入图片resize到448x448，送入CNN网络，处理网络预测结果得到检测的目标以及目标大小和位置；Yolo_v3将图片分成S*S个块，每个单元格预测B个边界框(boundingbox)以及边界框的置信度(confidencescore)；置信度包含两个方面，一是边界框中目标存在的可能性大小，二是边界框的位置准确度，记做Pr(obj)，当框中没有目标物，则Pr(obj)＝0，当含有目标物则Pr(obj)＝1；
步骤1.2，边界框的位置的准确度的判断：采用了一种称为IOU的方法，即预测的框与真实的框相交的面积，和预测的框与真实框合并的面积的比例，记做IOU，置信度定义为这两项相乘；
步骤1.3，每个格子预测的边界框表示如下：边界框的大小和位置能用四个值来表示，(x,y,w,h)，x，y是指预测出的边界框的中心位置相对于格子的左上角位置的偏移量，偏移量是以格子的大小为一个单位，(x,y,w,h,c)这五个值理论上都在[0,1]区间上，最后一个c是置信度，一个网格预测多个框，置信度是用来评判哪一个框是最准确的、最想得到的框，使用维度聚类的方法来预测边界框，每个单元格预测3个尺寸；
步骤1.4，在Yolo_v3神经网络的算法训练期间，使用平方误差损失的总和，设定对于一些坐标预测的值是t^*，梯度就是由groundtruthbox计算出的groundtruth的值减去预测值：t^*-t*，逆算就能算出groundtruth的值，Yolo_v3使用逻辑回归的方法给每个boundingbox预测一个对象分数，算法只为每个groundtruth对象分配一个边界框。


8.根据权利要求6所述的一种多目标智能成像与识别方法，其特征在于，所述步骤2包括以下步骤：
步骤2.1，类别预测，是将原来的单标签分类改进为多标签分类，网络结构上就将原来用于单标签多分类的softmax层换成用于多标签多分类的Logistic分类器；
步骤2.2，Yolov2网络中的Softmax分类器，认为一个目标只属于一个类别，通过输出Score大小，使得每个框分配到Score最大的一个类别，原来分类网络中的softmax层都是假设一张图像或一个object只属于一个类别，但是在一些场景下，一个object可能属于多个类，如类别中有woman和person这两个类，当一张图像中有一个woman，则检测的结果中类别标签就要同时有woman和person两个类，即多标签分类，需用Logistic分类器来对每个类别做二分类，Logistic分类器用到sigmoid函数，函数能将输入约束在0到1的范围内，当一张图像经过特征提取后的输出经过sigmoid函数约束后大于0.5，就表示属于边界框负责的目标；
步骤2.3，Yolov3采用多个scale融合的方式做预测，原来的Yolov2有一个层称为passthroughlayer，passthroughlayer是用于加强Yolo算法对小目标检测的精确度并在Yolov3中得到了进一步加强；
步骤2.4，在Yolov3中采用类似FPN(featurepyramidnetworks)的upsample和融合做法，融合了3个scale，两个sc...

【专利技术属性】
技术研发人员：王晛，高磊，费宝顶，张旭，尹继伟，
申请(专利权)人：北京中盾安全技术开发公司，
类型：发明
国别省市：北京;11