多特征融合的卡口图像前车窗的定位与提取方法技术

本发明专利技术提供一种多特征融合的卡口图像前车窗的定位与提取方法，包括：对车辆的边界进行定位并按边界剪裁；定位车辆的车牌；建立车牌与车窗边界的关系，对车窗进行粗定位并按边界剪裁；对粗定位的车窗进行区域划分，得到车窗的候选区域；对各个候选区域提取形态学建筑物指数、形状、密封条光谱三种特征；对三种特征进行融合并建立融合函数，实现车窗的精定位，并裁剪出车窗。本发明专利技术通过对车窗进行多特征提取，避免了单特征只适应于某一特殊环境的局限性，不仅提高了车窗检测的精确度还使得本发明专利技术具有较好的鲁棒性。

【技术实现步骤摘要】

本专利技术涉及一种定位技术，特别是一种多特征融合的卡口图像前车窗的定位与提 取方法。
技术介绍
随着科技的发展，法律制度的完善与加强，自动检测驾驶员是否按规定安全驾驶 将成为智能交通系统中一个重要组成部分。而车窗定位是自动检测安全驾驶的一个前期工 作，车辆是否按规定粘贴环保标志，驾驶员是否系安全带以及行驶中打电话将都在车窗区 域内搜索，因此如何更准确、快速的定位前车窗将是智能交通系统的一个关键点。 车窗具有通透性和吸光性，对于卡口图像，车窗内的景象会映射在车窗上，光照的 变化、树影等都将反射在车窗上，这将导致车窗被遮挡或车窗的颜色改变；车窗因车型不 同，自身形状各异，车辆颜色多样、车辆距离摄像机采拍点的远近而导致同类型车的车窗的 大小不同等因素，都使得直接对卡口图像进行车窗定位难度较大。同时，仅从图像分析角度 来说，很难排除干扰区域或者认定该区域是车窗。 针对前车窗定位方法，现有的技术多直接提取车窗特征，比如颜色特征和直线特 征，从而达到定位的效果。但其精确度较低且准确性较差，无法满足实际需求。
技术实现思路
本专利技术的目的在于提供一种更精确的前车窗定位方法。为了解决上述技术问题， 公开一种基于，包括车体定位、车牌定位、 车窗粗定位、候选区域分割、多特征提取、特征融合、车窗精定位、车窗提取。 -种，包括： 步骤1，对车辆的边界进行定位并按边界剪裁； 步骤2,定位车辆的车牌； 步骤3,建立车牌与车窗边界的关系，对车窗进行粗定位并按边界剪裁； 步骤4,对粗定位的车窗进行区域划分，得到车窗的候选区域； 步骤5,对各个候选区域提取形态学建筑物指数、形状、密封条光谱三种特征； 步骤6,对三种特征进行融合并建立融合函数，实现车窗的精定位，并裁剪出车窗。 本专利技术与现有技术相比，具有以下优点：通过对车窗进行多特征提取，避免了单特 征只适应于某一特殊环境的局限性，不仅提高了车窗检测的精确度还使得本专利技术具有较好 的鲁棒性。 下面结合说明书附图对本专利技术做进一步描述。【附图说明】 图1为本专利技术方法流程图。 图2 MBI特征提取流程图。 图3(a)至（q)案例图片的各个步骤的结果示意图，图3(r) (s)是候选区域形状特 征的结果图，图3(t)是最终的车窗定位图。 具体实施方 结合图1，本专利技术主要包括以下步骤： 步骤1，输入卡口图像，对车辆进行定位； 步骤2,对检测到的车辆进行车牌定位； 步骤3,根据车牌的中心点与车窗四个边界的关系，对车窗进行粗定位； 步骤4,根据车窗的宽度特征，对粗定位的车窗进行区域划分，得到车窗的候选区 域； 步骤5,对各个候选区域提取三种特征，对三种特征进行有效的融合； 步骤6,根据融合函数，找到最符合条件的车窗区域，实现车窗的精定位，并裁剪出 车窗； 为了便于理解，我们将做如下的字符说明，原始卡口图像为I，车体定位后的图像 I'，车窗粗定位的图像为I"，调整左右边界后的车窗粗定位图像为CAR1。 步骤1包括车体上下边界定位、车体左右边界粗定位和车体左右边界精定位，具 体地： (1)车体上下边界定位包括： 步骤111 :输入卡口图像I，如图3(a)所示，对其进行灰度化和高斯滤波； 步骤112 :用水平模板? &6对步骤ill所得的图像I进行模板 滤波，即对图像像素点进行卷积m阈值化处理，这里的阈值是用最大类 间方差法获得，得到图像IG，如图3(b)所示； 步骤113 :用正方形结构元sel = ，即边长为3,对IG进行连续i = 3次的 膨胀操作，得到水平二值图像IGH，如图3(c)所示，再用积分投影法对IGH按公式（1)进行 水平方向投影，得到集合HGCl) 式⑴中，I(x，y)表示待处理的水平二值图像中该点的值，η表示第X行的所有像 素点的个数，y是列。 步骤114 :对于YIG中长度小于dl = 30的行，则该行为0,单位为像素，取YIG中 非零的第一个元素所在的行数为上边界，YIG中非零的最后一个元素所在的行数为下边界。 (2)车体左右边界粗定位的方法与车体上下边界定位相似，不同的是在步骤113 中，是对垂直二值图像进行竖直方向投影，如图3(d)所示，包括： 步骤121，对输入的卡扣图像进行灰度化和高斯滤波处理得到图像I ; 步骤122,采用水平模彳/256对图像τ进行模板滤波后，得到 结果的绝对值采用最大类间方差法进行阈值化处理，得到图像IG ; 步骤123,采用正方形结构元sel = ，对图像IG进行连续3次的膨胀操作， 得到垂直二值图像IGH' ； 步骤124，采用积分投影法^^) = 1./'(^'）对图像16!1'进行竖直方向上的投影， ^=I 得到集合YIG'，其中Γ (x，y)为图像IGH'点（x，y)的值，η表示第X行的所有像素点的个 数，y表不是第y列； 步骤125,重新定义YIG'中长度小于40的列为0,取YIG'中非零的第一个元素 所在的列数为车体左边界，取YIG'中非零的最后一个元素所在的列数为车体右边界； (3)车体左右边界精定位 步骤131 :将水平二值图像和垂直二值图像相加，对新的图像进行竖直方向投影， 得到集合XIG ; 步骤132 :对XIG标记连通区域，若相邻的连通区域间隔小于d2 = 10个像素点， 则合并相邻的连通区域，更新所有的连通区域后，找到长度最大的连通区域，则该区域的左 右边界即为车体的左右边界，记录车体左右边界的位置。在原始的图像I上按照所得的边 界裁剪，得到图像I'，如图3(e)所示。 步骤2包括以下具体步骤： 步骤21 :对步骤1中所得的图像I '用竖直方向的Sobel算子进行边缘检测，用se2 =的长方形结构元，即长为13宽为15,对边缘图像进行闭开操作，再用长方形结 构元se3 = ，即长为10个像素点，宽为5个像素点，进行腐蚀操作，删除面积小于d3 =20的区域后，再用se3 = 对之进行膨胀操作，删除面积小于d4 = 500的区域，得 到包含候选的连通的车牌区域，如图3(f)所示； 步骤22 :对步骤21所得的连通区域，标志连通区域的最小外接矩阵，若两个区域 的水平高度相差d4 < 6个像素点的距离，同时竖直间隔，即第一个区域外接矩阵的右边界 与第二个区域的左边界的间隔不大于d5 = 70个像素点的距离，则合并这两个区域； 步骤23 :更新各个连通区域的最小外接矩形，依据最小外接矩形的长宽比例和长 宽的大小，由车牌的结构特性，即要满足一定的长宽比2. 5 < rl < 7和宽度15 < widthi < 55和长度50 < Ienl < 180,筛选出满足以上条件的候选区域，如图3(g)所示； 步骤24 :从候选的车牌区域中按照车牌通常居于车体中间这一对称性，将与车体 中心间隔最小且位于车体底部的连通区域标记为车牌区域； 步骤25 :计算车牌区域的中心点（Cx，Cy)，车牌的长度Clen，其中当前第1页1 2 3 4 本文档来自技高网...

【技术保护点】
一种多特征融合的卡口图像前车窗的定位与提取方法，其特征在于，包括：步骤1，对车辆的边界进行定位并按边界剪裁；步骤2，定位车辆的车牌；步骤3，建立车牌与车窗边界的关系，对车窗进行粗定位并按边界剪裁；步骤4，对粗定位的车窗进行区域划分，得到车窗的候选区域；步骤5，对各个候选区域提取形态学建筑物指数、形状、密封条光谱三种特征；步骤6，对三种特征进行融合并建立融合函数，实现车窗的精定位，并裁剪出车窗。

【技术特征摘要】

【专利技术属性】
技术研发人员：曹国，曲宝珠，尚岩峰，孙权森，
申请(专利权)人：南京理工大学，
类型：发明
国别省市：江苏;32