一种具有尺度协调机制的实时视觉目标识别方法技术

一种具有尺度协调机制的实时视觉目标识别方法，以目标分割确定待识别主体的大小，协调实时目标跟踪中待识别区域的尺度，从而提高识别精度。该方法首先对采集到的图像按对比度作图像分割，将待识别主体从背景中分割出来以确定待识别主体的大小。此外，在普通的实时视觉目标识别流程中，目标跟踪算法计算出每一帧中跟踪目标主体位置，并将主体位置提供给目标识别算法完成识别。当目标分割后的主体大小与目标跟踪后的主体大小之比高于阈值时，启动尺度协调机制，以目标分割大小为准，调整识别框基于跟踪框的扩大倍数。所提方法能够有效应对目标主体形变、旋转等问题。

A Real-time Vision Target Recognition Method with Scale Coordination Mechanism

【技术实现步骤摘要】
一种具有尺度协调机制的实时视觉目标识别方法
本专利技术涉及目标识别领域，尤其涉及一种具有尺度协调机制的实时视觉目标识别方法。
技术介绍
随着计算机技术的发展，目标识别由于其在视频监控、场景理解、人机交互等方面具有很高的应用价值，成为了计算机领域的研究热点。视觉目标的实时识别技术涵盖目标定位与目标识别两个环节，其可以定义为，给定视频流中第一帧图像中感兴趣目标的矩形框，作为跟踪算法的输入，估计出所选目标在接下来每帧图像中的位置及大小，上述目标位置及大小再作为识别算法的输入，推理出待识别目标的所属类别。近年来，无论在目标跟踪领域还是目标识别领域均有大量改进算法被提出。但在实际应用中，目标跟踪与目标识别对目标尺度的需求存在亟待解决的矛盾。具体表现为，对于目标跟踪环节，为尽可能减少背景噪声的引入，跟踪区域应尽可能不覆盖背景区域，因此给定感兴趣目标矩形框尽可能小时跟踪效果更好。而对于目标识别环节，待识别区域包含目标特征越多时识别精度越高，因此待识别目标矩形框尽可能大时识别精度更高。综上，为了在保证跟踪效果前提下尽可能提高识别精度，有必要对两个环节中目标区域尺度进行调整。
技术实现思路
本专利技术为解决目标跟踪与目标识别之间存在的矛盾，提出了一种基于目标分割的具有尺度协调机制的实时视觉目标识别方法。该方法首先对采集到的图像按对比度作图像分割，将待识别主体从背景中分割出来以确定待识别主体的位置及大小。此外，在普通的实时视觉目标识别流程中，目标跟踪算法计算每一帧中跟踪目标主体位置，并将主体位置提供给目标识别算法完成识别。当目标分割后的主体大小与目标跟踪后的主体大小之比高于阈值时，启动尺度协调机制，以目标分割大小为准，调整识别框基于跟踪框的扩大倍数，所提方法能够有效应对当目标主体形变、旋转等问题。本专利技术的具体技术方案如下：一种具有尺度协调机制的实时视觉目标识别方法，其步骤为：步骤1：采集图像，输入视频流序列；步骤2：目标检测，确定首帧感兴趣目标的位置与尺寸；步骤3：目标跟踪，分别提取目标区域内的HOG特征与颜色直方图特征，初始化跟踪器；步骤4：跟踪框，分别计算相关滤波跟踪器的响应、贝叶斯概率模型跟踪器的响应，将二者进行线性融合，综合响应最大的位置处，为目标的位置估计；引入单独的相关性滤波尺度估计机制，将不同尺度大小图像块统一到固定模板大小，寻找最优尺度估计，根据目标位置和尺度估计做出跟踪框；步骤5：目标识别，依据目标跟踪估计出的目标位置将待识别目标在原图像中裁剪出来，然后将待识别区域的尺寸归一化到自制数据集训练卷积神经网络CNN中输入尺寸参数，在训练好的CNN参数上进行一次前向传播得到推理结果作为识别框输出。步骤6：目标分割，每一帧图像在目标跟踪更新目标位置的同时，依据对比度分割出图像中的显著区域即为目标区域，在数字图像中通过计算每一个像素与周围的对比度来表示其显著性即属于目标的可能性，显著性越高则越可能属于目标，将显著性较高与较低区域分别以二值图像中的0和1表示，即完成目标分割，做出分割框；步骤7：尺度更新判定，计算分割框边长D2与识别框边长D1的比值，当比值大于阈值时，启动尺度协调机制，以目标分割大小为准，调整识别框基于跟踪框的扩大倍数，继续迭代跟踪以及对识别框进行实时识别，使识别框按比例增大为分割框大小；若比值小于阈值，不作任何处理，继续分割下一帧。所述的步骤5中目标识别过程中，以目标分割确定待识别主体的大小，协调实时目标跟踪中跟踪区域的尺度，基于协调后的尺度确定目标识别中的待识别区域，从而提高识别精度。专利技术有益效果：第一，本专利技术中充分利用了图像分割技术，针对目标跟踪与识别过程对目标尺度需求的不同，将目标分割结果作为目标参考大小，适时调整待识别区域大小。第二，本专利技术在普通目标跟踪加目标识别流程的旁支增加目标分割过程作为位置校正，当尺度更新判定满足条件时更新一次目标位置，而推理过程不需等待判定结果，保证算法实时性。第三，本专利技术提出了一种尺度协调机制，既保留了目标跟踪与目标识别各自的优势，同时有效解决二者在尺度需求上的冲突。附图说明图1为本专利技术的目标识别方法结构框图。图2为尺度协调机制中是否跟新尺度的两个实例。具体实施方式一种具有尺度协调机制的实时视觉目标识别方法，其步骤为：步骤1：采集图像，输入视频流序列；步骤2：目标检测，确定首帧感兴趣目标的位置与尺寸；步骤3：目标跟踪，分别提取目标区域内的HOG特征与颜色直方图特征，初始化跟踪器；步骤4：跟踪框，分别计算相关滤波跟踪器的响应、贝叶斯概率模型跟踪器的响应，将二者进行线性融合，综合响应最大的位置处，为目标的位置估计；引入单独的相关性滤波尺度估计机制，将不同尺度大小图像块统一到固定模板大小，寻找最优尺度估计，根据目标位置和尺度估计做出跟踪框；步骤5：目标识别，依据目标跟踪估计出的目标位置将待识别目标在原图像中裁剪出来，然后将待识别区域的尺寸归一化到自制数据集训练卷积神经网络CNN中输入尺寸参数，在训练好的CNN参数上进行一次前向传播得到推理结果作为识别框输出。步骤6：目标分割，每一帧图像在目标跟踪更新目标位置的同时，依据对比度分割出图像中的显著区域即为目标区域，在数字图像中通过计算每一个像素与周围的对比度来表示其显著性即属于目标的可能性，显著性越高则越可能属于目标，将显著性较高与较低区域分别以二值图像中的0和1表示，即完成目标分割，做出分割框；步骤7：尺度更新判定，计算分割框边长D2与识别框边长D1的比值，当比值大于阈值时，启动尺度协调机制，以目标分割大小为准，调整识别框基于跟踪框的扩大倍数，继续迭代跟踪以及对识别框进行实时识别，使识别框按比例增大为分割框大小；若比值小于阈值，不作任何处理，继续分割下一帧。所述的步骤5中目标识别过程中，以目标分割确定待识别主体的大小，协调实时目标跟踪中跟踪区域的尺度，基于协调后的尺度确定目标识别中的待识别区域，从而提高识别精度。如图2所示，第一行样例和第二行样例分别对应同一视频流中第2帧和第108帧，该视频为野外场景中黄喉貂的运动视频，由跟踪结果中跟踪框可知，第2帧与第108的跟踪效果均佳，但由于黄喉貂个体发生侧转，使得跟踪框中始终只覆盖到黄喉貂的腿部。对比目标分割结果，其中第2帧目标主体所在外接正方形的分割框所示，与跟踪结果的识别框重合度较高，因此识别框尺度不必更新，而第108帧主体所在外接正方形的分割框与跟踪结果的识别框重合度较低，因此需将识别框更新为目标分割后分割框大小。以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。本文档来自技高网...

【技术保护点】
1.一种具有尺度协调机制的实时视觉目标识别方法，其特征在于，其步骤为：步骤 1：采集图像，输入视频流序列；步骤 2：目标检测，确定首帧感兴趣目标的位置与尺寸；步骤 3：目标跟踪，分别提取目标区域内的 HOG 特征与颜色直方图特征，初始化跟踪器；步骤 4：跟踪框，分别计算相关滤波跟踪器的响应、贝叶斯概率模型跟踪器的响应，将二者进行线性融合，综合响应最大的位置处，为目标的位置估计；引入单独的相关性滤波尺度估计机制，将不同尺度大小图像块统一到固定模板大小，寻找最优尺度估计，根据目标位置和尺度估计做出跟踪框；步骤 5：目标识别，依据目标跟踪估计出的目标位置将待识别目标在原图像中裁剪出来，然后将待识别区域的尺寸归一化到自制数据集训练卷积神经网络CNN中输入尺寸参数，在训练好的 CNN 参数上进行一次前向传播得到推理结果作为识别框输出；步骤 6：目标分割，每一帧图像在目标跟踪更新目标位置的同时，依据对比度分割出图像中的显著区域即为目标区域，在数字图像中通过计算每一个像素与周围的对比度来表示其显著性即属于目标的可能性，显著性越高则越可能属于目标，将显著性较高与较低区域分别以二值图像中的0和1表示，即完成目标分割，做出分割框；步骤 7：尺度更新判定，计算分割框边长 D2 与识别框边长 D1 的比值，当比值大于阈值时，启动尺度协调机制，以目标分割大小为准，调整识别框基于跟踪框的扩大倍数，继续迭代跟踪以及对识别框进行实时识别，使识别框按比例增大为分割框大小；若比值小于阈值，不作任何处理，继续分割下一帧。...

【技术特征摘要】
1.一种具有尺度协调机制的实时视觉目标识别方法，其特征在于，其步骤为：步骤1：采集图像，输入视频流序列；步骤2：目标检测，确定首帧感兴趣目标的位置与尺寸；步骤3：目标跟踪，分别提取目标区域内的HOG特征与颜色直方图特征，初始化跟踪器；步骤4：跟踪框，分别计算相关滤波跟踪器的响应、贝叶斯概率模型跟踪器的响应，将二者进行线性融合，综合响应最大的位置处，为目标的位置估计；引入单独的相关性滤波尺度估计机制，将不同尺度大小图像块统一到固定模板大小，寻找最优尺度估计，根据目标位置和尺度估计做出跟踪框；步骤5：目标识别，依据目标跟踪估计出的目标位置将待识别目标在原图像中裁剪出来，然后将待识别区域的尺寸归一化到自制数据集训练卷积神经网络CNN中输入尺寸参数，在训练好的CNN参数上进行一次前向传播得到推理结果作为识别框输出；步骤6：目标分割，每一帧图像在目标跟踪...

【专利技术属性】
技术研发人员：王鸿鹏，宋玉琳，代婉，
申请(专利权)人：南开大学，
类型：发明
国别省市：天津,12