基于目标跟踪的半自动图像标注样本生成方法技术

本发明专利技术公开一种基于目标跟踪的半自动图像标注样本生成方法，该方法包括目标跟踪和半自动标注两个过程组成。通过利用目标跟踪机制生成一系列样本，同时设计了一种模板学习机制，用于目标区域的跟踪和检测，最后通过利用学习到的模板对视频或图像进行检测，并通过人工标注来辅助进行确认，从而生成标注样本。本发明专利技术的优点是能够通过利用很少的人力消耗来获取大量的标注图像样本。

【技术实现步骤摘要】
基于目标跟踪的半自动图像标注样本生成方法
本专利技术涉及一种基于目标跟踪的半自动图像标注样本生成方法，属于图像处理

技术介绍
图像标注的目标是建立图像区域与标注关键词之间的对应关系。图像标注通过建立低层视觉特征与高层语义之间的映射关系，可以在一定程度上解决图像检索中存在的“语义鸿沟”问题。图像标注可以分为手动标注和自动标注两类。使用人工的方式进行图像标注是最直接也是最有效的方式，但是这也是非常耗时耗力的一项工作。随着Internet和数字图像技术的发展，图像数据海量增长，传统的人工标注方法每次只能对一幅图像中的物体区域进行标注，使用人工来进行标注越来越费时耗力。因此越来越多的学者研究通过利用机器学习方法来进行自动图像标注，使用统计学习方法也需要大量的已标注样本作为训练集，然而，目前存在的已标注数据集相对较少。因此，本专利技术提出了一种基于目标跟踪的半自动图像标注样本生成方法，从而通过利用较少的人力消耗来获取更多的图像标注样本。
技术实现思路
专利技术目的：针对传统的人工标注方法每次只能对一幅图像中的物体区域进行标注的缺陷，本专利技术提供了一种基于目标跟踪的半自动图像标注样本生成方法，从而通过较少的人为干预获取更多的已标注图像样本。技术方案：一种基于目标跟踪的半自动图像标注样本生成方法，本方法包含两个过程，其步骤如下：目标跟踪过程：(11)在初始帧中人工标注感兴趣区域，作为待跟踪区域；(12)根据标注区域，生成初始正负样本；(13)根据正负样本，生成初始模板；(14)根据模板在下一帧中搜索最相似区域；(15)根据跟踪结果更新模板；(16)返回步骤(14)，迭代跟踪。标注过程：(21)利用学习到的模板对视频帧进行检测；(22)对检测出的候选区域进行跟踪；(23)对跟踪序列进行分类或者人工标注，保留正样本序列，去除错误跟踪序列；(24)保存正样本序列及其模板；(25)利用跟踪得到的模板，返回步骤(21)进行迭代；(26)对所有跟踪产生的图像序列进行人工确认。有益效果：与现有技术相比，本专利技术提供的基于目标跟踪的半自动图像标注样本生成方法，通过人工选择视频中的感兴趣区域进行自动跟踪，生成样本序列，并结合半自动标注技术，通过较少的人力消耗获取大量的已标注图像样本。附图说明图1是本专利技术实施例中的偏移窗口示意图，其中，实线矩形为正样本，虚线矩形为负样本；图2是本专利技术实施例中的样本扩展卷积算子示意图；图3是本专利技术实施例中的跟踪样本序列示意图，其中，前半段伟正样本(自行车)，后半段为负样本；图4是本专利技术实施例中的整体流程示意图。具体实施方式下面结合具体实施例，进一步阐明本专利技术，应理解这些实施例仅用于说明本专利技术而不用于限制本专利技术的范围，在阅读了本专利技术之后，本领域技术人员对本专利技术的各种等价形式的修改均落于本申请所附权利要求所限定的范围。基于目标跟踪的半自动图像标注样本生成方法，详细流程如下：目标跟踪过程：(1)给定分辨率为N×N的视频，对视频初始帧计算梯度，并人工标注出H×W的矩形物体区域，矩形物体区域的中心坐标为(m0,n0)，作为初始正样本x0，H和W分别是待跟踪图像窗口的高度和宽度。(2)根据初始正样本选择负样本，对矩形物体区域进行偏移，生成负样本其中Δi∈[-H/2,0)∪(0,H/2],Δj∈[-W/2,0)∪(0,W/2]表示横坐标和纵坐标的偏移，如图1所示。定义αΔiΔj为负样本的权重，δ指高斯函数标准差，这里使用高斯函数来定义αΔiΔj：(3)根据初始的正样本和负样本，生成模板w直接计算上述模板的复杂度很高，通过引入h其中h的示意图如图2所示。定义为以(m0,n0)为中心2H×2W矩形区域，其中包含了所有正负样本所对应的区域，通过利用h对进行卷积，可以很方便的求得模板通过利用FFT和IFFT，可以降低计算复杂度，首先利用FFT将h和转换到频域，然后点乘，最后再利用IFFT转换到时域得到模板w。在硬件支持的情况下，还可以使用GPU加速。(4)对视频帧t计算梯度，利用模板wt-1搜索当前帧中所有H×W区域中最相近的区域，定义距离函数为直接计算模板与帧t中所有H×W矩形区域距离的复杂度为O(NNHW)，为了能够加快计算速度，可以进行如下拆分：其中对于当前帧为常数；可以通过一个H×W的单位矩阵对当前帧进行卷积得到，对二维单位矩阵进行拆分，得到一维向量，可以进行快速的卷积；可以通过利用模板和当前帧进行卷积得到。通过利用FFT和IFFT可以将计算复杂度大幅降低，首先利用FFT将w和当前帧转换到频域，然后点乘，最后在利用IFFT转换到时域得到当前帧中每个像素的距离。为了进一步提高效率，可以只计算以(mt-1,nt-1)为中心的H×W区域内的距离。在硬件支持的情况下，还可以进一步使用GPU加速。(5)通过计算得到的距离获取正负样本其中表示跟踪结果，表示除外距离最小的目标区域，利用通过下面的公式来更新模板wt其中β∈(0,1)表示学习率。将加入正样本数据集，t＝t+1，重复步骤(4)(5)进行迭代跟踪，直至(mt,nt)超出图像范围，或人工停止跟踪。样本标注过程：(一)利用学习到的模板w对视频进行检测，获取若干候选区域(二)针对每个候选区域a)生成跟踪模板b)参考步骤(4)计算帧t中每个区域与模板的距离；c)参考步骤(5)生成正负样本并更新模板d)在任意时刻，执行如下操作：i.人工判断：通过人工标注去除错误的跟踪样本，保留正确样本；ii.自动判断：计算样本序列与模板的距离，去除距离不稳定的样本e)若样本被保留，则继续跟踪，t＝t+1，重复(b)(c)(d)，直至超出图像范围，或人工停止跟踪；(三)根据跟踪结果得到一组模板{wi,i＝1,...,K′}，K′为保留的正样本序列数量，同时获得一组正样本序列(四)从模板列表W＝w∪{wi,i＝1,...,K′}中随机选择一个模板，返回步骤(一)，重复执行，直至人工停止；(五)对获取到的正样本序列进行人工确认，如图3所示，进一步去除假阳性样本。通过多次试验证明，本专利技术的方法与现有技术相比，其显著优点是：(1)本方法直接使用像素级特征，而非提取直方图等特征，避免特征提取的时间消耗，同时能够描述图像区域中更多的判定信息，如形状、空间结构等。本申请中使用了梯度作为特征，但是本申请中所描述的机制可以使用适用于任意的像素特征，如直接使用灰度或RGB三通道颜色特征等。(2)对于每个正样本，本方法利用偏移产生负样本，从而使模板的计算鲁棒性更强，同时，本方法通过设计卷积算子h，如步骤(3)所示，利用h来对扩展正负样本，能够快速生成一系列负样本，其计算效率更高。(3)本方法利用距离分解，如步骤(4)所示，将计算复杂度较高的欧氏距离计算转化为两个卷积计算，从而可以利用FFT和IFFT进行加速，在硬件支持的情况下，还可以使用GPU加速，计算速度和效率较高。(4)本方法设计了一种在线模板更新机制，如步骤(5)所示，通过每次跟踪生成的正负样本，可以直接更新跟踪模板，而不需要利用之前的跟踪产生的所有正负样本进行重新训练，其训练更为简便且效率较高。(5)通过一次标注，进行跟踪可以得到大量的图像样本，通常视频每秒包含30帧，因此跟踪30秒即可产生900个样本，相比现有技术，通过利用很少的人力消耗，能够得到大量的标本文档来自技高网...

【技术保护点】
一种基于目标跟踪的半自动图像标注样本生成方法，其特征在于：包含两个过程，其步骤如下：目标跟踪过程：(11)在初始帧中人工标注感兴趣区域，作为待跟踪区域；(12)根据标注区域，生成初始正负样本；(13)根据正负样本，生成初始模板；(14)根据模板在下一帧中搜索最相似区域；(15)根据跟踪结果更新模板；(16)返回步骤(14)，迭代跟踪。标注过程：(21)利用学习到的模板对视频帧进行检测；(22)对检测出的候选区域进行跟踪；(23)对跟踪序列进行分类或者人工标注，保留正样本序列，去除错误跟踪序列；(24)保存正样本序列及其模板；(25)利用跟踪得到的模板，返回步骤(21)进行迭代；(26)对所有跟踪产生的图像序列进行人工确认。

【技术特征摘要】
1.一种基于目标跟踪的半自动图像标注样本生成方法，其特征在于：包含两个过程，其步骤如下：目标跟踪过程：(11)在初始帧中人工标注感兴趣区域，作为待跟踪区域；(12)根据标注区域，生成初始正负样本；(13)根据正负样本，生成初始模板；(14)根据模板在下一帧中搜索最相似区域；(15)根据跟踪结果更新模板；(16)返回步骤(14)，迭代跟踪；标注过程：(21)利用学习到的模板对视频帧进行检测；(22)对检测出的候选区域进行跟踪；(23)对跟踪序列进行分类或者人工标注，保留正样本序列，去除错误跟踪序列；(24)保存正样本序列及其模板；(25)利用跟踪得到的模板，返回步骤(21)进行迭代；(26)对所有跟踪产生的图像序列进行人工确认；步骤(11)中，在初始帧中人工标注感兴趣区域，作为待跟踪区域，给定分辨率为N×N的视频，对视频初始帧计算梯度，并人工标注出H×W的矩形物体区域，中心坐标为(m0,n0)，作为初始正样本x0；步骤(12)中，根据初始正样本x0选择负样本，对矩形物体区域进行偏移，生成负样本其中Δi∈[-H/2,0)∪(0,H/2],Δj∈[-W/2,0)∪(0,W/2]表示横坐标和纵坐标的偏移；定义αΔiΔj为负样本的权重，这里使用高斯函数来定义αΔiΔj：步骤(13)中，根据初始的正样本和负样本，生成跟踪模板w直接计算上述模板的复杂度很高，通过引入h定义为以(m0,n0)为中心2H×2W矩形区域，其中包含了所有正负样本所对应的区域，通过利用h对进行卷积，求得跟踪模板利用FFT将h和转换到频域，然后点乘，最后再利用IFFT转换到时域得到模板w；在硬件支持的情况下，使用GPU加速。2.如权利要求1所述的基于目标跟踪的半自动图像标注样本生成方法，其特征...

【专利技术属性】
技术研发人员：李宁，郭乔进，
申请(专利权)人：南京大学，
类型：发明
国别省市：