基于样本块的图像目标计数方法技术

本发明专利技术提供了一种基于样本块的图像目标计数方法。所述方法通过滑动窗口从输入图像中依次提取出固定大小的图像块，之后根据其简单特征和相似度测量函数从训练集中搜索出最相似的K个候选图像块。基于这K个块，使用稀疏约束选择少量的用于重构的样本并计算样本对应重构权重。将该权重应用于样本对应的密度图，得出提取的图像块对应密度图，并将其置于输入图像密度图的相应位置。重复上述过程直至滑动窗口提取完所有图像块。最终累加输入图像的密度图中所有像素值得出感兴趣目标的数量。该方法与主流方法相比所需训练图像少、特征简单，即可达到满意的精度。其对于图像的分辨率也很鲁棒，即使输入图像或视频流分辨率较低也能保持很好的计数精度。

【技术实现步骤摘要】

本专利技术涉及一种基于样本块的图像目标计数方法(approximatelysparsity-constrainedexample-basedvisualobjectcounting,ASE-VOC)，属于图像处理

技术介绍
基于图像的目标计数方法是用于计算单幅图像或者视频流中感兴趣目标的数量。这是种在现实生活中高度需求的计数技术，可以用来统计显微镜图像里细胞的个数、野外生物数量、街道或商场的行人数量，也可用于交通监测和人群区域活动分析。最传统的目标计数方法是通过检测目标来统计个数。这种方法在目标重叠较多、目标出现很密集的时候效果很差，因此实用性不强。现有主流的目标计数方法分成两大类：一类是基于全局回归的计数，另一类是基于目标密度图估计的计数。前者通过提取一些传统的人工特征，将其融合并做特征选择等特征处理工作后，学习这个特征和其对应的真实数量(通过样本标记)之间的映射。这类方法的缺陷在于：1.依赖于人工特征的提取；2.需要很大的训练量来保证学习到的映射的有效性。基于目标密度图估计的计数是通过人工标记的样本生成图像的密度图，通过累积密度图像素值之和得到要求的数量。其中和基于全局回归的方法类似，也需要求单个像素特征到像素的映射。其相比基于全局回归的计数需要的训练量少一些，但依然不小。现实生活中，考虑到对未知的新场景做目标计数时，人工标注训练样本是非常费时费力的，一般情况下训练样本都会很少。面对这种情况，上面两类方法的性能都有很严重的下降。另外，特征的选择和提取也是个令人头疼的问题。专利技术内容为了解决使用少量标注样本依旧能做精确的目标计数的问题，本专利技术提出一种基于样本块的图像目标计数方法。它是基于目标密度图估计的，但不同于往常的通过计算映射函数来求密度图，本专利技术使用从少量训练样本中采集的图像块来估计密度图。鉴于本方法是通过对图像块的泛化来估计密度图，因此需求的样本量会很少。本专利技术提出的方法是基于局部线性嵌入的相关理论，即通过相关的观察，假设图像块形成的流形空间和图像块对应的密度图形成的流形空间共享相似的局部几何结构。通过这个有相关统计学支持的假设，我们可以通过样本图像块和输入的测试图像块求出该测试图像块的局部几何结构，所以测试图像块对应的密度图可用样本图像块对应的密度图保留求得的局部几何结构来重构。最终通过求得的密度图可以算出测试图像中感兴趣目标的数量。该方法包括如下步骤：a)输入一张测试图片X，用固定大小的滑动窗口(窗口大小：4×4，滑动距离：2)从中提取图像块xij，即xij是从X中提取出第(i,j)个图像块。b)从训练样本集Y中基于相似度测量函数D(.)、特征提取器f(.)和K近邻算法选择和xij最相似的K个图像块构成候选块字典这些候选块对应的密度图构成的字典为DYd=]]>c)使用正交匹配追踪算法求解公式求得最终选择的样本和对应样本使用的权重。d)根据公式：求得图像块xij对应的密度图将放置到X对应密度图Xd的对应位置。若xij是X中最后一个图像块则进行下一步骤，否则跳转步骤a)。e)计算出测试图像X中感兴趣目标数量本专利技术的有益效果在于：相较于主流方法需要几百、几千张训练图像进行学习，本方法只要几张或十几张训练图像就能得出相似或更高的计数精度(表1和表2)。本专利技术的方法在MAE、MSE上和主流方法相比接近或者更低，MAE或MSE值越低说明计数精度越高。并且本方法不需要设计或挑选复杂的人工特征，只使用灰度图或简单的前景特征就好。另外本方法对图像的分辨率较鲁棒，在低分辨视频流或图像上依然能获取很高的计数精度。表1.统计细胞数量，以MAE指标评估算法性能(1)密集SIFT采样+词袋模型；(2)密集SIFT采样；(3)原始像素值(从蓝色通道中提取)。表2.统计行人数量，以MAE和MSE指标评估算法性能(1)融合特征(线段特征+内部边缘特征+纹理特征)；(2)累积属性(在特征(1)的基础上做了特征编码)；(3)前景特征。附图说明图1.包含感兴趣目标的图像(左)和其对应生成的密度图(右)：(a)细胞图像；(b)来自公开数据集Mall的行人图像；(c)来自公开数据集UCSD的行人图像。图2.本专利技术提出方法的流程图。图3.本方法合成的密度图效果(细胞)：(a)原始细胞图；(b)使用高斯核生成的密度图；(c)Lempitsky的基于目标密度估计方法产生的密度图；(d)本专利技术方法产生的密度图。图4.本方法合成的密度图效果(行人)：(a)原始行人监测图像；(b)差分图(前景特征)；(c)使用高斯核生成的密度图；(d)本专利技术方法产生的密度图。图5.不同相似度测量方法对本方法计数精度的影响：左图是平均绝对误差(meanabsoluteerror,MAE)，右图是平均均方误差(meansquareerror,MSE)。上图是使用不同大小的训练集和测量方式，通过五次交叉验证得出结果。具体实施方式下面结合附图和具体实施方式对本专利技术作进一步详细描述。1.密度图生成方法密度图是根据人对训练图像感兴趣目标的标注按照一定的原理自动生成的。通过密度图计数一般比标注的数量略少，但显得更加真实，因为在图像或视频边缘部分出现的目标算成整数实际上不是很合适。图像块训练集Y和其对应的密度图训练集Yd生成方式如下：1)给定N张训练图像I1,I2,…,IN。对于每张训练图像Ii(1≤i≤N)，所有的感兴趣目标都使用2维点标注出其具体位置(一般标注在目标形状的重心上，理论上标注在目标形状内即可)，这些2维点集合这里标记成Pi。因此对于Ii中的每一个像素p(p∈Ii)而言，其对应的真实目标密度函数可以定义为基于标注点的2维高斯核的累积。用公式可以表示为：其中P是Pi种的一个标注点的位置，δ是控制2维高斯核平滑程度的参数，本专利技术设置为3。2)根据1)中的公式，训练图像Ii的真实密度图可以定义为3)根据2)中生成的密度图，Ii中的感兴趣目标数量c(Ii)可以通过累加密度图每个像素值得到对于每幅训练图像Ii,i∈{1,2,…,N本文档来自技高网...

【技术保护点】
一种基于样本块的图像目标计数方法(approximately sparsity‑constrained example‑based visual object counting,ASE‑VOC)，包括以下步骤：a)输入一张测试图片X，用固定大小的滑动窗口(窗口大小：4×4，滑动距离：2)从中提取图像块xij，即xij是从X中提取出第(i,j)个图像块。b)从训练样本集Y中基于相似度测量函数D(.)、特征提取器f(.)和K近邻算法选择和xij最相似的K个图像块构成候选块字典这些候选块对应的密度图构成的字典为DYd=]]>{yt1d,yt2d,...,ytKd}.]]>c)使用正交匹配追踪算法求解公式w*=argminw||xij-DYw||22+λ||w||1s.t.1Tw=1]]>求得最终选择的样本和对应样本使用的权重。d)根据公式：求得图像块xij对应的密度图将放置到X对应密度图Xd的对应位置。若xij是X中最后一个图像块则进行下一步骤，否则跳转步骤a)。e)计算出测试图像X中感兴趣目标数量

【技术特征摘要】
1.一种基于样本块的图像目标计数方法(approximatelysparsity-constrainedexample-basedvisual
objectcounting,ASE-VOC)，包括以下步骤：
a)输入一张测试图片X，用固定大小的滑动窗口(窗口大小：4×4，滑动距离：2)...

【专利技术属性】
技术研发人员：邹月娴，王毅，
申请(专利权)人：北京大学深圳研究生院，
类型：发明
国别省市：广东;44