一种基于多特征融合与多核迁移学习的红外人体目标图像识别方法技术

本发明专利技术公开了一种基于多特征融合与多核迁移学习的红外人体目标识别方法。首先，基于红外图像特殊的成像机理，对红外场景中的目标提取一种改进的CLBP特征‑‑MSF‑CLBP来表达纹理信息，以及一种改进的局部HOG特征‑‑HOG‑FV来表达形状信息，以发掘目标中的有效特征；其次，针对上述提取到的两种异构特征，采用串联融合的方法进行特征融合，使得对目标特征信息的描述更为客观全面。最后，设计了一种融合多核分类与TrAdaBoost迁移学习框架的分类器，有效地解决了带标签的红外样本图像匮乏的问题，同时增强了待分类数据的区分性，以获取更优的识别效果。该方法从特征提取的改进和分类器的设计两方面着手，改善了特征信息的表达，提升了复杂背景下红外人体目标识别的性能。

An Infrared Human Target Image Recognition Method Based on Multi-feature Fusion and Multi-core Migration Learning

The invention discloses an infrared human target recognition method based on multi-feature fusion and multi-core migration learning. Firstly, based on the special imaging mechanism of infrared image, an improved CLBP feature MSF Collection fusion makes the description of target feature information more objective and comprehensive. Finally, a classifier which combines multi-core classification and TrAdaBoost transfer learning framework is designed, which effectively solves the problem of lack of labeled infrared sample images, and enhances the discrimination of the data to be classified, so as to obtain better recognition results. This method improves the expression of feature information and improves the performance of infrared human target recognition under complex background by improving feature extraction and classifier design.

【技术实现步骤摘要】
一种基于多特征融合与多核迁移学习的红外人体目标图像识别方法
本专利技术属于红外图像处理和模式识别
，尤其涉及一种基于多特征融合与多核迁移学习的红外人体目标图像识别方法。
技术介绍
红外场景下的人体目标识别是红外图像处理和模式识别领域中一个重要的研究分支，其已广泛应用于视频监控，目标跟踪和汽车辅助驾驶系统等实际应用中。为了实现红外图像中人体目标的有效识别，关键在于对人体目标进行准确且全面的特征提取，以及设计合理的分类器来进行分类识别。首先，在红外图像目标特征提取方面，一直以来，众多学者们提出并改进了很多优秀的特征提取算法，如改进的方向梯度直方图(HistogramofOrientedGradient，HOG)特征，改进的局部二值模式特征(LocalBinaryPattern,LBP)，局部强度差异直方图(HistogramsofLocalIntensityDifferences,HLID)特征以及强度自相似(IntensitySelfSimilarity,ISS)特征等等。上述的方法通过对红外人体目标提取某单一方面的特征如形状特征或者纹理特征来进行特征表示，这种特征提取的不全面性在一定程度上影响着后续的识别性能。为此，研究者们又提出对红外人体目标图像进行多特征的提取和融合，以提高特征表示的全面性，比如采用HOG与LBP特征来分别表达形状信息和纹理信息，将CSLBP(Center-SymmetricLocalBinaryPattern)特征与FPGT特征(FusedPhase,GgradientandTexturefeatures)进行融合，使用HOG特征与Edgelet特征来分别表达图像中目标的形状特性等等，最终获取的识别性能均优于使用单一特征时的性能。基于以上的分析，可以得出一些结论：首先，采用多特征提取和融合来挖掘图像的特征信息相较于单特征提取方法而言，确实可以提高红外人体目标特征表示的准确性；其次，针对红外人体目标而言，通过HOG特征来表达形状信息以及LBP特征来表达纹理信息已被证明是一种有效的特征表达方式；最后，虽然目前有很多方法提出提取红外人体目标的多种特征，但是这些特征仍然可能属于同一种类型，如Edgelet和HOG特征都属于形状特征，仍然没有从不同的角度对目标进行描述。此外，提取出的特征多为图像的底层特征，缺少了必要的语义信息，限制了识别性能的进一步提升。其次，在分类器设计环节，针对红外人体目标的识别，常用的分类器有支持向量机(SupportVectorMachine,SVM)、基于Adaboost的分类器、基于KNN(K-NearestNeighbor)的分类器等等。这些分类算法属于传统的机器学习算法，虽然性能可以得到保证，但是它们的训练样本需要满足严格的条件限制：(1)训练样本与测试样本需要满足独立同分布的条件；(2)需要有足够多可利用的训练样本才可能学习得到一个较好的分类模型。然而，在红外图像目标识别分类的实际应用中可以发现，这两个条件一般都很难满足。首先，由于红外图像特殊的成像原理，不同的周围环境对目标图像的分布及语义都极易引起较大的偏差。其次，相比于可见光图像，可利用的带标签的红外样本图像数量少得多，而获取大量新的有效样本则需要付出很大的代价。因此，如何利用少量的带标签训练样本，最终建立一个可靠的模型对目标进行预测和分类显得尤为重要。迁移学习为解决上述问题提供了新的思路。作为机器学习领域一个新的分支，迁移学习放宽了传统机器学习需要满足的两个基本假设，其目的是通过迁移已有的知识来解决目标领域中仅有少量带标签样本数据的学习问题。现阶段，迁移学习在包括遥感图像目标识别，SAR目标识别等目标识别与分类问题上已经有了成功的应用。因此，当有效的带标签样本数量较少时，利用迁移学习的思想来构造高效的分类器是一种可取的选择。公开号为CN201611029651.9的基于红外图像的行人检测系统，它在其目标识别单元中将MCS与LBP模式特征进行了特征融合，建立了一个2D的人体概率模型，最后利用分类器进行判定识别。尽管该方法采用了两种特征来进行描述，但这两种特征均属于纹理特征，特征提取的完备性并未得到有效的满足，特征表示的全面性依然可以进一步提升。此外，模型的训练仍然需要大量有效的红外样本图像，加大了成本的投入。DavisM等人(DavisM,SahinF.HOGfeaturehumandetectionsystem[C]//Systems,Man,andCybernetics(SMC),2016IEEEInternationalConferenceon.IEEE,2016:002878-002883.)使用了HOG与HOD(HistogramsofOrientedDepths)两种特征来对红外热图像中的人体目标进行特征表示，提高了特征提取的准确性，并设计了一种多级联分类器来进行识别分类。该方法在一定程度上改善了识别的性能，但是融合的两种特征同属于梯度信息特征，实质上并未从多角度来对图像进行描述，因此仍然存在一定的改进空间。对于现有的，常用的红外人体目标识别方法，其存在的局限性主要表现在：(1)在特征提取方面，尽管图像目标单一特征的提取已经可以较好地挖掘出目标在某一方面的特性，但特征信息的不全面事实上降低了图像特征提取的准确性。此外，诸多的多特征提取与融合方法表面上增强了特征描述的完备性，但实际上是对同类型信息的重复描述，相对于单特征提取方法而言确实有一定程度的提升，但多角度的目标特征提取与融合仍然没有得到非常好的实现，后续的识别性能因此可以进一步地提升。(2)在分类器设计方面，虽然基于传统机器学习算法的分类器在目标分类识别的应用上取得了很多的成果，但是它们严格的使用条件限制阻碍了其在红外人体目标图像的实际应用。如何利用已有的少量带标签红外样本图像以及大量的可见光图像，训练得到一个可靠的模型仍然是一个难点问题。
技术实现思路
专利技术目的：针对以上问题，本专利技术提出一种基于多特征融合与多核迁移学习的红外人体目标图像识别方法，改进了红外人体目标特征的提取，完善了目标的特征表达；将多核分类与TrAdaBoost算法进行了融合，解决了带标签的红外人体目标样本图像匮乏等问题，提高了红外场景下人体目标识别的准确性和鲁棒性。技术方案：为实现本专利技术的目的，本专利技术所采用的技术方案是：一种基于多特征融合与多核迁移学习的红外人体目标图像识别方法，该方法包括如下步骤：(1)采用红外图像构建训练样本集，可见光图像构建辅助训练样本集；(2)对训练样本集和辅助训练样本集中的样本图像，提取出经单演信号滤波后进行CLBP特征提取得到特征MSF-CLBP；(3)对训练样本集和辅助训练样本集中的样本图像，提取出图像的局部HOG特征后进行FisherVector编码得到特征HOG-FV；(4)将上述提取出特征MSF-CLBP与HOG-FV进行串联融合；(5)设计融合SVM多核分类器，用TrAdaBoost迁移学习框架通过融合所得到的样本特征完成分类器的训练；(6)利用训练好的分类器对待识别的红外图像进行分类识别，得到识别结果。进一步的，步骤(1)中，所述可见光图像的数目是红外图像数目的2-3倍。进一步的，步骤(2)中，对练样本集和辅助本文档来自技高网...

【技术保护点】
1.一种基于多特征融合与多核迁移学习的红外人体目标图像识别方法，其特征在于，该方法包括以下步骤：(1)采用红外图像构建训练样本集，可见光图像构建辅助训练样本集；(2)对训练样本集和辅助训练样本集中的样本图像，经单演信号滤波后进行CLBP特征提取得到特征MSF‑CLBP；(3)对训练样本集和辅助训练样本集中的样本图像，提取出图像的局部HOG特征后进行Fisher Vector编码得到特征HOG‑FV；(4)将上述提取出的特征MSF‑CLBP与HOG‑FV进行串联融合；(5)设计融合SVM多核分类器，并用TrAdaBoost迁移学习框架对融合所得到的样本特征完成分类器的训练；(6)利用训练好的分类器对待识别的红外图像进行分类识别，得到识别结果。

【技术特征摘要】
1.一种基于多特征融合与多核迁移学习的红外人体目标图像识别方法，其特征在于，该方法包括以下步骤：(1)采用红外图像构建训练样本集，可见光图像构建辅助训练样本集；(2)对训练样本集和辅助训练样本集中的样本图像，经单演信号滤波后进行CLBP特征提取得到特征MSF-CLBP；(3)对训练样本集和辅助训练样本集中的样本图像，提取出图像的局部HOG特征后进行FisherVector编码得到特征HOG-FV；(4)将上述提取出的特征MSF-CLBP与HOG-FV进行串联融合；(5)设计融合SVM多核分类器，并用TrAdaBoost迁移学习框架对融合所得到的样本特征完成分类器的训练；(6)利用训练好的分类器对待识别的红外图像进行分类识别，得到识别结果。2.根据权利要求1所述的一种基于多特征融合与多核迁移学习的红外人体目标图像识别方法，其特征在于，步骤(1)中，所述可见光图像的数目是红外图像数目的2-3倍。3.根据权利要求1所述的一种基于多特征融合与多核迁移学习的红外人体目标图像识别方法，其特征在于，步骤(2)中，对练样本集和辅助训练样本集中的样本图像，经单演信号滤波后进行CLBP特征提取得到特征MSF-CLBP，方法如下：(2.1)单演信号滤波以原信号的Riesz变换为基础，对于训练样本集中的任意一幅样本图像f(z)，坐标为z＝(x,y)，对应的Riesz变换表示为：其中，x，y表示的是像素点在x轴和y轴方向上的坐标；z＝(x,y)，z指的是像素点在二维坐标系中的坐标，包括x轴和y轴两个方向；对于图像f(z)，经过单演信号滤波后的信号表示为：fM(z)＝(f(z),fx(z),fy(z))＝(f(z),Rx(z)*f(z),Ry(z)*f(z))其中，*代表卷积运算，通过计算局部幅值A，局部相位φ以及局部方向θ来对图像进行解析，对应的计算公式如下：(2.2)对上述经单演信号滤波后的图像进行CLBP特征提取，来获取图像的纹理特征MSF-CLBP，通过对图像中圆形子窗口中的像素值进行CLBP_SP,R，CLBP_MP,R以及CLBP_CP,R三种算子的运算以获取像素间差值的符号信息和差量信息以及中心像素点的灰度信息，对应的计算方法如下：其中，P为所选图像子窗口中像素点的个数；R为所选圆形子窗口的半径；gp为子窗口中像素点的灰度值，gc为中心像素点的灰度值，gn为图像中像素点的灰度值，N为子窗口的个数；(2.3)将CLBP_SP,R与CLBP_MP,R进行串联，建立一个二维联合直方图，降为一维之后再与CLBP_CP,R进行串联，处理之后所得的特征即为样本图像的MSF-CLBP特征；(2.4)通过上述方法计算得到训练样本集与辅助训练样本集的MSF-CLBP特征集，分别表示为SMC与DMC。4.根据权利要求3所述的一种基于多特征融合与多核迁移学习的红外人体目标图像识别方法，其特征在于，步骤(3)中，对练样本集和辅助训练样本集中的样本图像，提取出图像的局部HOG特征后进行FisherVector编码得到特征HOG-FV，方法如下：(3.1)对于一幅样本图像I，在提取局部HOG特征时，首先利用梯度算子[-1，0，1]求取每个像素点的横向梯度和纵向梯度H(x,y)和V(x,y)，像素点的梯度幅值M(x,y)和方向O(x,y)通过下列公式计算：O(x,y)＝tan-1[V(x,y)/H(x,y)](3.2)将I分成若干单元，该单元包含了若干个像素点的正方形区域，正方形区域大小为2*2或4*4，将每个单元划分为9个梯度方向，得到一个9维的向量，把相邻的4个单元组成一个块，得到一个36维的HOG块向量，然后，通过L2归一化对所得块向量进行处理，并使用PCA方法将特征向量降至30维；(3.3)对提取出的局部HOG特征向量进行FisherVector编码，设样本图像有T个待编码的局部HOG特征描述子，表示为X＝{xt},t＝1,2...,...

【专利技术属性】
技术研发人员：王鑫，张鑫，宁晨，黄凤辰，
申请(专利权)人：河海大学，
类型：发明
国别省市：江苏,32