一种改善行人属性识别准确率的方法、终端及介质技术

本发明专利技术提供了一种改善行人属性识别准确率的方法、终端及介质，方法包括：利用卷积神经网络提取行人特征，进行区域提取；对于前景区域掩膜保留图像前景区域，通过生成器重建图像背景；对于背景区域掩膜保留图像背景区域，通过生成器重建图像前景；通过判别器判断重建图像的真伪，实现对抗学习；训练得到区域提取网络后可以作为前处理网络与属性识别网络进行连接，辅助行人属性识别过程。本发明专利技术通过基于生成对抗学习的方式训练了行人区域掩膜提取网络，可以辅助行人属性识别过程，提升了行人属性识别的性能。

【技术实现步骤摘要】
一种改善行人属性识别准确率的方法、终端及介质
本专利技术涉及计算机视觉
，具体地，涉及一种改善行人属性识别准确率的方法、终端及介质，可以辅助改善行人属性识别效果。
技术介绍
在基于深度学习的行人属性识别方法中，可以通过在网络中提供不同的约束条件改善行人属性识别性能。这些在网络中提供的各种先验约束的方法可以看作通过提升对行人内部不同特征间关系的学习，从而提升对目标特征的处理效果。实际监控中的输入图像中不仅包括行人信息，也包含有一些监控背景信息。同时，正常的掩膜提取网络在训练时需要提供较为复杂的像素级别的标注。
技术实现思路
本专利技术的目的在于克服现有技术的不足之处，提出了一种通过弱监督提取行人掩膜来改善行人属性识别准确率的方法。本专利技术第一方面，提供一种改善行人属性识别准确率的方法，包括：获取包含目标行人的图像I；采用行人区域掩膜提取网络F，提取所述图像I中目标行人区域掩膜T和背景区域掩膜B，其中，所述目标行人区域掩膜T和背景区域掩膜B互补，即T+B＝1；对于前景区域掩膜B保留图像前景区域，通过第一生成器G1重建图像背景；对于背景区域掩膜T保留图像背景区域，通过第二生成器G2重建图像前景；所述第一生成器G1、所述第二生成器G2具有相同的网络结构；采用判别器D判断重建图像的真伪。本专利技术通过先提取掩膜改善识别效果，同时，降低了标注工作量，减少监控背景噪声对属性识别过程的干扰，提升属性识别的效果，可选地，所述采用行人区域掩膜提取网络F，提取所述图像I中目标行人区域掩膜T和背景区域掩膜B，包括：将图像I输入行人区域掩膜提取网络F：首先通过卷积网络得到特征f∈Rw×h×c，其中w,c分别指代特征f的宽带，高度和通道数。然后所述特征f通过不同大小的池化模块，池化为大小为的特征，经过参数为3×3的卷积对特征进行进一步提取得到特征fc,然后对特征fc进行上采样操作后和原有特征f进行拼接操作获得新的分割特征。将分割特征通过卷积网络可以获得通道数为1的目标行人区域掩膜T,同时可以间接获得背景区域掩膜B＝1-T。可选地，所述对于前景区域掩膜B保留图像前景区域，通过第一生成器G1重建图像背景，包括：采用所述第一生成器G1对背景进行补全生成，基于自注意力的方式，对每个位置像素和其它位置进行关系建模，与原有区域叠加后得到重建图像Igen1。可选地，所述对于背景区域掩膜T保留图像背景区域，通过第二生成器G2重建图像前景，包括：采用所述第二生成器G2对行人区域进行补全生成，基于自注意力的方式，对每个位置像素和其它位置进行关系建模，与原有区域叠加后得到重建图像Igen2。可选地，所述第一生成器G1、所述第二生成器G2根据掩膜覆盖区域的部分图像信息，计算还原出合理的全局图像，其中：所述第一生成器G1的输入信息为T⊙I，生成背景信息为V1，最终重建图像Igen1＝T⊙I+B⊙V1；所述第二生成器G2的输入信息为B⊙I，生成前景信息为V2，最终重建图像Igen2＝B⊙I+T⊙V2。可选地，所述采用判别器D判断重建图像的真伪，其中：在训练过程中为了对生成图像进行约束，判别器D训练采用图像真伪作为损失函数，所述第一生成器G1、所述第二生成器G2训练除了图像真伪作为损失函数外，同时采用了信息重建约束和属性保留约束作为生成过程的损失函数。可选地，使用所述判别器D判定生成图像的真伪，整体优化目标是：其中：为在生成对抗过程中整体的优化目标；E为对函数的期望，可以认为是对数据分布的估计；D(I)为判别器对真实图像真实性的判别结果；I为真实图像；G(I，z)为生成器根据真实图像和随机向量生成的图像；z为输入的随机向量；D(G(I，z))为判别器对生成图像真实性的判别结果；所述采用了信息重建约束和属性保留约束作为生成过程的损失函数为：Lrec＝||R(Igen)-z||2其中：R(Igen)为根据生成图像Igen恢复出的信息向量；z为输入的随机向量。可选地，上述方法还包括：对行人区域提取到的特征进行单独的约束，以区分提取得到的目标行人区域掩膜T和背景区域掩膜B；其中：提取到的行人区域应该能够通过分类器得到预先标定的行人属性y＝y1，y2，y3…，约束可以保证提取到的区域大于行人区域，同样的为了保证不提取到整张行人图像，避免T＝1，同时对像素进行了L1正则化约束，将网络的属性输出记作此时损失函数为交叉熵损失函数：公式中yc代表对第c类属性的标注，代表对第c类属性的预测结果，||T||1代表对行人掩膜的L1正则化约束。因此对于生成器G1和G2的整体损失函数为LG＝α1Lgen+α2Lrec+α3Latt其中α1，α2，α3为可调节的超参数，Lgen为图像真伪损失约束，Lrec为信息重建损失约束，Latt为属性保留损失约束，具体计算均在上文提及。基于生成对抗学习的方式对整体网络进行训练，整体网络包括掩膜提取网络F，生成器G1，G2和判别器D。可以通过交替优化网络中的生成器和判别器起到平衡网络的作用。具体的，生成器G1，G2与判别器D交替优化的过程：在图像生成阶段针对原图和图像掩膜，对背景区域和行人区域分别进行图像重建，目标是欺骗判别器；在图像判别阶段，判别器对真实图像和生成图像进行判别，目标是鉴别出生成图像；通过交替优化提升网络性能。本专利技术第二方面，提供一种电子终端，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时可用于执行所述的改善行人属性识别准确率的方法。本专利技术第三方面，提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时用于执行所述的改善行人属性识别准确率的方法。与现有技术相比，本专利技术具有如下的有益效果：本专利技术上述改善行人属性识别准确率的方法，利用属性标签可以完成行人区域掩膜提取过程，对标注的要求较低。进一步的，为了减少标注工作量，仅利用已提供的属性标签作为监督信息训练掩膜提取网络，在实现方法上主要利用了生成对抗网络的方法，通过对抗式的生成仅需要图像级别的标签实现了对目标掩膜的提取。同时对行人属性识别问题施加空间约束和属性间关系约束。本专利技术上述改善行人属性识别准确率的方法，通过对行人区域掩膜的提取，从而减少监控背景噪声对属性识别过程的干扰，辅助提升行人属性识别的准确率。附图说明通过阅读参照以下附图对非限制性实施例所作的详细描述，本专利技术的其它特征、目的和优点将会变得更明显：图1为本专利技术一实施例中行人区域掩膜提取网络F的具体网络结构；图2为本专利技术一实施例中生成器中自注意力网络的具体结构；图3为本专利技术一优选实施例的方法流程图。具体实施方式下面结合具体实施例对本专利技术进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本专利技术，但不以任本文档来自技高网...

【技术保护点】
1.一种改善行人属性识别准确率的方法，其特征在于，包括：/n获取包含目标行人的图像I；/n采用行人区域掩膜提取网络F，提取所述图像I中目标行人区域掩膜T和背景区域掩膜B，其中，所述目标行人区域掩膜T和背景区域掩膜B互补，即T+B＝1；/n对于前景区域掩膜B保留图像前景区域，通过第一生成器G1重建图像背景；对于背景区域掩膜T保留图像背景区域，通过第二生成器G2重建图像前景；所述第一生成器G1、所述第二生成器G2具有相同的网络结构；/n采用判别器D判断重建图像的真伪。/n

【技术特征摘要】
1.一种改善行人属性识别准确率的方法，其特征在于，包括：
获取包含目标行人的图像I；
采用行人区域掩膜提取网络F，提取所述图像I中目标行人区域掩膜T和背景区域掩膜B，其中，所述目标行人区域掩膜T和背景区域掩膜B互补，即T+B＝1；
对于前景区域掩膜B保留图像前景区域，通过第一生成器G1重建图像背景；对于背景区域掩膜T保留图像背景区域，通过第二生成器G2重建图像前景；所述第一生成器G1、所述第二生成器G2具有相同的网络结构；
采用判别器D判断重建图像的真伪。


2.根据权利要求1所述的改善行人属性识别准确率的方法，其特征在于，所述采用行人区域掩膜提取网络F，提取所述图像I中目标行人区域掩膜T和背景区域掩膜B，包括：
将图像I输入行人区域掩膜提取网络F：
首先通过行人区域掩膜提取网络F中的卷积网络得到特征f∈Rw×h×c，其中w,h,c分别指代特征f的宽带，高度和通道数；
然后所述特征f通过不同大小的池化模块，池化为大小为w/2×h/2×c,w/3×h/3×c,w/6×h/6×c的特征，经过参数为3×3的卷积对特征进行进一步提取得到特征fc,然后对特征fc进行上采样操作后和原有特征f进行拼接操作，获得新的分割特征；
将所述分割特征通过卷积网络获得通道数为1的目标行人区域掩膜T,同时间接获得背景区域掩膜B＝1-T。


3.根据权利要求1所述的改善行人属性识别准确率的方法，其特征在于，所述对于前景区域掩膜B保留图像前景区域，通过第一生成器G1重建图像背景，包括：
采用所述第一生成器G1对背景进行补全生成，基于自注意力的方式，对每个位置像素和其它位置进行关系建模，与原有区域叠加后得到重建图像Igen1；
所述对于背景区域掩膜T保留图像背景区域，通过第二生成器G2重建图像前景，包括：
采用所述第二生成器G2对行人区域进行补全生成，基于自注意力的方式，对每个位置像素和其它位置进行关系建模，与原有区域叠加后得到重建图像Igen2。


4.根据权利要求3所述的改善行人属性识别准确率的方法，其特征在于，所述第一生成器G1、所述第二生成器G2根据掩膜覆盖区域的部分图像信息，计算还原出合理的全局图像，其中：
所述第一生成器G1的输入信息为T⊙I，生成背景信息为V1，最终重建图像Igen1＝T⊙I+B⊙V1；
所述第二生成器G2的输入信息为B⊙I，生成前景信息为V2，最终重建图像Igen2＝B⊙I+T⊙V2。


5.根据权利要求1所述的改善行人属性识别准确率的方法，其特征在于，所述采用判别器D判断重建图像的真伪，其中：
在训练过程中为了对生成图像进行约束，判别...

【专利技术属性】
技术研发人员：杨华，孙铭君，
申请(专利权)人：上海交通大学，
类型：发明
国别省市：上海;31