用于物体的再识别的方法技术

一种方法通过应用卷积神经网络(CNN)来再识别一对图像中的物体。网络中的各个层对之前层的输出起作用。所述层包括用于确定特征图的第一卷积层和第一最大池化层、产生邻域差异图的交叉输入邻域差异层、产生分块汇总特征图的分块汇总层、产生表示分块汇总特征图中的高阶关系的特征向量的第一完全连接层、产生表示肯定对和否定对类的两个分数的第二完全连接层以及产生肯定对和否定对概率的柔性最大值传输函数层。然后，输出肯定对概率，以用信号通知两个图像是否表示同一物体。

【技术实现步骤摘要】
【国外来华专利技术】用于物体的再识别的方法
本专利技术总体上涉及计算机视觉和相机监控，更具体地，涉及确定图像中的物体(诸如人物)的相似性。
技术介绍
在诸如相机监控的许多计算机视觉应用中，需要确定在不同图像中表示的人物或其它物体是否相同。当物体是人物时，这在领域中被称为人物再识别。对于人物再识别，图像可以是静止图像的裁切区域或视频中的帧的裁切区域，其包含人物身体的全部或一部分。在视频中追踪人物的监控和其它应用中，确定不同追踪是同一人物的问题自然而然地产生。该问题可以通过将来自一个追踪的裁切图像区域与来自不同追踪的裁切图像区域进行比较并确定这些区域是否表示同一人物来解决。图像或追踪可以来自不同时间点的同一相机，或者来自同一时间点或不同时间点的不同相机。通常，用于人物再识别的方法包括两个组成部分：用于从图像提取特征的方法和用于比较从不同图像提取的特征的度量。人物再识别研究中的焦点一直在于改善特征或改善比较度量或这两者。改善特征背后的基本理念是确定对照明、姿势以及视点的变化至少部分不变的特征。用于过去的方法中的典型特征包括颜色直方图、局部二元模式、伽柏(Gabor)特征、显著色名以及局部图像分块上的变化。为了改善比较度量，度量学习方法确定从初始特征空间到新空间中的映射，在该新空间中，从同一人物的两个不同图像提取的特征向量比从两个不同人物的两个图像提取的特征向量“更接近”(更类似)。已应用于再识别的度量学习方法包括马氏(Mahalanobis)度量学习、局部适应决策函数、显著性加权距离、局部费希尔(Fisher)判别分析、边际费希尔分析以及属性一致匹配。一些方法将深度学习方法用于人物再识别。一种这样的深度学习方法将“暹罗(Siamese)”卷积神经网络(CNN)用于度量学习。暹罗CNN通过将来自训练集的多对图像连同指示所述对中的两个图像是同一人物的图像还是两个不同人物的图像的各对的训练标签一起重复呈现来学习非线性相似性度量。在一个之前的方法中，暹罗架构包括对两个图像的三个交叠部分起作用的三个独立卷积网络。各个部分特定网络具有带有最大池化的两个卷积层和其后的完全连接层。完全连接层产生各个图像的输出向量，并且使用余弦函数来比较两个输出向量。然后组合三个部分中的每一个部分的余弦输出，以获得相似性分数。另一种深度学习方法使用差异网络。差异架构以具有最大池化的单个卷积层开始，随后是分块匹配层，分块匹配层以各种水平偏移将来自两个输入的卷积特征响应相乘。对一个图像中的各分块的响应被分别乘以对从另一个图像中的相同水平条采样的所有其它分块的响应。其后是输出来自水平条中的各对分块的最大分块匹配响应的最大外分组层，随后是具有最大池化的另一卷积层，随后是具有500个单元的完全连接层，并且最后是具有表示“相同”或“不同”的2个单元的完全连接层。柔性最大值传输(softmax)函数用于将这些最终2个输出转换成概率。
技术实现思路
用于人物再识别的训练和测试数据通常被排列成成对的图像。肯定对(positivepair)由同一人物的两个不同图像构成，而否定对(negativepair)由不同人物的两个图像构成。对于物体的再识别，使用术语肯定对来表示同一物体的两个不同图像，或者另选地表示来自同一物体类的不同物体的两个图像。同样，使用术语否定对来表示描绘不同物体或另选地描绘来自两个不同物体类的物体的两个图像。例如，对于汽车的再识别，肯定对可被定义为同一品牌、同一型号及同一年份的汽车的两个不同图像。所述方法同时学习用于一对图像中的物体或人物再识别的特征和对应的相似性度量。所述方法使用具有为解决人物再识别问题而专门设计的层的深度卷积神经网络(CNN)。应理解，“深度”是机器学习
中的描述性术语，而不是相对的。在优选实施方式中，本专利技术使用11个层，比之前用例如5-9层应用于人物再识别问题的传统CNN深。给定一对图像，网络输出表示两个输入图像是肯定对还是否定对的相似性值。网络的新型元素包括确定交叉输入邻域差异的层，该差异表征在分别从两个图像提取的中级特征中跨两个图像的局部关系的特征。该层的输出的高级汇总由产生分块汇总特征的另一个新型层来确定，分块汇总特征然后在随后的层中空间地积分。所述方法针对较大的数据集的性能显著超过现有技术。例如，针对CUHK03人物再识别数据集，之前的现有技术是实现20.65％的等级1识别率的深度学习方法。相比之下，本方法实现54.74％的等级1识别率，性能比之前的现有技术超过2.5倍。所述方法还耐过度拟合。通过在对不相关小目标数据集微调之前对更大数据集学习，网络甚至还可以对小数据集(诸如用于视点不变行人识别(VIPeR)的数据集)实现可比得上现有技术的结果。深度神经网络架构具有专门为再识别问题设计的特有层。应理解，网络元素(诸如块、滤波器、步幅(stride))的具体数字尺寸以及特征图的数量旨在作为示例来以本专利技术的特定实施方式的方式例示本专利技术，并且本专利技术的实施方式不限于使用具有所提出的示例尺寸的元素。到神经网络的输入是两个彩色图像。该网络架构以四个层开始：结合卷积(tiedconvolution)层，随后是最大池化层，随后是另一个结合卷积层，随后是最大池化层。这些层允许网络学习可用于将两个图像进行比较的一组特征。这两个卷积层中的网络权重被限于对于两个图像相同(结合(tied))，这意味着同一组滤波器应用于两个图像。接着的层是专门为再识别问题设计的一组两个新型网络层。第一新型层累计各特征位置的邻域周围的两个图像之间的特征差异，并且产生一组邻域差异(neighbourhooddifference)图。邻域差异图由具有特征差异的块构成。各个块的尺寸(例如，5×5)是其中计算差异的邻域的尺寸。接着，新型分块汇总层通过在各个5×5块中产生所述差异的整体表示来概括邻域差异图。这通过用尺寸为5×5的滤波器和尺寸为5的步幅卷积邻域差异图来完成，使得结果是各块的汇总值的向量。汇总值根据块中的5×5邻域差异值的线性组合来确定。在这两个专门设计的网络层之后，接着的卷积层用3×3线性滤波器卷积所产生的分块汇总特征图，随后是最大池化层。这两层允许网络学习帮助表示两个输入图像是否表示同一人物的邻域差异图的更高级模式。接着，神经网络架构使用具有许多单元的完全连接层，该完全连接层允许网络学些高阶关系。产生的特征向量经过修正线性单元(ReLu)，然后经过具有表示肯定对和否定对得分的两个输出的另一个完全连接层。最后，这两个得分经过产生肯定对(同一人物)和否定对(不同人物)类的概率的柔性最大值传输函数(softmax)层。如本领域中已知的，修正线性单元使各实数输入经过函数f(x)＝max(0,x-k)，其中，k是可以被学习的恒定参数。附图说明图1是根据本专利技术的优选实施方式的、用于再识别的方法和卷积神经网络(CNN)的框图。图2是根据本专利技术的优选实施方式的、更详细地示出网络各层处的特征的CNN架构的示意图。具体实施方式如图1和图2所示，本专利技术的实施方式提供了一种用于在从一个或两个人物2获得的一对图像1中的人物再识别的方法。该对图像可以由相机3获取。相机可以为静物相机或视频相机。相机可以为同一相机(在这种情况下，图像在不同时间被获取)或不同相机。该方法使用具有为解决人物再识别问本文档来自技高网...

【技术保护点】
一种用于物体的再识别的方法，该方法包括以下步骤：获得一对图像，其中，各个图像表示一物体；向所述一对图像应用卷积神经网络(CNN)，其中，所述CNN包括：第一卷积层；跟随在所述第一卷积层之后的第一最大池化层，其中，所述第一卷积层和所述第一最大池化层被分别应用于各个图像，以确定各个图像的特征图；交叉输入邻域差异层，其被应用于所述特征图以产生邻域差异图；分块汇总层，其被应用于所述邻域差异图，以产生分块汇总特征图；第一完全连接层，其被应用于所述分块汇总特征图，以产生表示所述分块汇总特征图中的高阶关系的特征向量；第二完全连接层，其被应用于所述表示高阶关系的特征向量，以产生表示肯定对类和否定对类的两个分数；柔性最大值传输函数层，其被应用于所述两个分数，以产生肯定对概率和否定对概率；以及输出所述肯定对概率，以信号通知所述两个图像是否表示同一物体，其中，上述步骤在处理器中执行。

【技术特征摘要】
【国外来华专利技术】2015.04.03 US 14/678,1021.一种用于物体的再识别的方法，该方法包括以下步骤：获得一对图像，其中，各个图像表示一物体；向所述一对图像应用卷积神经网络(CNN)，其中，所述CNN包括：第一卷积层；跟随在所述第一卷积层之后的第一最大池化层，其中，所述第一卷积层和所述第一最大池化层被分别应用于各个图像，以确定各个图像的特征图；交叉输入邻域差异层，其被应用于所述特征图以产生邻域差异图；分块汇总层，其被应用于所述邻域差异图，以产生分块汇总特征图；第一完全连接层，其被应用于所述分块汇总特征图，以产生表示所述分块汇总特征图中的高阶关系的特征向量；第二完全连接层，其被应用于所述表示高阶关系的特征向量，以产生表示肯定对类和否定对类的两个分数；柔性最大值传输函数层，其被应用于所述两个分数，以产生肯定对概率和否定对概率；以及输出所述肯定对概率，以信号通知所述两个图像是否表示同一物体，其中，上述步骤在处理器中执行。2.根据权利要求1所述的方法，其中，所述物体为人物，并且所述方法用于人物再识别。3.根据权利要求1所述的方法，其中，所述网络不包括所述第二完全连接层也不包括所述柔性最大值传输函数层，其中，所述方法还包括：使用所述表示高阶关系的特征向量作为对分类器的输入，并且其中，所述输出包括输出所述分类器的结果。4.根据权利要求3所述的方法，其中，所述分类器是线性支持向量机(SVM)分类器。5.根据权利要求1所述的方法，其中，肯定对被定义为同一物体的两个图像，并且否定对被定义为不同物体的两个图像。6.根据权利要求1所述的方法，其中，肯定对表示来自同一物体类的两个图像，否定对表示来自不同物体类的两个图像，并且其中，代替用信号通知所述两个图像是否表示所述同一物体，所述输出用信号通知所述两个图像是否表...

【专利技术属性】
技术研发人员：M·琼斯，T·马克斯，E·艾哈迈德，
申请(专利权)人：三菱电机株式会社，
类型：发明
国别省市：日本,JP