一种基于渐进式多元化域迁移的弱监督实时目标检测方法技术

本发明专利技术提出了一种基于渐进式多元化域迁移的弱监督实时目标检测方法，致力于解决弱监督条件下的跨域目标检测问题。该方法提出一种两阶段渐进式域迁移框架和一种与该框架相匹配的实时目标检测器，使用中间域弥合域差距，将困难的任务分解为两个更容易且差距更小的子任务。首先，通过域移位器使标注数据的分布多样化，将源域图像转化为多元化的中间域图像，然后将中间域作为监督的源域，并结合目标域中的图像级标签生成伪标注图像样本。采用50层残差网络单元的堆栈并额外叠加3个卷积模块构成基础网络，并将特征金字塔网络以自上而下、自下而上的路径以及横向连接深度融合，同时采用广义交并比作为位置损失函数，以此构建实时目标检测器。通过中间域和伪标注的人工生成图像样本对目标检测模型逐步调整以解决域迁移过程中图像翻译偏差性及特征级适应的源偏判别性等问题，在弱监督条件下提升了检测准确率并保证了实时性。确率并保证了实时性。确率并保证了实时性。

【技术实现步骤摘要】
一种基于渐进式多元化域迁移的弱监督实时目标检测方法


[0001]目标检测是计算机视觉领域中的重要分支，机器通过学习视觉参数对现实图像中的物体进行分类并找出物体的边界框，可广泛应用于智能监控、无人驾驶、图像检索等。近年来随着卷积神经网络的快速发展，基于深度学习的目标检测算法取得了长足进步。但现有的目标检测算法通常需要使用大量带有目标物体位置信息标签的数据来进行训练，而获取这样的数据需要付出很大的代价，耗费大量的人力。弱监督目标检测专注于仅在图像级标签的监督下对目标进行检测与定位，放宽了训练过程对密集标注（如像素级分割注释或边界框等）的要求，大大降低了获取数据的难度，节省了人工标注成本，具有很强的现实意义。本专利技术提出了基于渐进式多元化域迁移的弱监督实时目标检测方法，其中源域数据集具有类别标签及边界框标注，而目标域数据集只有图像级标签，同时目标域中要检测的类是源域中类的全部或子集。目的是通过使用源域中足量且易获得的完全标注信息和目标域中的图像级标签，将弱监督目标检测问题转化为域适应问题，使得在实际应用场景下具有更强的鲁棒性和更优越的检测性能。

技术介绍

[0002]基于监督学习的目标检测方法的存在条件限制，即假设测试数据与训练数据具有相同的分布。然而，领域偏移在许多实际应用中经常发生，例如，对象外观、视点、背景、照明和天气条件的变化均会降低网络的性能。一种可能的解决方案是为目标域收集标注数据，但这通常既昂贵又耗时。为解决目标域标注数据稀缺、域偏移等问题，可以基于跨域自适应的方式实现目标检测，传统的弱监督或无监督深度域自适应方法主要基于特征级适应和像素级适应。
[0003]像素级自适应方法侧重于由源域向目标域的视觉外观风格进行图像翻译的方法来实现，即学习源域标注信息与目标域图像风格，将源域的标注信息迁移到生成图像。大多数现有的像素级自适应方法都基于图像翻译器可以完美地将一个域翻译为相反域的假设，使得翻译后的图像可以被视为来自相反域的图像。然而，这些方法在许多适应情况下都表现出了图像翻译的偏差性。因为图像翻译器的性能在很大程度上取决于源域和目标域之间的外观差距，如果将这些带有翻译偏差的图像视为来自目标域，可能会导致新的域差异问题。
[0004]特征级自适应方法将源域和目标域的分布对齐到跨域特征空间，期望由标注的源域数据集监督训练的模型能够有效地推断目标域，但模型的特征提取器被强制用于以对源域数据进行区分的方式来提取特征，这不适用于目标域。此外，由于目标检测数据与感兴趣的实例以及相对不重要的背景交织在一起，源偏向的特征提取器更难以为目标域实例提取判别特征。因此，特征级适应的目标检测器存在源偏向判别风险，并且可能导致目标域上的错误识别。
[0005]同时在以上提到的跨域自适应方法中，都涉及到一个前提假设：目标检测器具有较强的鲁棒性和优越的检测性能。但在弱监督条件下，当前已有方法均无法达到实时检测
的速度且检测精度有待提升。

技术实现思路

[0006]为了解决弱监督条件下的跨域目标检测问题，本专利技术公开了一种基于渐进式多元化域迁移的弱监督实时目标检测方法，能够在提高检测准确率的同时满足实时性的需求。为此，本专利技术提供了如下技术方案。
[0007]一种两阶段渐进式域迁移框架和一种与该框架相匹配的实时目标检测器。在域迁移框架第一阶段，结合源域和目标域特征，利用图像翻译网络的缺陷性，通过增加约束条件改变图像翻译生成器和判别器的学习趋势，设计能够生成多样化数据样本的域移位器，以保留源域不同层次的语义信息及目标域的图像风格，生成具备源域多元化特点的中间域。在域迁移框架第二阶段，将中间域作为监督的源域，并结合目标域中的图像级注释生成带有伪标注的图像样本。在构建实时目标检测器时，采用50层残差网络单元的堆栈并额外叠加3个卷积模块构成基础网络，并将特征金字塔网络以自上而下、自下而上的路径以及横向连接将低分辨率、语义强的特征与高分辨率、语义弱的特征深度融合，同时采用广义交并比作为位置损失函数。通过中间域和伪标注的人工生成样本对目标检测模型进行顺序调整，以改善特征级域自适应的源偏判别性和像素级域自适应的图像翻译偏差性等问题，兼顾实时性与准确性实现弱监督条件下的实时目标检测任务。具体内容包括。
[0008]域移位器设计：从给定的源域利用图像翻译网络的变体实现域偏移，为保证其结构的通用性，选择改进循环一致性生成对抗网络（CycleGAN）中的残差生成器和判别器来构建域移位器。为显著区分域移位效果，本专利技术在目标函数中考虑了两个因素，即颜色保存和重建。
[0009]生成中间域：在两个相差较大的域之间对齐特征分布是具有挑战性的，因此可以引入一个中间特征空间来简化自适应任务。换言之，本专利技术方法不是直接解决源域和目标域之间的差距，而是逐步对中间域连接的目标域进行自适应。中间域是由源域图像构建的，在像素级上合成目标分布。
[0010]域多元化：一种通过域移位器故意产生独特的域差异来使源域多样化的方法。域移位器的每种因素配置都会产生不同视觉差异的图片，以丰富中间域样本。
[0011]生成伪标注图像：在目标域中，如果使用仅在源域上训练的目标检测器进行目标检测，那么检测失败的主要原因是目标类与其他类或背景混淆，而非定位不准确。在完成伪标注的图像上调整目标检测器可以改善对象上下文分布，显著减少这种混淆。将生成的中间域作为监督的源域，并结合目标域中的图像级标签生成伪标注图像。
[0012]构建目标检测器：采用50层残差网络单元的堆栈并额外叠加3个卷积模块构成基础网络，并将特征金字塔网络以自上而下、自下而上的路径以及横向连接将低分辨率、语义强的特征与高分辨率、语义弱的特征深度融合，以优化多尺度特征检测效果；同时采用广义交并比作为位置损失函数，解决不重叠边界框情况下优化不可行的问题。
[0013]渐进式两阶段域迁移框架：使用中间域弥合域差距，将困难的任务分解为两个更容易且差距更小的子任务。首先，通过域移位器使标注数据的分布多样化，将源域图像转化为多元化的中间域图像，然后将中间域作为监督的源域，并结合目标域中的图像级标签生成伪标注图像。使用中间域和伪标注的两种人工生成图像样本逐步调整检测模型，以解决
域迁移过程中图像翻译偏差性及特征级适应的源偏判别性等问题。
[0014]基于渐进式多元化域迁移的弱监督实时目标检测方法具体包括如下步骤：步骤1：将源域数据集载入目标检测器进行预训练得到预训练模型；步骤2：将源域及目标域数据集载入多元化域移位器，生成具有源域标注信息及不同目标域图像风格的中间域图像；步骤3：将中间域数据载入预训练模型，对模型进行第一步调整得到中间域训练模型；步骤4：将目标域图像载入中间域训练模型进行检测，输出种类、置信度得分，位置等信息，将该信息与目标域图像中的弱标注（图像级标签）信息进行比对，为检测图片中的种类下添加伪标注（位置信息），生成伪标注图像；步骤5：将伪标注图像载入中间域训练模型，对模型进行第二步调整得到最终的学习训练模型；步骤6：模型测试。
[0015]相比于现有技术，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于渐进式多元化域迁移的弱监督实时目标检测方法，为解决弱监督条件下的跨域目标检测问题，提出了一种两阶段渐进式域迁移框架和一种与该框架相匹配的实时目标检测器；在域迁移框架第一阶段，结合源域和目标域特征，利用图像翻译网络的缺陷性，通过增加约束条件改变图像翻译生成器和判别器的学习趋势，设计能够生成多样化数据样本的域移位器，以保留源域不同层次的语义信息及目标域的图像风格，生成具备源域多元化特点的中间域；在域迁移框架第二阶段，将中间域作为监督的源域，并结合目标域中的图像级注释生成带有伪标注的图像样本；在构建实时目标检测器时，采用50层残差网络单元的堆栈并额外叠加3个卷积模块构成基础网络，并将特征金字塔网络以自上而下、自下而上的路径以及横向连接将低分辨率、语义强的特征与高分辨率、语义弱的特征深度融合，同时采用广义交并比作为位置损失函数；通过中间域和伪标注的人工生成图像样本对目标检测模型依次顺序调整，以改善特征级域自适应的源偏判别性和像素级域自适应的图像翻译偏差性等问题，兼顾实时性与准确性实现弱监督条件下的实时目标检测任务；基于渐进式多元化域迁移的弱监督实时目标检测方法包括：步骤1：将源域数据集载入目标检测器进行预训练得到预训练模型；步骤2：将源域及目标域数据集载入多元化域移位器，生成具有源域标注信息及不同目标域图像风格的中间域图像；步骤3：将中间域数据载入预训练模型，对模型进行第一步调整得到中间域训练模型；步骤4：将目标域图像载入中间域训练模型进行检测，输出种类、置信度得分，位置等信息，将该信息与目标域图像中的弱标注（图像级标签）信息进行比对，为检测图片中的种类下添加伪标注（位置信息），生成伪标注图像；步骤5：将伪标注图像载入中间域训练模型，对模型进行第二步调整得到最终的学习训练模型；步骤6：模型测试。2.根据权利要求1所述，中间域图...

【专利技术属性】
技术研发人员：李成严，郑企森，王昊，
申请(专利权)人：哈尔滨理工大学，
类型：发明
国别省市：