针对基于合成孔径雷达(SAR)的对象检测对电光(EO)知识进行迁移的系统和方法技术方案

描述了一种将学习到的知识从电光(EO)域迁移到合成孔径雷达(SAR)域的系统。该系统使用测量的EO域与SAR域之间的相似性来训练模型，该模型用于使用先前从电光(EO)域学习到的知识对SAR图像进行分类。使用所训练的模型处理SAR图像，以确定SAR图像中的关注区域。对关注区域进行分类，以确定关注区域是否对应于关注对象，并且输出包含关注对象的已分类关注区域。在可视化地图上显示关注对象，并且自动更新可视化地图，以反映关注对象的位置变化。

【技术实现步骤摘要】
【国外来华专利技术】针对基于合成孔径雷达(SAR)的对象检测对电光(EO)知识进行迁移的系统和方法相关申请的交叉引用本申请是2019年3月12日在美国提交的名称为“SystemandMethodforTransferringEOKnowledgeforSAR-BasedObjectDetection”的美国临时申请No.62/817,403的非临时申请，其全部内容通过引用并入本文。本申请还是2019年3月13日在美国提交的名称为“SystemandMethodforTransferringEOKnowledgeforSAR-BasedObjectDetection”的美国临时申请No.62/817,720的非临时申请，其全部内容通过引用并入本文。本申请还是2019年2月19日在美国提交的名称为“SystemandMethodforUnsupervisedDomainAdaptationViaSliced-WassersteinDistance”的美国临时申请No.62/807,716的非临时申请，其全部内容通过引用并入本文。专利技术背景(1)
本专利技术涉及一种将知识从电光(EO)域迁移到合成孔径雷达(SAR)域的系统，并且更具体地，涉及一种用于使用半监督域适应框架将知识从EO域迁移到SAR域的系统。(2)
技术介绍
电光(EO)图像是在监督学习的计算机视觉应用中作为输入传感数据收集和处理的主要视觉数据。在现有技术的自主系统中用于对象检测的深度卷积神经网络(CNN)在数据驱动方案中使用巨大的已标记图像数据集来训练，以自动学习用于对象检测的高质量特征。尽管EO成像具有广泛的适用性，但在需要长时间成像的连续环境监测和大规模监视(参见参考文献18)和地球遥感等应用中，EO成像是不可行的。在这些应用中，使用SAR成像是不可避免的，因为SAR成像可以使用雷达信号来提供高分辨率的图像，所述雷达信号可以在锢囚(occluded)天气和夜间传播。出于以下原因，为SAR图像生成大的已标记训练数据集是极具挑战性的。与EO数据集相比，准备仅采集SAR数据以生成训练数据集的设备要昂贵得多(参见参考文献21)。SAR图像通常是分类数据，使得对SAR数据的访问受到严格管制和限制。这限制了可以被雇用来帮助进行处理和标记的参与者的数量。标记SAR图像通常需要经过培训的专家，而非自然EO域图像中的任务(参见参考文献27)。这使得标记SAR数据更昂贵。SAR数据的连续收集在SAR应用中是常见的。这可以使标记数据不能标识当前分布，迫使模型再训练持久性标记(参见参考文献11)。此外，使用大多数现有SAR数据集训练CNN导致过拟合模型，该过拟合模型不能很好地推广到测试集(参见参考文献3和28)。一些先前的工作已经将迁移学习的思想应用于SAR域。Huang等人(参见参考文献11)通过无监督学习解决SAR域中已标记数据不足的问题。该思想是使用大量的未标记SAR数据来训练自动编码器。结果，由自动编码器学习的嵌入空间是有区别的，并且可以用作更好的特征提取以受益于知识迁移的手段。经训练的编码器子网络可以与分类器网络连接，并且两者都将使用已标记数据部分进行细调，以将数据点映射到标记空间。Hansen等人(参见参考文献21)提议使用易于生成的合成SAR图像来迁移知识。它们的主要新颖性在于证明如何基于模拟目标雷达反射率生成给定SAR问题的模拟数据集。然后在合成数据集上预训练CNN，然后将其用作真实SAR域问题的初始化。由于预训练阶段，可以使用少量的真实已标记数据点来细调模型。Zhang等人(参见参考文献30)提议迁移来自次级源SAR任务的知识，在次级源SAR任务处已标记数据是可用的。它们的思想是用已标记数据预训练任务上的CNN，然后在目标任务上将其进行细调。Lang等人(参见参考文献19)使用自动识别系统(AIS)作为知识迁移的次要域。AIS是用于监控船舶的运动的跟踪系统，其可以提供标记信息。Shang等人(参见参考文献28)修改了带有信息记录仪的CNN。该记录器用于存储标记样本的空间特征，记录的特征用于基于空间相似性来预测未已标记数据点的标记，以增加已标记样本的数量。最后，Wang等人(参见参考文献29)使用一种方法在学习流水线中使用VGGNet作为特征提取器来迁移知识，该学习流水线本身已经在大EO数据集上进行了训练。这些过去的工作主要使用经预训练的深度网络，所述经预训练的深度网络使用了次级知识源来训练，然后使用目标SAR任务上的少量已标记数据点来对其进行细调。因此，知识迁移作为使用次级源选择更好的初始点的结果而发生。在计算机视觉文献中已经针对广泛的场景研究了域适应(DA)。目标是学习关于具有足够数据的源数据分布上的模型，使得其很好地推广到不同但相关的具有不足已标记数据的目标数据分布上。早期的DA算法开发出域不变和稳定的特征，其可用于两个域(参见参考文献6)或学习将目标数据点映射到源域的函数(参见参考文献26)。尽管是非常不同的解决方案，但是两种方法都试图预处理数据，使得预处理之后两个域的分布变得相似。结果，使用源数据训练的分类器也可用于目标域。公开了从EO到SAR的迁移学习的现有方法解决了极少标记(即，小样本(few-shot))场景中的挑战。当仅有少量标记的SAR图像可用时，这些方法存在困难，而且计算量昂贵。因此，存在对迁移学习系统的持续需要，所述迁移学习系统利用其在EO域中学习到的知识来执行在仅具有极少量的已标记数据样本的SAR域中的对象检测。
技术实现思路
本专利技术涉及一种将知识从电光(EO)域迁移到合成孔径雷达(SAR)域的系统，并且更具体地，涉及一种使用半监督域适应框架将知识从EO域迁移到SAR域的系统。该系统包括非暂时性计算机可读介质和一个或更多个处理器，所述非暂时性计算机可读介质上编码有可执行指令，使得可执行指令在被执行时，该一个或更多个处理器执行多个操作。该系统使用测量的EO域与SAR域之间的相似性来训练模型，所述模型用于使用先前从电光(EO)域学习到的知识对SAR图像进行分类。该系统使用所训练的模型处理SAR图像，以确定SAR图像中的关注区域。对关注区域进行分类，以确定关注区域是否对应于关注对象，并且输出包含关注对象的已分类关注区域。将关注对象显示在可视化地图上，并且自动更新可视化地图，以反映关注对象的位置变化。在另一方面中，利用EO域中的一组已标记数据点来训练模型，并且使用SAR域中的一组已标记数据点来调整所训练的模型，其中，SAR域中的所述一组已标记数据点中的数据点的数量明显少于EO域中的一组已标记数据点中的数据点的数量。在另一个方面，Sliced-Wasserstein距离(SWD)被用于确定所测量的相似性。在另一方面，SWD被用于使神经自动编码器的潜在空间中的EO域概率分布与SAR域概率分布之间的差异最小化，以便监督域特定编码器的训练。在另一方面，SAR域中的一组已标记数据点和SAR域中的一组未标记数据点被用于使EO概率分布与SAR域概率分布对准。最后，本专利技术本文档来自技高网...

【技术保护点】
1.一种将学习到的知识从电光(EO)域迁移到合成孔径雷达(SAR)域的系统，所述系统包括：/n非暂时性计算机可读介质和一个或更多个处理器，所述非暂时性计算机可读介质上编码有可执行指令，使得所述可执行指令在被执行时，所述一个或更多个处理器执行以下操作：/n使用测量的所述EO域与所述SAR域之间的相似性来训练模型，所述模型用于使用先前从所述电光(EO)域学习到的知识对SAR图像进行分类；/n使用所训练的模型来处理SAR图像，以确定所述SAR图像中的关注区域；/n对关注区域进行分类，以确定所述关注区域是否对应于关注对象；/n输出包含所述关注对象的已分类关注区域；/n在可视化地图上显示所述关注对象；以及/n自动更新所述可视化地图，以反映所述关注对象的位置变化。/n

【技术特征摘要】
【国外来华专利技术】20190219 US 62/807,716;20190312 US 62/817,403;20191.一种将学习到的知识从电光(EO)域迁移到合成孔径雷达(SAR)域的系统，所述系统包括：
非暂时性计算机可读介质和一个或更多个处理器，所述非暂时性计算机可读介质上编码有可执行指令，使得所述可执行指令在被执行时，所述一个或更多个处理器执行以下操作：
使用测量的所述EO域与所述SAR域之间的相似性来训练模型，所述模型用于使用先前从所述电光(EO)域学习到的知识对SAR图像进行分类；
使用所训练的模型来处理SAR图像，以确定所述SAR图像中的关注区域；
对关注区域进行分类，以确定所述关注区域是否对应于关注对象；
输出包含所述关注对象的已分类关注区域；
在可视化地图上显示所述关注对象；以及
自动更新所述可视化地图，以反映所述关注对象的位置变化。


2.根据权利要求1所述的系统，其中，所述一个或更多个处理器还执行以下操作：
利用所述EO域中的一组已标记数据点训练所述模型；以及
使用所述SAR域中的一组已标记数据点来调整所训练的模型，其中，所述SAR域中的所述一组已标记数据点中的数据点的数量明显少于所述EO域中的所述一组已标记数据点中的数据点的数量。


3.根据权利要求1所述的系统，其中，Sliced-Wasserstein距离(SWD)被用于确定所测量的相似性。


4.根据权利要求3所述的系统，其中，SWD被用于使神经自动编码器的潜在空间中的EO域概率分布与SAR域概率分布之间的差异最小化，以便监督域特定编码器的训练。


5.根据权利要求2所述的系统，其中，所述SAR域中的所述一组已标记数据点和所述SAR域中的一组未标记数据点被用于使EO概率分布与SAR域概率分布对准。


6.一种将学习到的知识从电光(EO)域迁移到合成孔径雷达(SAR)域的计算机实现的方法，所述方法包括以下动作：
使一个或更多个处理器执行在非暂时性计算机可读介质上编码的指令，使得在执行时，所述一个或更多个处理器执行以下操作：
使用测量的所述EO域与所述SAR域之间的相似性来训练模型，所述模型用于使用先前从所述电光(EO)域学习到的知识对SAR图像进行分类；
使用所训练的模型来处理SAR图像，以确定所述SAR图像中的关注区域；
对关注区域进行分类，以确定所述关注区域是否对应于关注对象；
输出包含所述关注对象的已分类关注区域；
在可视化地图上显示所述关注对象；以及
自动更新所述可视化地图，以反映所述关注对象的位置变化。


7....

【专利技术属性】
技术研发人员：M·罗斯塔米，S·科洛瑞，
申请(专利权)人：赫尔实验室有限公司，
类型：发明
国别省市：美国;US