System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 一种训练水下识别模型的方法、水下考古方法及相关设备技术_技高网
当前位置: 首页 > 专利查询>上海大学专利>正文

一种训练水下识别模型的方法、水下考古方法及相关设备技术

技术编号:41178070 阅读:6 留言:0更新日期:2024-05-07 22:13
本发明专利技术公开一种训练水下识别模型的方法、水下考古方法及相关设备,涉及域自适应目标检测技术领域,方法包括根据第一训练样本集训练风格迁移模型;根据第二训练样本集以及风格迁移模型,得到第三训练样本集;利用第三训练样本集训练得到初始检测器模型,再利用无标注的声呐图像调整初始检测器模型的检测器网络,得到检测器模型;然后训练得到辅助模型;辅助模型中去除对抗模块,使用域信息作为额外的监督信号;利用域融合蒸馏的方式对检测器模型和辅助模型进行融合蒸馏,得到水下识别模型。本发明专利技术利用大量易获取的光学图像对稀缺的声呐图像进行补充,将光学图像检测器迁移到声呐领域,实现了无监督的高精度、实时性声呐检测。

【技术实现步骤摘要】

本专利技术涉及域自适应目标检测,特别是涉及一种训练水下识别模型的方法、水下考古方法及相关设备


技术介绍

1、水下考古是一项有助于恢复历史,带来巨大经济价值的学科。沉船检测是水下考古的主要领域。由于可见光和红外线等探测方法在海水中受到很大限制,而声呐系统采用的声波在海水中具有很强的穿透性,传播范围广,精度也较高,因此声呐探测是水下考古的重要技术手段。

2、目前,基于深度学习的目标检测技术已经被广泛应用到光学领域。但是受限于海底的辽阔和水下物体的稀缺性,缺乏充分注释的水下实例数据给水下考古学提出了一个挑战。配备声纳系统的船只需要在可能存在水下目标的区域反复巡视,以捕获侧扫声纳(sidescan sonar(sss))图像。这些sss图像主要由大量的海底背景组成,中间穿插着有限的对象实例,使精细的注释费时费力。

3、现有方法主要利用风格迁移方法生成仿真图像,对缺失的声呐数据进行补充。但是,风格迁移方法不能准确反应声呐图像的真实分布,他们的训练过程中仍依赖真实的声呐图像及标注。因此,本领域亟需一种无需对声呐图像进行处理及标注的技术方案。


技术实现思路

1、本专利技术的目的是提供一种训练水下识别模型的方法、水下考古方法及相关设备,可利用光学场景下充足的沉船实例,对水下稀缺的声呐沉船实例进行补充,将光学图像检测器迁移到声呐领域,实现了无监督的高精度、实时性声呐检测。

2、为实现上述目的,本专利技术提供了如下方案:

3、第一方面,本专利技术提供了一种训练水下识别模型的方法,包括:

4、根据第一训练样本集训练风格迁移模型;所述第一训练样本集包括精细标注的光学船只图像和无标注的声呐图像;

5、根据第二训练样本集以及风格迁移模型,得到第三训练样本集;所述第二训练样本集包括多个光学船只图像;所述第三训练样本集包括所述第二训练样本集中的光学船只图像以及对应的仿真声呐图像,以及第二样本集中的无标注声呐图像;

6、利用所述第三训练样本集中的光学船只图像以及对应的所述仿真声呐图像训练检测器网络,得到初始检测器模型;检测器模型用于识别所述无标注声呐图像中的潜在沉船;

7、利用所述第三训练样本集中无标注的声呐图像调整初始检测器模型的检测器网络,得到检测器模型;

8、利用所述第三训练样本集训练域相关辅助检测器网络,得到辅助模型;所述域相关辅助检测器网络中去除了对抗模块,使用域信息作为额外的监督信号;

9、利用域融合蒸馏的方式对所述检测器模型和所述辅助模型进行融合蒸馏,得到水下识别模型。

10、可选的,利用所述第三训练样本集中无标注的声呐图像调整初始检测器模型的检测器网络,得到检测器模型,具体包括:

11、复制所述初始检测器模型的权重,得到教师模型和学生模型;

12、利用所述教师模型对无标注的声呐图像进行识别,得到识别结果;

13、将所述识别结果进行置信度阈值过滤和非极大值抑制,得到伪标签;

14、利用所述第三训练样本集中的光学船只图像、对应的所述仿真声呐图像训练以及所述伪标签训练所述学生模型;

15、使用指数移动平均方法和伪标签技术,在训练过程中同时优化学生模型和教师模型,采用最终的教师模型作为优化后的检测器模型。

16、可选的,根据第一训练样本集训练风格迁移模型,具体包括:

17、对光学船只图像中的船只进行标注,得到标注图像;

18、以所述标注图像为输入,对应的仿真声呐图像为输出,训练风格迁移网络,得到风格迁移模型;所述仿真声呐图像与所述标注图像共享相同的数据标注。

19、可选的,训练检测器网络时所使用的损失函数为:

20、

21、其中,rpn和roi分别表示区域提案网络和感兴趣区域;lcls表示分类损失,lreg表示定位损失;lclsrpn和lregrpn表示对rpn和roi计算分类损失,lregroi和lregroi表示对rpn和roi模块计算定位损失,(xis,yis)为输入的光学船只图像,xift为输入的仿真声呐图像。

22、可选的,训练域相关辅助检测器网络时使用的损失函数为:

23、l=ldis+ldet;

24、

25、

26、式中,ldis表示检测损失,ldet表示域损失,e表示检测器的特征提取器,d表示域鉴别器,rpn和roi分别表示区域提案网络和感兴趣区域;lcls表示分类损失,lreg表示定位损失;lclsrpn和lregrpn表示对rpn模块和roi计算分类损失,lregroi和lregroi表示对rpn和roi模块计算定位损失,(xis,yis)为输入的光学船只图像,xit为输入的仿真声呐图像,表示伪标签。

27、可选的,利用域融合蒸馏的方式对所述检测器模型和所述辅助模型进行融合蒸馏,得到水下识别模型,具体包括:

28、利用加权框平均方法融合所述检测器模型和所述辅助模型的检测结果,得到融合伪标签;

29、利用所述光学船只图像、对应的所述仿真声呐图像训练以及所述融合伪标签训练域不可知检测器网络,得到学生检测器模型;所述域不可知检测器网络为在所述检测器网络的基础上去除域辅助结构后得到的网络;

30、利用所述学生检测器模型的权重更新所述检测器模型和所述辅助模型的权重,并返回“利用所述光学船只图像和所述仿真声呐图像训练域相关辅助检测器网络,得到辅助模型”步骤,直至所述学生检测器模型收敛;其中,最后得到的学生检测器模型为水下识别模型。

31、可选的,利用加权框平均方法融合所述检测器模型和所述辅助模型的检测结果,得到融合伪标签,具体包括:

32、通过交并比阈值,筛选所述检测器模型和所述辅助模型预测出的同样的实例,得到重复预测实例;

33、针对所述重复预测实例,分别计算所述检测器模型和所述辅助模型预测的置信度得分;

34、根据所述置信度得分对所述重复预测实例的边界框进行修正,得到融合伪标签。

35、第二方面,本专利技术提供了一种水下考古方法,包括:

36、获取水下目标区域的声呐图像;

37、利用水下识别模型识别所述声呐图像中的沉船;所述水下识别模型是利用上述训练水下识别模型的方法训练得到的。

38、第三方面,本专利技术提供了一种计算机设备,包括:存储器、处理器以存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序以实现上述训练水下识别模型的方法的步骤。

39、第四方面,本专利技术提供了一种计算机设备,包括:存储器、处理器以存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序以实现上述水下考古方法的步骤。

40、根据本专利技术提供的具体实施例,本专利技术公开了以下技术效果:

41、本专利技术提供了一种训练水下识别模型的方法、水下考古方本文档来自技高网...

【技术保护点】

1.一种训练水下识别模型的方法,其特征在于,所述方法包括:

2.根据权利要求1所述的一种训练水下识别模型的方法,其特征在于,利用所述第三训练样本集中无标注的声呐图像调整初始检测器模型的检测器网络,得到检测器模型,具体包括:

3.根据权利要求1所述的一种训练水下识别模型的方法,其特征在于,根据第一训练样本集训练风格迁移模型,具体包括:

4.根据权利要求1所述的一种训练水下识别模型的方法,其特征在于,训练检测器网络时所使用的损失函数为:

5.根据权利要求1所述的一种训练水下识别模型的方法,其特征在于,训练域相关辅助检测器网络时使用的损失函数为:

6.根据权利要求1所述的一种训练水下识别模型的方法,其特征在于,利用域融合蒸馏的方式对所述检测器模型和所述辅助模型进行融合蒸馏,得到水下识别模型,具体包括:

7.根据权利要求6所述的一种训练水下识别模型的方法,其特征在于,利用加权框平均方法融合所述检测器模型和所述辅助模型的检测结果,得到融合伪标签,具体包括:

8.一种水下考古方法,其特征在于,所述方法包括:</p>

9.一种计算机设备,包括:存储器、处理器以存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序以实现权利要求1-7中任一项所述训练水下识别模型的方法的步骤。

10.一种计算机设备,包括:存储器、处理器以存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序以实现权利要求8中所述水下考古方法的步骤。

...

【技术特征摘要】

1.一种训练水下识别模型的方法,其特征在于,所述方法包括:

2.根据权利要求1所述的一种训练水下识别模型的方法,其特征在于,利用所述第三训练样本集中无标注的声呐图像调整初始检测器模型的检测器网络,得到检测器模型,具体包括:

3.根据权利要求1所述的一种训练水下识别模型的方法,其特征在于,根据第一训练样本集训练风格迁移模型,具体包括:

4.根据权利要求1所述的一种训练水下识别模型的方法,其特征在于,训练检测器网络时所使用的损失函数为:

5.根据权利要求1所述的一种训练水下识别模型的方法,其特征在于,训练域相关辅助检测器网络时使用的损失函数为:

6.根据权利要求1所述的一种训练水下识别模型的方法,其特征在于,利用域融合蒸馏的方式...

【专利技术属性】
技术研发人员:李小毛魏成伟彭艳
申请(专利权)人:上海大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1