【技术实现步骤摘要】
本专利技术涉及概率统计和深度学习领域，尤其设计一种基于贝叶斯理论的多模态目标检测模型融合鲁棒增强方法和装置。
技术介绍
1、随着深度学习的发展，yolo系列，r-cnn系列和ssd被提出并用于处理目标检测任务。目标检测任务是指对图片中感兴趣区域进行位置和类别的确认。目标检测模型的优秀性能使其得以广泛应用于城市交通，工业检测和自动驾驶等领域。然而，在不同环境光照的条件下，不同电磁波波段的目标检测结果并不相同。例如，在白天时可见光波段的目标检测结果优于红外波段的目标检测结果，而在夜晚时可见光波段的目标检测结果则差于红外波段的目标检测结果。在自动驾驶场景下，目标检测的结果影响汽车响应行为，不稳定的检测结果会导致车祸。因此，如何确保目标检测的结果不受环境光照变化的影响变得尤为重要。
2、在这种背景下，多模态融合目标检测模型应运而生，旨在通过融合可见光波段和红外波段的信息实现稳定且可靠的目标检测，克服了环境光照变化的影响。多模态目标检测在可见光和红外线融合领域已经取得了不错的成果，能够有效融合两个波段下的检测结果从而提升最终检测结果。
3、根据不同模态信息融合阶段的不同，多模态目标检测模型可以分为以下三类:前期融合型多模态融合目标检测模型，通过设计并训练一个四通道的目标检测模型实现多模态检测；中期融合型多模态融合目标检测模型，通过同时对可见光图片和红外图片进行特征提取并且将提取特征输入到一个目标检测模型实现多模态目标检测；后期融合型多模态融合目标检测模型，通过同时训练一个可见光目标检测模型和红外目标检测模型并将两个
4、上述多模态融合目标检测模型在融合过程中都存在一定的问题。前期融合和中期融合在特征融合的过程中存在不稳定性和不同模态之间的相干性。中期融合还存在难以评估不同模态高纬度特征的融合方式和特征筛选决策方式合理性的问题。后期融合存在不同模态的检测结果融合策略不合理的问题。上述问题都会引起多模态目标检测模型在部分数据上检测性能下降的问题，会为多模态融合目标检测模型的实际应用带来安全隐患。
5、综上所述，探索一种多模态融合目标检测鲁棒增强方法可以有效提高多模态融合效果从而提升目标检测效果，对于多模态融合目标检测模型现实应用的安全性保障具有重要的实践意义。
技术实现思路
1、本专利技术的目的在于针对现有技术的不足，提供了一种基于贝叶斯理论的多模态目标检测模型融合鲁棒增强方法和装置。
2、本专利技术的目的是通过以下技术方案来实现的：一种基于贝叶斯理论的多模态目标检测模型融合鲁棒增强方法，包括以下步骤：
3、(1)对单模态目标检测模型分别进行红外模态训练和可见光模态训练，得到红外目标检测模型和可见光目标检测模型；
4、(2)对一个场景在红外模态下采集到的图片和在可见光模态下采集到的图片进行预测，得到融合结果。
5、进一步地，所述步骤(1)具体包括以下子步骤：
6、(1.1)获取检测置信度先验分布：遍历训练集的标签，获取每个类别检测目标的总数numberi和所有检测目标的数量numbertotal，将每个类别检测目标的总数numberi除以所有检测目标的数量numbertotal进行归一化，得到类别检测置信度先验分布集合{p}：{p}＝{p(y1),…,p(yi),…,p(yn)}，其中，n表示训练集中总共包含n个类别检测目标，p(yi)表示任意一个类别检测目标yi的类别检测置信度先验分布；
7、(1.2)划分数据集：将红外图像训练数据按照8:2的比例划分得到红外模态训练集和测试集，并将可见光图像训练数据按照8:2的比例划分得到可见光模态训练集和测试集；
8、(1.3)单模态目标检测器训练：选择单模态目标检测模型，分别在红外模态训练集和可见光模态训练集上面进行微调训练，并且分别在红外模态训练集和可见光模态训练集进行性能评估，得到训练好的红外目标检测模型和可见光目标检测模型。
9、进一步地，所述步骤(2)具体包括以下子步骤：
10、(2.1)将同一个场景在红外模态下采集到的图片xinfrared输入至红外目标检测模型，获得红外目标检测模型的预测结果outputinfrared，所述红外目标检测模型的预测结果outputinfrared包括红外预测检测框置信度集合{pinfrared}、红外检测框位置集合{binfrared}；将同一个场景在可见光模态下采集到的图片xvisible输入至可见光目标检测模型，获得可见光目标检测模型的预测结果outputvisible，所述可见光目标检测模型的预测结果outputvisible包括可见光目标检测框置信度集合{pvisible}、可见光测框位置集合{bvisible}；
11、(2.2)根据红外预测检测框置信度集合{pinfrared}和可见光目标检测框置信度集合{pvisible}进行检测框检测置信度融合，得到检测框置信度融合结果集合；
12、(2.3)根据红外检测框位置集合{binfrared}和可见光测框位置集合{bvisible}进行检测框位置融合，得到检测框置位置融合结果集合。
13、进一步地，所述步骤(2.2)具体为：
14、根据红外预测检测框置信度集合{pinfrared}和可见光目标检测框置信度集合{pvisible}进行检测框检测置信度融合，存在以下3种情况：
15、情况1：若红外预测检测框置信度集合{pinfrared}和可见光目标检测框置信度集合{pvisible}中存在同一个类别检测目标yi的红外预测检测框置信度p(yi|x1)和可见光目标检测框置信度p(yi|x2)，得到同一个类别检测目标yi的检测框置信度融合结果conf(yi)，并放入检测框置信度融合结果集合中，计算公式如下：
16、
17、情况2：若红外预测检测框置信度集合{pinfrared}存在可见光目标检测框置信度集合{pvisible}中不存在的类别检测目标的红外预测检测框置信度，直接将该红外预测检测框置信度放入检测框置信度融合结果集合中；
18、情况3：若可见光目标检测框置信度集合{pvisible}中存在红外预测检测框置信度集合{pinfrared}不存在的类别检测目标的可见光目标检测框置信度，直接将该可见光目标检测框置信度放入检测框置信度融合结果集合中；
19、对以上3种情况的类别检测目标分别进行上述处理，得到完整的检测框置信度融合结果集合。
20、进一步地，所述步骤(2.3)具体为：
21、根据红外检测框位置集合{binfrared}和可见光测框位置集合{bvisible}进行检测框位置融合，存在以下3种情况：
22、情况1：若红外检测框位置集合{binfrared}和可见光测框位置集合{bvisible}中存在同一个类别检测目标yi的红外检测框位置和可见光测框本文档来自技高网...
【技术保护点】
1.一种基于贝叶斯理论的多模态目标检测模型融合鲁棒增强方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于贝叶斯理论的多模态目标检测模型融合鲁棒增强方法，其特征在于，所述步骤(1)具体包括以下子步骤：
3.根据权利要求1所述的一种基于贝叶斯理论的多模态目标检测模型融合鲁棒增强方法，其特征在于，所述步骤(2)具体包括以下子步骤：
4.根据权利要求3所述的一种基于贝叶斯理论的多模态目标检测模型融合鲁棒增强方法，其特征在于，所述步骤(2.2)具体为：
5.根据权利要求3所述的一种基于贝叶斯理论的多模态目标检测模型融合鲁棒增强方法，其特征在于，所述步骤(2.3)具体为：
6.一种基于贝叶斯理论的多模态目标检测模型融合鲁棒增强装置，其特征在于，包括存储器和一个或多个处理器，所述存储器中存储有可执行代码，所述一个或多个处理器执行所述可执行代码时，用于实现权利要求1-5任一项所述的一种基于贝叶斯理论的多模态目标检测模型融合鲁棒增强方法。
7.一种计算机可读存储介质，其特征在于，其上存储有程序，该程序被处理器执
...【技术特征摘要】
1.一种基于贝叶斯理论的多模态目标检测模型融合鲁棒增强方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于贝叶斯理论的多模态目标检测模型融合鲁棒增强方法，其特征在于，所述步骤(1)具体包括以下子步骤：
3.根据权利要求1所述的一种基于贝叶斯理论的多模态目标检测模型融合鲁棒增强方法，其特征在于，所述步骤(2)具体包括以下子步骤：
4.根据权利要求3所述的一种基于贝叶斯理论的多模态目标检测模型融合鲁棒增强方法，其特征在于，所述步骤(2.2)具体为：
5.根据权利要求3所述的一种基于...
【专利技术属性】
技术研发人员：沈诗婧，苏蒙蒙，陈晋音，严云杰，熊海洋，郑海斌，李晓豪，
申请(专利权)人：杭州榕数科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。