一种基于孪生语义网络的交通场景热红外语义生成方法技术

本发明专利技术公开一种基于孪生语义网络的交通场景热红外语义生成方法，步骤如下：步骤一：基于改进U型网络的语义生成网络G1和G2；步骤二：由两个判别网络D1和D2分别生成风格迁移图像的判别特征并进行分类判别；步骤三：设计并引入孪生语义损失Lstyle。本发明专利技术基于循环生成对抗网络的理论框架，通过合理设计网络结构，引入包括残差模块和空洞卷积以实现更高质量的特征提取和语义生成，同时由代表热红外风格的局部特征以孪生语义损失Lstyle的形式将整体网络循环的不同阶段联系起来，以生成更加稳定的热红外语义交通图像。本发明专利技术可广泛应用于智能交通系统中基于多源图像联系的模拟和仿真系统，具有广阔的市场前景与应用价值。

A Thermal Infrared Semantic Generation Method for Traffic Scene Based on Twin Semantic Networks

【技术实现步骤摘要】
一种基于孪生语义网络的交通场景热红外语义生成方法
本专利技术涉及一种基于孪生语义网络的交通场景热红外语义生成方法，尤其是一种孪生语义循环生成对抗网络(SS-CycleGAN)的交通场景热红外语义生成方法，属于数字图像处理、模式识别和红外工程
它主要涉及卷积神经网络(CNN)和生成对抗策略(GAN)，能广泛应用于智能交通系统中基于多源图像关联的模拟和仿真系统。
技术介绍
热红外语义生成作为红外图像处理和模式识别的重要技术之一，能够切实提高红外-可见光多源图像系统的相互协调能力和信息分析效率，从而为智能交通系统的离线辅助、模拟训练、事故监控以及自动驾驶提供可靠稳定的输入，因此对当前高速发展的多源传感器信息处理和虚拟现实技术具有重要意义。传统的红外语义生成技术主要基于红外仿真算法，基本上均是由可见光图像序列重建的三维场景模型结合环境辐射传热模型实现。从上世纪九十年代至今随着红外硬件质量的不断提高，红外仿真技术得到了快速发展，在计算效率、生成真实性以及实时性等方面取得了很大的进步。1999年，由AlainLeGoff等人开发了多光谱战场仿真系统CHORALE[A.L.Goff,RealisticmultispectralsimulationincludingIRsimulation,inInternationalSocietyforOpticsandPhotonics,1999,pp.152-163.(戈尔夫:逼真多光谱仿真与红外仿真,光学和电子国际学会,1999,152-163.)]，并在此基础上不断更新和增加功能模块，实现了对地面、海面[T.Cathala,N.Douchin,J.Latger,etal.ThecouplingofMATISSEandtheSE-WORKBENCH:anewsolutionforsimulatingefficientlytheatmosphericradiativetransferandtheseasurfaceradiation,inInternationalSocietyforOpticsandPhotonics,2009,pp.73000K-1-73000K-12.(卡瑟拉等,结合MATISSE和SE-WORKBENCH的一种新的有效模拟大气效应算法,光学和电子国际学会,2009,73000K-1-73000K-12.),T.Cathala,J.LatgerandA.LeGoff,MarinesimulationinSE-WORKBENCH,inOPTROconference,2012.(卡瑟拉等,基于SE-WORKBENCH的航海仿真,OPTRO会议,2012.)]、空中目标[T.Cathala,N.Douchin,A.Joly,etal.TheuseofSE-WORKBENCHforaircraftinfraredsignature,takenintoaccountbody,engine,andplumecontributions,inInternationalSocietyforOpticsandPhotonics,2010,pp.76620U-1-76620U-8.(卡瑟拉等,考虑主体,引擎和羽流的基于SE-WORKBENCH的飞行器红外仿真,光学和电子国际学会,2010,76620U-1-76620U-8.),N.DouchinandJ.Latger,ExtensionoftheSE-Workbenchforthecomputationofaircraftinfraredsignatures,inInternationalSocietyforOpticsandPhotonics,2010,pp.78340I-1-78340I-13.(多琴等,基于SE-WORKBENCH的飞行器红外仿真扩展研究,光学和电子国际学会,2010,78340I-1-78340I-13.)]的红外特性仿真。该系统可以修改模型的物理光谱属性，提供了标准接口以读取常见的三维模型格式，并采用光线跟踪算法渲染生成设定波段的红外场景图像。1998年，英国开发了著名的场景合成软件CAMEO-SIM[D.Oxford,M.Gilmore,I.Moorhead,etal.CAMEO-SIM:AphysicallyaccuratebroadbandEOscenegenerationsystemfortheassessmentofairvehiclecamouflageschemes,inNinthAnnualGroundTargetModellingandValidationConference,1998,pp.204-213.(奥克福德等,用于评估飞行器伪装系统的准确宽频EO场景生成软件CAMEO-SIM,第九届地面目标建模验证会议,1998,204-213.)]，并持续更新了各大组件和功能[A.W.Haynes,M.A.GilmoreandC.A.Stroud,Accuratescenemodelingusingsyntheticimagery,inTheInternationalSocietyforOpticalEngineering,2003,pp.85-96.(海尼斯等,基于合成图像的精确场景建模,光学和电子国际学会,2003,85-96),A.Kirk,M.CowanandR.D.Allen,CAMEO-SIM:anoceanmodelextensiontothephysicallyaccuratebroadbandEOscenegenerationsystemfortheassessmentoftargetvehicleswithintheirnaturalenvironments,inInternationalSocietyforOpticsandPhotonics,2004,pp.288-299.(科克等,用于评估自然环境下的车辆目标的准确宽频EO场景生成软件CAMEO-SIM扩展,光学和电子国际学会,2004,288-299.)]，可以仿真由紫外到红外各个波段的真实场景图像以及阴影、尾焰等特殊效果。美国空军研究实验室在2004年发布了高分辫率红外目标和背景仿真模型IRMA5.1版[J.Savage,C.Coker,B.Thai,etal.Irma5.1multisensorsignaturepredictionmodel,inInternationalSocietyforOpticsandPhotonics,2005,pp.6239C-1-6239C-12.(萨维吉等,多传感器显著性预测模型IRMA5.1版,光学和电子国际学会,2005,6239C-1-6239C-12.)]，为新武器的研制和发展提供覆盖红外、紫外和毫米波等波段的场景仿真。总体来说，传统基于辐射计算的热红外仿真方法需要大量额外的信息输入，如热源、气温、湿度及风速，并结合复杂的传热计算得出场景中各个位置的辐射强度，进而生成仿真图像。为了尽可能地减少热红外语义生成对外部条件的依赖，本专利技术将热红外仿真过程作为可见光图像的一种风格迁移，即由彩色或灰度的交通场景可见光图像由循环对抗网络理解交通场景中的典本文档来自技高网...

【技术保护点】
1.一种基于孪生语义网络的交通场景热红外语义生成方法，其特征在于：该方法具体步骤如下：步骤一：基于改进U型网络的语义生成网络G1和G2由图像语义生成网络G1和G2，分别实现可见光到热红外以及热红外到可见光的图像风格迁移模型；网络G1和G2均基于U型网络，并针对交通图像特点进行了局部改进以增强特征传递效率和循环生成对抗网络的训练效率，所述的局部改进具体如下:首先，为了提高卷积模块的梯度传递效率，原卷积模块的输入与输出将直接叠加作为下一层的输入，即将卷积模块的两层卷积将以残差连接的形式组成残差模块作为基本的特征提取结构；其次，为了增大特征感受野和网络鲁棒性，在不同层次的残差模块中引入了包括多尺度卷积核及随机失效层模块；最后，在G1和G2在输出风格转换图像的同时，网络中第一层和第二层最大池化特征谱也作为风格特征输出引入到孪生语义损失中；步骤二：由两个判别网络D1和D2分别生成风格迁移图像的判别特征并进行分类判别设计热红外语义判别网络D1和可见光语义判别网络D2，引入空洞卷积改善判别CNN网络性能，分别对由热红外语义生成网络G1生成的热红外图像和可见光语义生成网络G2生成的可见光图像以GAN损失进行真假判别，提高语义判别网络D1和D2的辨别能力；步骤三：设计并引入孪生语义损失Lstyle本专利技术循环生成对抗网络中包括两条线路：其一，可见光图像由生成网络G1生成仿真热红外图像，再由生成网络G2重建可见光图像；其二，热红外图像由生成网络G2生成仿真可见光图像，再由生成网络G1重建热红外图像；由于热红外语义生成网络G1和可见光语义生成网络G2分别被以不同的输入传输了两次，为了增强闭环中用于同一语义生成的网络相关性，使得生成风格与交通图像的典型目标布局紧密相连，以将生成网络G1和G2的两阶段中间特征分以孪生语义损失Lstyle的形式引入，以降低两次传输的中间结果的差异性可以提高语义生成效率，从而获取更加鲁邦的迁移性能，具体实施过程如下：整体网络中用到G1网络的中间过程包括：由可见光图像生成仿真热红外图像过程和由仿真可见光图像生成重建热红外图像过程，将两个过程中G1生成的第一层和第二层最大池化特征谱分别求取内积矩阵并以均方误差损失的形式加入到孪生语义损失Lstyle中；由可见光图像生成热红外语义图像网络G1的孪生语义损失Lstyle_G1定义为：...

【技术特征摘要】
1.一种基于孪生语义网络的交通场景热红外语义生成方法，其特征在于：该方法具体步骤如下：步骤一：基于改进U型网络的语义生成网络G1和G2由图像语义生成网络G1和G2，分别实现可见光到热红外以及热红外到可见光的图像风格迁移模型；网络G1和G2均基于U型网络，并针对交通图像特点进行了局部改进以增强特征传递效率和循环生成对抗网络的训练效率，所述的局部改进具体如下:首先，为了提高卷积模块的梯度传递效率，原卷积模块的输入与输出将直接叠加作为下一层的输入，即将卷积模块的两层卷积将以残差连接的形式组成残差模块作为基本的特征提取结构；其次，为了增大特征感受野和网络鲁棒性，在不同层次的残差模块中引入了包括多尺度卷积核及随机失效层模块；最后，在G1和G2在输出风格转换图像的同时，网络中第一层和第二层最大池化特征谱也作为风格特征输出引入到孪生语义损失中；步骤二：由两个判别网络D1和D2分别生成风格迁移图像的判别特征并进行分类判别设计热红外语义判别网络D1和可见光语义判别网络D2，引入空洞卷积改善判别CNN网络性能，分别对由热红外语义生成网络G1生成的热红外图像和可见光语义生成网络G2生成的可见光图像以GAN损失进行真假判别，提高语义判别网络D1和D2的辨别能力；步骤三：设计并引入孪生语义损失Lstyle本发明循环生成对抗网络中包括两条线路：其一，可见光图像由生成网络G1生成仿真热红外图像，再由生成网络G2重建可见光图像；其二，热红外图像由生成网络G2生成仿真可见光图像，再由生成网络G1重建热红外图像；由于热红外语义生成网络G1和可见光语义生成网络G2分别被以不同的输入传输了...

【专利技术属性】
技术研发人员：白相志，王鹏，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：北京,11