【技术实现步骤摘要】
本申请属于红外图像处理及显示，具体涉及一种跨域编解码近红外图像色彩生成系统及方法。
技术介绍
1、近红外光因其独特的穿透性和对物质特性的敏感性，在多个领域展现出显著的优势。它不仅能穿透云雾、烟雾等障碍物，提供清晰的夜间视野，还同时对于植物水分含量、土壤成分等检测具有高度的准确性。但是，近红外图像通常呈现为灰度形式，缺乏直观的色彩信息，这限制了其直观性和应用范围。为此，研究近红外图像色彩生成技术，将单色近红外图像赋予生动的色彩是非常重要的。
2、近红外图像色彩生成方法共分为两类，一类是传统的彩色化方法，通过直方图匹配、伪彩色映射等将近红外图像映射到彩色空间，该方法计算量小且实现简单易行，但效果受限于传统算法局限性，无法还原出真实场景的颜色信息；另一类是基于学习的方法，通过大量训练数据学习近红外图像到彩色图像之间的映射关系，实现色彩生成过程，在颜色生成及信息损失少等方面取得了较好的结果，但是该方法并未考虑近红外图像的上下文信息保留与利用，且对生成准确的结果图像至关重要的场景深度、材质特性信息没有合理的利用。
技术实现思路
1、本申请的目的在于克服相关技术中存在的未考虑近红外图像中上下文信息的保留与利用的缺陷。
2、为了实现上述目的，本申请提出了一种跨域编解码近红外图像色彩生成系统，所述系统包括：
3、预处理模块，用于对选取的近红外图像进行预处理，得到去噪后近红外图像；
4、色彩内容编码模块，用于将可见光图像和所述去噪后近红外图像生成编码后
5、跨域解码模块，用于将可见光色彩编码图与去噪后近红外内容编码图解码获得可见光近红外彩色图像；将去噪后近红外色彩编码图与可见光内容编码图解码获得近红外可见光灰度图像。
6、作为上述系统的一种改进，所述预处理模块包括去噪边缘保持子模块；
7、所述去噪边缘保持子模块，用于将近红外图像i01计算为噪声去除和边缘保持的去噪后近红外图像i1；
8、所述去噪边缘保持子模块包括若干卷积层、密集连接单元和轮廓卷积单元串联进行卷积操作；其中，
9、所述密集连接单元，用于对近红外图像进行特征提取和噪声抑制；
10、所述轮廓卷积单元，用于对图像边缘进行增强。
11、作为上述系统的一种改进，所述色彩内容编码模块包括第一色彩编码子模块、第二色彩编码子模块、第一内容编码子模块和第二内容编码子模块；其中，
12、第一色彩编码子模块，用于将去噪后近红外图像i1图像转换成对应的去噪后近红外色彩编码图i21；
13、第二色彩编码子模块，用于将可见光图像i02转换成对应的去噪后可见光色彩编码图i23；
14、第一内容编码子模块，用于将去噪后近红外图像i1转换成对应的去噪后近红外内容编码图i22；
15、第二内容编码子模块，用于将可见光图像i02转换成对应的去噪后可见光内容编码图i24。
16、作为上述系统的一种改进，所述第一色彩编码子模块和第二彩编码子模块结构相同，均包括若干卷积单元、深度可分离卷积单元和色彩注意力单元；其中，
17、所述若干卷积单元，通过堆叠多个卷积层提取去噪后近红外图像i1和可见光图像i02的特征；
18、所述深度可分离卷积单元，对输入图像的每个通道进行独立操作，提取去噪后近红外图像i1和可见光图像i02的局部特征；
19、所述色彩注意力单元，通过学习来识别输入图像中的重要色彩特征。
20、作为上述系统的一种改进，所述第一内容编码子模块和第二内容编码子模块结构相同；均包括若干卷积单元、空洞通道注意力单元及特征网络金字塔单元；其中，
21、所述卷积单元，用于提取去噪后近红外图像i1和可见光图像i02的浅层特征；
22、所述空洞通道注意力单元，用于扩大感受野，增强重要通道的特征表示，使模型捕捉更广泛的上下文信息及更关注对色彩生成任务的有利特征；
23、所述特征网络金字塔单元，通过自上而下的路径和横向连接将去噪后近红外图像i1和可见光图像i02不同层级的特征进行融合，生成具有语义信息和细节信息的内容编码图。
24、作为上述系统的一种改进，所述跨域解码模块包括全连接网络单元、adain单元、若干残差单元和上采样单元；
25、所述全连接网络单元，通过学习两域之间的映射关系，实现对色彩和内容信息的精细控制；
26、adain单元，通过调整输入特征图的方差和均值来引入各自目标域的信息，使生成的可见光近红外彩色图像i31具有可见光图像域的色彩风格和视觉效果，使生成的近红外可见光灰度图像i32具有近红外图像域的色彩风格和视觉效果；
27、所述残差单元，通过引入跳跃连接保留输入图像的低频信息，同时学习高频信息的映射关系，将内容编码图解码成可见光近红外彩色图像i31和近红外可见光灰度图像i32；
28、所述上采样单元，用于将特征图的分辨率恢复到与输入图像相同的尺寸。
29、作为上述系统的一种改进，所述系统的损失函数ltotal为：
30、ltotal＝λ1lcon+λ2lcol+λ3lrecon
31、其中，λ1，λ2，λ3为超参数；
32、lcon为内容一致性损失函数：
33、lcon＝||econ(i1)-econ(i31-i02)||1+||econ(i02)-econ(i32-i1)||1
34、其中，econ为第一内容编码子模块或第二内容编码子模块；i1为去噪后近红外图像；i31为可见光近红外彩色图像；i02为可见光图像；i32为近红外可见光灰度图像；||·||1为批量归一化操作；
35、lcol为色彩一致性损失函数：
36、lcol＝||ecol(i1)-ecol(i31-i02)||1+||ecol(i02)-ecol(i32-i1)||1
37、其中，ecol为第一色彩编码子模块或第二色彩编码子模块；
38、lrecon为重建损失函数：
39、lrecon＝||i1-i32||1+||i02-i31||1。
40、本申请还提供一种跨域编解码近红外图像色彩生成方法，基于上述系统实现，所述方法包括：
41、步骤s1：对选取的近红外图像通过预处理模块进行处理，获取去噪后近红外图像；
42、步骤s2：将可见光图像与所述去噪后近红外图像输入色彩内容编码模块进行近红外关键内容特征提取，获得编码后的可见光色彩编码图、可见光内容编码图、去噪后近红外色彩编码图及去噪后近红外内容编码图；
43、步骤s3：将所述可见光色彩编码图与去噪后近红外内容编码图输入跨域解码模块进行解码，获得可见光近红外彩色图像；将所述去噪后近红外色彩编码图与本文档来自技高网...
【技术保护点】
1.一种跨域编解码近红外图像色彩生成系统，其特征在于，所述系统包括：
2.根据权利要求1所述的跨域编解码近红外图像色彩生成系统，其特征在于，所述预处理模块包括去噪边缘保持子模块；
3.根据权利要求1所述的跨域编解码近红外图像色彩生成系统，其特征在于，所述色彩内容编码模块包括第一色彩编码子模块、第二色彩编码子模块、第一内容编码子模块和第二内容编码子模块；其中，
4.根据权利要求3所述的跨域编解码近红外图像色彩生成系统，其特征在于，所述第一色彩编码子模块和第二彩编码子模块结构相同，均包括若干卷积单元、深度可分离卷积单元和色彩注意力单元；其中，
5.根据权利要求3所述的跨域编解码近红外图像色彩生成系统，其特征在于，所述第一内容编码子模块和第二内容编码子模块结构相同；均包括若干卷积单元、空洞通道注意力单元及特征网络金字塔单元；其中，
6.根据权利要求3所述的跨域编解码近红外图像色彩生成系统，其特征在于，所述跨域解码模块包括全连接网络单元、AdaIn单元、若干残差单元和上采样单元；
7.根据权利要求3所述的跨域编解码近
8.一种跨域编解码近红外图像色彩生成方法，基于权利要求1-7任一所述系统实现，所述方法包括：
9.根据权利要求8所述的跨域编解码近红外图像色彩生成方法，其特征在于，所述步骤S2包括：
...【技术特征摘要】
1.一种跨域编解码近红外图像色彩生成系统，其特征在于，所述系统包括：
2.根据权利要求1所述的跨域编解码近红外图像色彩生成系统，其特征在于，所述预处理模块包括去噪边缘保持子模块；
3.根据权利要求1所述的跨域编解码近红外图像色彩生成系统，其特征在于，所述色彩内容编码模块包括第一色彩编码子模块、第二色彩编码子模块、第一内容编码子模块和第二内容编码子模块；其中，
4.根据权利要求3所述的跨域编解码近红外图像色彩生成系统，其特征在于，所述第一色彩编码子模块和第二彩编码子模块结构相同，均包括若干卷积单元、深度可分离卷积单元和色彩注意力单元；其中，
5.根据权利要求3所述的跨域编解码近红外图...
【专利技术属性】
技术研发人员：李睿智，付利平，贾楠，白雪松，王天放，肖思，
申请(专利权)人：中国科学院国家空间科学中心，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。