一种基于背景风格迁移的3D目标迷彩生成方法，涉及计算机视觉及深度学习领域，包括：选择3D目标模型和藏匿的场景图像；选定3D目标模型渲染迷彩图案后在场景图像中的位置区域并提取背景图像；利用多边形网格方式表示3D目标模型；构建风格迁移神经网络、风格特征提取网络和神经网络渲染器；利用风格迁移神经网络将场景图像中提取的背景风格迁移至3D目标模型中，生成迷彩图案；利用神经网络渲染器将迷彩图案渲染至3D目标模型表面；将渲染迷彩图案后的3D目标模型融合到场景图像中；利用目标检测网络验证迷彩图案的有效性。本发明专利技术保证了迷彩图案在目标上的连续性，提高了目标伪装效果，所生成的迷彩图案质量高、抗侦察能力强。抗侦察能力强。抗侦察能力强。
【技术实现步骤摘要】
一种基于背景风格迁移的3D目标迷彩生成方法
[0001]本专利技术涉及计算机视觉及深度学习
，具体而言涉及一种基于背景风格迁移的3D目标迷彩生成方法。
技术介绍
[0002]随着科技的快速发展，目标检测技术越来越发达，如何保证重要目标不被算法检测出来变得越来越重要。迷彩伪装技术通过将迷彩图案喷涂在目标表面，使目标的表面与周围环境相一致，降低与周围背景之间的视觉差异，从而减少目标被侦察探测到的几率，实现了对目标的保护。
[0003]早期的迷彩图案设计主要参考了条纹和块状斑点的样式，由于这种图案较为规则且边缘较为平滑，没有考虑到目标的实际背景，导致在视觉上缺乏层次感，并且早期的迷彩图案是在二维图像中设计的(滕旭.基于生成对抗网络的数码迷彩生成研究[D].西南科技大学,2021.DOI:10.27415/d.cnki.gxngc.2021.000342.)。为了验证迷彩图案的有效性，通常需要将迷彩图案喷涂于目标表面后测试其相对于环境的伪装程度和伪装效果，目标表面连接处会出现迷彩图案不连续的现象，从而影响目标的伪装效果；另外，这种验证方式比较费时费力，验证效果并不理想。
[0004]因此，如何针对不同背景环境快速生成具有高质量、抗侦察能力强的迷彩已成为现代化迷彩生成的关键。
技术实现思路
[0005]本专利技术的目的是提供一种基于背景风格迁移的3D目标迷彩生成方法，依据场景图像中的背景图像特征对3D目标进行伪装，所生成的迷彩图案与背景图像特征相关性大，有利于将3D目标藏匿场景图像中，提高了3D目标的伪装效果。
[0006]本专利技术为解决技术问题所采用的技术方案如下：
[0007]本专利技术的一种基于背景风格迁移的3D目标迷彩生成方法，包括以下步骤：
[0008](1)选择待渲染迷彩图案的3D目标模型和3D目标模型渲染迷彩图案后藏匿的场景图像；
[0009](2)选定3D目标模型渲染迷彩图案后在场景图像中的位置区域，并提取该位置区域的背景图像；
[0010](3)利用多边形网格方式表示3D目标模型；
[0011](4)构建风格特征提取网络和神经网络渲染器；
[0012](5)利用风格特征提取网络从场景图像中提取的背景风格，迁移至3D目标模型中，即从场景图像中生成迷彩图案作为3D目标模型的纹理图案；
[0013](6)利用神经网络渲染器将从场景图像中生成的迷彩图案渲染至3D目标模型表面，以完成3D目标模型的伪装；
[0014](7)将得到的渲染迷彩图案后的3D目标模型融合到场景图像中；
[0015](8)利用训练好的目标检测网络验证迷彩图案在场景图像中的有效性。
[0016]进一步的，步骤(4)中，所述风格特征提取网络具体采用：预训练VGG
‑
16卷积神经网络并使用其conv1_2层、conv2_3层、conv3_3层和conv4_3层作为风格特征提取器。
[0017]进一步的，步骤(4)中，所述神经网络渲染器具体采用：基于Neural 3D Mesh Renderer的渲染器。
[0018]进一步的，步骤(5)具体包括以下步骤：
[0019]1)构建目标损失函数L＝λ
c
L
c
+λ
s
L
s
，其中，L
c
、L
s
分别为内容损失函数和风格损失函数，λ
c
、λ
s
分别为内容损失权重和风格损失权重；
[0020]2)根据目标损失函数训练风格迁移神经网络，使其能将场景图像中提取的背景风格迁移至3D目标模型中，从场景图像中生成迷彩图案作为3D目标模型的纹理图案。
[0021]进一步的，所述内容损失函数L
c
的表达式如下：
[0022][0023]其中，m
c
为目标3D网格，m为风格迁移后的目标3D网格，v
i
、分别为背景风格迁移后渲染的3D目标模型中的顶点和原始的3D目标模型对应的顶点。
[0024]进一步的，所述风格损失函数L
s
的表达式如下：
[0025][0026]其中，x、x
s
分别为背景风格迁移后渲染的3D目标模型的纹理图案和从场景图像中提取的背景风格特征图，M(x)将向量转换为Gram矩阵，f
s
(x)为风格特征提取网络。
[0027]进一步的，步骤2)中，利用投影变换操作将三维的点投影到二维平面，基于二维顶点的坐标，通过采样方式从3D目标模型的各个面提取颜色，生成最终的二维图像，完成光栅化操作。
[0028]进一步的，所述投影变换操作是一个可微分的离散函数，通过对3D目标模型面的边缘部分进行模糊处理，使得像素的颜色产生连续变化，进而产生梯度值，利用其传递误差函数的梯度以训练风格迁移神经网络。
[0029]进一步的，步骤(6)和步骤(7)具体包括以下步骤：
[0030]构建Adam优化器训练神经网络，设置该网络参数：β1＝0.9和β2＝0.999，初始学习率设置成0.1，一共进行1000次的迭代训练，迭代完成后得到渲染迷彩图案后的3D目标模型；
[0031]利用以下公式将得到的渲染迷彩图案后的3D目标模型融合到场景图像中：
[0032]I'＝sI
bac
+(1
‑
s)x
[0033]其中，I
bac
为场景图像，x为渲染迷彩图案后的3D目标模型，s为图像融合因子，I'为渲染迷彩图案后的3D目标模型融合到场景图像中得到的图像。
[0034]本专利技术的有益效果是：
[0035]早期的迷彩图案设计主要参考了条纹和块状斑点的样式，没有考虑到目标的实际背景，导致在视觉上缺乏层次感，并且传统的迷彩图案是在二维图像中设计的，将迷彩图案喷涂于目标表面时，表面连接处会出现迷彩图案不连续的现象。为了解决此问题，本专利技术提
供一种基于背景风格迁移的3D目标迷彩生成方法，该方法主要是通过选择待渲染迷彩图案的3D目标模型和3D目标模型渲染迷彩图案后藏匿的场景图像；然后选定3D目标模型渲染迷彩图案后在场景图像中的位置区域，并提取该位置区域的背景图像；利用多边形网格方式表示3D目标模型；构建风格迁移神经网络、风格特征提取网络和神经网络渲染器；利用风格迁移神经网络将场景图像中提取的背景风格迁移至3D目标模型中，即从场景图像中生成迷彩图案作为3D目标模型的纹理图案；利用神经网络渲染器将从场景图像中生成的迷彩图案渲染至3D目标模型表面，以完成3D目标模型的伪装；将得到的渲染迷彩图案后的3D目标模型融合到场景图像中；最后利用训练好的目标检测网络验证迷彩图案在场景图像中的有效性。
[0036]本专利技术的一种基于背景风格迁移的3D目标迷彩生成方法，与现有参考条纹和块状斑点样式的迷彩图案相比，具有更好的目标伪装效果。本专利技术通过选定本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于背景风格迁移的3D目标迷彩生成方法，其特征在于，包括以下步骤：(1)选择待渲染迷彩图案的3D目标模型和3D目标模型渲染迷彩图案后藏匿的场景图像；(2)选定3D目标模型渲染迷彩图案后在场景图像中的位置区域，并提取该位置区域的背景图像；(3)利用多边形网格方式表示3D目标模型；(4)构建风格特征提取网络和神经网络渲染器；(5)利用风格特征提取网络从场景图像中提取的背景风格，迁移至3D目标模型中，即从场景图像中生成迷彩图案作为3D目标模型的纹理图案；(6)利用神经网络渲染器将从场景图像中生成的迷彩图案渲染至3D目标模型表面，以完成3D目标模型的伪装；(7)将得到的渲染迷彩图案后的3D目标模型融合到场景图像中；(8)利用训练好的目标检测网络验证迷彩图案在场景图像中的有效性。2.根据权利要求1所述的一种基于背景风格迁移的3D目标迷彩生成方法，其特征在于，步骤(4)中，所述风格特征提取网络具体采用：预训练VGG
‑
16卷积神经网络并使用其conv1_2层、conv2_3层、conv3_3层和conv4_3层作为风格特征提取器。3.根据权利要求1所述的一种基于背景风格迁移的3D目标迷彩生成方法，其特征在于，步骤(4)中，所述神经网络渲染器具体采用：基于Neural 3D Mesh Renderer的渲染器。4.根据权利要求1所述的一种基于背景风格迁移的3D目标迷彩生成方法，其特征在于，步骤(5)具体包括以下步骤：1)构建目标损失函数L＝λ
c
L
c
+λ
s
L
s
，其中，L
c
、L
s
分别为内容损失函数和风格损失函数，λ
c
、λ
s
分别为内容损失权重和风格损失权重；2)根据目标损失函数训练风格迁移神经网络，使其能将场景图像中提取的背景风格迁移至3D目标模型中，从场景图像中生成迷彩图案作为3D目标模型的纹理图案。5.根据权利要求4所述的一种基于背...
【专利技术属性】
技术研发人员：赵岩，林杰华，韦健，王世刚，王学军，
申请(专利权)人：吉林大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。