【技术实现步骤摘要】
本专利技术属于计算机视觉中的跨视角图像生成，具体涉及一种结合扩散与条件对抗的跨视角图像生成方法及装置。
技术介绍
1、跨视角图像检索及地理定位是计算机视觉领域的一个重要研究问题，其目的是将缺少地理标记的图像与带有地理标记的图像进行比对匹配，从而实现对目标图像位置的推断，以此来完成定位工作。不同视角图像在几何结构、视觉外观、空间细节等方面存在较大差异，对跨视角图像进行有效匹配具有很大挑战性。由于传统方法难以有效捕捉两种图像间内在联系等问题。因此，缩小卫星图像和街景图像在空间和视觉层面上的域间差距是实现跨视角图像匹配的关键。
2、图像到图像的转换生成方法为解决该问题提供了新思路，其通过深度学习模型将源域图像转换为目标域样式，同时保留语义内容，使转换后的图像与目标域更加接近。然而，现有方法仅聚焦于图像空间结构或语义特征的一致性，忽略了不同视角图像视觉外观畸变、空间细节信息缺失造成的图像视觉内容差异。而基于生成模型的方法没有顾及图像内容生成的多样性，且训练不稳定，不利特征提取。基于去噪扩散模型虽保证了生成的图像多样性但仍存在训练时间过长的问题。
技术实现思路
1、本专利技术的目的在于针对现有视角转换图像视觉信息差异大的问题，结合去噪扩散和条件生成模型与卷积神经网络的特点和优势，提供一种结合扩散与条件生成的图像视角生成方法及装置，以增强转换图像内容的真实性，缩小跨视角图像的差异，从而提高跨视角图像检索精度。
2、根据本专利技术说明书的一方面，提供一种结合扩散与条件对抗
3、获取街景图像及对应的卫星视角图像；
4、将所述街景图像及对应的卫星视角图像输入训练后的跨视角图像生成模型，输出街景视角的跨视角图像；其中，所述跨视角图像生成模型的训练包括:
5、构建跨视角图像生成模型，用于通过正向扩散过程建模卫星图像的边缘分布，并通过逆向条件对抗生成网络学习街景图像的视觉特征，生成街景视角的跨视角图像；
6、获取跨视角地理图像训练数据集；
7、将所述跨视角地理图像训练数据集输入构建的跨视角图像生成模型进行训练，得到训练好的跨视角图像生成模型。
8、作为进一步的技术方案，将所述跨视角地理图像训练数据集输入构建的跨视角图像生成模型进行训练，包括：
9、以真实街景图像作为输入，通过迭代的方式逐步添加高斯噪声进行正向扩散；
10、以充分噪声的街景图像和转换后的卫星图像为条件，通过后验采样过程逐步去除高斯噪声，生成跨视角图像；
11、以充分噪声的街景图像、转换后的卫星图像和时间调节变量为条件，判断生成的跨视角图像的真实性；
12、构建损失函数进行训练，输出训练好的跨视角图像生成模型。
13、作为进一步的技术方案，所述方法还包括：在跨视角图像的生成过程中引入注意力机制。
14、作为进一步的技术方案，获取街景图像及对应的卫星视角图像后，还包括：对卫星视角图像进行极坐标转换。
15、根据本专利技术说明书的一方面，提供一种结合扩散与条件对抗的跨视角图像生成装置，包括：
16、输入模块，用于获取街景图像及对应的卫星视角图像；
17、执行模块，用于将所述街景图像及对应的卫星视角图像输入训练后的跨视角图像生成模型，输出街景视角的跨视角图像；其中，所述跨视角图像生成模型的训练包括:
18、构建跨视角图像生成模型，用于通过正向扩散过程建模卫星图像的边缘分布，并通过逆向条件对抗生成网络学习街景图像的视觉特征，生成街景视角的跨视角图像；
19、获取跨视角地理图像训练数据集；
20、将所述跨视角地理图像训练数据集输入构建的跨视角图像生成模型进行训练，得到训练好的跨视角图像生成模型。
21、作为进一步的技术方案，所述跨视角图像生成模型包括：
22、正向扩散模块，用于以真实街景图像作为输入，通过迭代的方式逐步添加高斯噪声进行正向扩散；
23、逆向对抗生成模块，用于以充分噪声的街景图像和转换后的卫星图像为条件，通过后验采样过程逐步去除高斯噪声，生成跨视角图像；以及以充分噪声的街景图像、转换后的卫星图像和时间调节变量为条件，判断生成的跨视角图像的真实性；
24、损失函数模块，用于构建损失函数进行训练，输出训练好的跨视角图像生成模型。
25、作为进一步的技术方案，还包括预处理模块，用于对卫星视角图像进行极坐标转换。
26、作为进一步的技术方案，所述逆向对抗生成模块包括生成器、后验采样和判别器；所述生成器基于u-net网络设计并引入注意力机制；所述判别器基于带有resnet块的卷积网络来设计；所述后验采样包括从先验分布采样一个随机噪声向量然后将其与添加了充分噪声的街景图像、转换后的卫星图像一起输入到生成器，以及利用扩散过程的后验分布对去噪后的图像进行采样。
27、根据本专利技术说明书的一方面，提供一种电子设备，包括：至少一个处理器、至少一个存储器和通信接口；其中，所述处理器、存储器和通信接口相互间进行通信；所述存储器存储有被所述处理器执行的程序指令，所述处理器调用所述程序指令，以执行所述的方法。
28、根据本专利技术说明书的一方面，提供一种非暂态计算机读存储介质，其特征在于，所述非暂态计算机读存储介质存储计算机指令，所述计算机指令使所述计算机执行所述的方法。
29、与现有技术相比，本专利技术的有益效果在于：
30、1、通过极坐标转换预处理，减小了卫星图像与街景图像间的几何差异，为后续跨视角图像生成奠定了基础。
31、2、利用去噪扩散模型对街景图像的边缘分布进行建模，保证了生成图像的多样性。
32、3、引入条件对抗生成网络，以卫星图像为条件生成对应的街景图像，提高了生成图像的真实性和一致性。
33、4、在生成器中引入注意力机制，提高了模型捕捉图像长程依赖关系的能力，生成的图像细节更加丰富、真实。
34、5、通过端到端的训练方式，整个模型可以联合优化，生成效果更佳。
本文档来自技高网...【技术保护点】
1.一种结合扩散与条件对抗的跨视角图像生成方法，其特征在于，包括：
2.根据权利要求1所述一种结合扩散与条件对抗的跨视角图像生成方法，其特征在于，将所述跨视角地理图像训练数据集输入构建的跨视角图像生成模型进行训练，包括：
3.根据权利要求2所述一种结合扩散与条件对抗的跨视角图像生成方法，其特征在于，所述方法还包括：在跨视角图像的生成过程中引入注意力机制。
4.根据权利要求1所述一种结合扩散与条件对抗的跨视角图像生成方法，其特征在于，获取街景图像及对应的卫星视角图像后，还包括：对卫星视角图像进行极坐标转换。
5.一种结合扩散与条件对抗的跨视角图像生成装置，其特征在于，包括：
6.根据权利要求5所述一种结合扩散与条件对抗的跨视角图像生成装置，其特征在于，所述跨视角图像生成模型包括：
7.根据权利要求5所述一种结合扩散与条件对抗的跨视角图像生成装置，其特征在于，还包括预处理模块，用于对卫星视角图像进行极坐标转换。
8.根据权利要求6所述一种结合扩散与条件对抗的跨视角图像生成装置，其特征在于，所述逆向对抗
9.一种电子设备，其特征在于，包括：至少一个处理器、至少一个存储器和通信接口；其中，所述处理器、存储器和通信接口相互间进行通信；所述存储器存储有被所述处理器执行的程序指令，所述处理器调用所述程序指令，以执行权利要求1至4任一项权利要求所述的方法。
10.一种非暂态计算机读存储介质，其特征在于，所述非暂态计算机读存储介质存储计算机指令，所述计算机指令使所述计算机执行权利要求1至4中任一项权利要求所述的方法。
...【技术特征摘要】
1.一种结合扩散与条件对抗的跨视角图像生成方法，其特征在于，包括：
2.根据权利要求1所述一种结合扩散与条件对抗的跨视角图像生成方法，其特征在于，将所述跨视角地理图像训练数据集输入构建的跨视角图像生成模型进行训练，包括：
3.根据权利要求2所述一种结合扩散与条件对抗的跨视角图像生成方法，其特征在于，所述方法还包括：在跨视角图像的生成过程中引入注意力机制。
4.根据权利要求1所述一种结合扩散与条件对抗的跨视角图像生成方法，其特征在于，获取街景图像及对应的卫星视角图像后，还包括：对卫星视角图像进行极坐标转换。
5.一种结合扩散与条件对抗的跨视角图像生成装置，其特征在于，包括：
6.根据权利要求5所述一种结合扩散与条件对抗的跨视角图像生成装置，其特征在于，所述跨视角图像生成模型包括：
7.根据权利要求5所述一种结合扩散与条件对抗的跨视角图像生成装置，其特征在于，还包括预处理模块，用于对卫星...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。