【技术实现步骤摘要】
本专利技术涉及图像处理，尤其涉及一种基于稳定扩散模型的火星图像增广方法、计算设备和存储介质。
技术介绍
1、由于火星环境复杂多变，时常伴有沙尘等天气，获取高分辨率的火星图像尤为困难。其中，火星图像为拍摄装置拍摄的火星表面图像，火星图像包括火星表面的地貌特征，用于对火星进行地质学研究。
2、然而，结合深度学习模型对火星进行地质学研究需要大批量的火星图像，由于目前火星图像的数据有限。因此需要借助图像增广的方式，充分对少量的火星图像进行图像增广处理，以得到大批量的火星图像。
3、图像增广处理是用于增加图像数据的数量和多样性一种重要的方式和过程，有助于提高模型的泛化能力和性能。相关技术中，图像增广处理通常采用单一数据变形技术，通过对单个图像应用不同的变换操作来生成新的图像。然而，这种方法存在着增广后图像多样性不足的问题。
技术实现思路
1、本专利技术提供一种基于稳定扩散模型的火星图像增广方法、计算设备和存储介质，能够基于扩散模型实现对火星图像的图像增广处理，能够快速得到大批量的高质量的满足图像多样性需求的火星图像，从而能够满足用户在不同场景下的火星地质学研究需求。
2、本专利技术解决上述技术问题的技术方案如下：
3、第一方面，本专利技术提供一种基于稳定扩散模型的火星图像增广方法，上述方法包括：获取训练样本集，训练样本集包括多个火星图像以及多个火星图像中每个火星图像对应的说明信息，说明信息用于描述火星图像上包括的岩石特征和矿物特征；根据训练样本
4、在第一方面的一种可能的实现方式中，根据输入的特征信息通过训练完成的稳定扩散模型和contro l net模型得到增广图像，包括：根据特征信息通过训练完成的稳定扩散模型得到第一隐向量；根据特征信息通过contro l net模型得到第二隐向量；对第一隐向量和第二隐向量进行加和，得到目标隐向量；对目标隐向量进行解码处理，得到增广图像。
5、在第一方面的一种可能的实现方式中，根据特征信息通过训练完成的稳定扩散模型得到第一隐向量，包括：
6、s301、对特征信息进行编码处理，得到第三隐向量；
7、s302、向第三隐向量添加噪声，得到第四隐向量；
8、s303、对第四隐向量进行噪声预测，得到第一噪声预测信息；
9、s304、从第三隐向量中减去第一噪声预测信息，得到第五隐向量；
10、s305、根据预设采样次数，重复步骤s302-s304，将最后一次获得的第五隐向量确定为第一隐向量。
11、在第一方面的一种可能的实现方式中，根据特征信息通过contro l net模型得到第二隐向量，包括：
12、s401、对特征信息进行编码处理，得到第六隐向量；
13、s402、向第六隐向量添加噪声，得到第七隐向量；
14、s403、根据约束条件对第七隐向量进行噪声预测，得到第二噪声预测信息；
15、s404、从第六隐向量中减去第二噪声预测信息，得到第八隐向量；
16、s405、根据预设采样次数，重复步骤s402-s404，将最后一次获得的第八隐向量确定为第二隐向量。
17、在第一方面的一种可能的实现方式中，训练完成的稳定扩散模型包括文本编码器、变自分编码器、unet模块和变自分解码器；文本编码器用于在特征信息包括特征文本的情况下，对特征文本进行编码处理得到隐向量，变自分编码器用于在特征信息包括特征图像的情况下，对特征图像进行编码处理得到隐向量，unet模块用于对图像进行噪声叠加；以及用于对噪声叠加得到的图像进行噪声预测得到噪声预测信息；还用于从图像中减去噪声预测信息；变自分解码器用于对目标隐向量进行解码处理，得到增广图像。
18、在第一方面的一种可能的实现方式中，contro l net模型包括文本编码器、变自分编码器和unet模块；文本编码器用于在特征信息包括特征文本的情况下，对特征文本进行编码处理得到隐向量，变自分编码器用于在特征信息包括特征图像的情况下，对特征图像进行编码处理得到隐向量，unet模块用于对图像进行噪声叠加；以及用于根据约束条件对噪声叠加得到的图像进行噪声预测得到噪声预测信息；还用于从图像中减去噪声预测信息。
19、在第一方面的一种可能的实现方式中，在基于约束条件，对训练完成的稳定扩散模型包括的unet模块进行训练之前，方法还包括：接收用户输入的样本图像；通过canny边缘检测获取样本图像包括的约束条件。
20、在第一方面的一种可能的实现方式中，通过canny边缘检测获取样本图像包括的约束条件，包括：对样本图像通过高斯滤波进行平滑处理；确定样本图像包括的每个像素点的梯度值和梯度方向；将梯度值大于预设阈值，且梯度值为梯度方向上为最大值的像素点确定为候选边缘点；将梯度值位于最高阈值和最低阈值之间的候选边缘点确定为样本图像的边缘点；根据样本图像的边缘点确定样本图像包括的约束条件。
21、本专利技术的有益效果为：本专利技术提供的方法通过获取训练样本集；根据训练样本集对稳定扩散模型进行训练，得到训练完成的稳定扩散模型；基于约束条件，对训练完成的稳定扩散模型进行条件训练，得到contro l net模型；根据输入的特征信息通过训练完成的稳定扩散模型和contro l net模型得到增广图像，特征信息包括特征文本和/或特征图像。本专利技术提供的方法基于稳定扩散模型实现对火星图像的图像增广处理，能够快速得到大批量的高质量的满足图像多样性需求的火星图像，从而能够满足用户在不同场景下的火星地质学研究需求。
22、第二方面，提供一种计算设备，计算设备包括存储器、一个或多个处理器；存储器与处理器耦合；其中，存储器中存储有计算机程序代码，计算机程序代码包括计算机指令，当计算机指令被处理器执行时，使得计算设备执行如第一方面任一实现方式中的基于稳定扩散模型的火星图像增广方法。
23、第三方面，提供一种计算机可读存储介质，包括计算机指令，当计算机指令在计算设备上运行时，使得计算设备执行如第一方面任一实现方式中的基于稳定扩散模型的火星图像增广方法。
24、第四方面，提供计算机程序产品，当计算机程序产品在计算设备上运行时，使得计算设备执行如第一方面任一实现方式中的基于稳定扩散模型的火星图像增广方法。
25、可以理解地，上述提供的第二方面所述的计算设备，第三方面所述的计算机可读存储介质，第四方面所述的计算机程序产品所能达到的有益效果，可参考第一方面及其任一种可能的设计方式中的有益效果，此处不再赘本文档来自技高网...
【技术保护点】
1.一种基于稳定扩散模型的火星图像增广方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述根据输入的特征信息通过所述训练完成的稳定扩散模型和所述ControlNet模型得到增广图像，包括：
3.根据权利要求2所述的方法，其特征在于，所述根据所述特征信息通过所述训练完成的稳定扩散模型得到第一隐向量，包括：
4.根据权利要求3所述的方法，其特征在于，所述根据所述特征信息通过所述ControlNet模型得到第二隐向量，包括：
5.根据权利要求4所述的方法，其特征在于，所述训练完成的稳定扩散模型包括文本编码器、变自分编码器、UNet模块和变自分解码器；所述文本编码器用于在所述特征信息包括特征文本的情况下，对所述特征文本进行编码处理得到隐向量，所述变自分编码器用于在所述特征信息包括特征图像的情况下，对所述特征图像进行编码处理得到隐向量，所述UNet模块用于对图像进行噪声叠加；以及用于对噪声叠加得到的图像进行噪声预测得到噪声预测信息；还用于从图像中减去噪声预测信息；所述变自分解码器用于对所述目标隐向量进行解码处理，得
6.根据权利要求5所述的方法，其特征在于，所述ControlNet模型包括文本编码器、变自分编码器和UNet模块；所述文本编码器用于在所述特征信息包括特征文本的情况下，对所述特征文本进行编码处理得到隐向量，所述变自分编码器用于在所述特征信息包括特征图像的情况下，对所述特征图像进行编码处理得到隐向量，所述UNet模块用于对图像进行噪声叠加；以及用于根据所述约束条件对噪声叠加得到的图像进行噪声预测得到噪声预测信息；还用于从图像中减去噪声预测信息。
7.根据权利要求6所述的方法，其特征在于，在所述基于约束条件，对所述训练完成的稳定扩散模型包括的UNet模块进行训练之前，所述方法还包括：
8.根据权利要求7所述的方法，其特征在于，所述通过Canny边缘检测获取所述样本图像包括的约束条件，包括：
9.一种计算设备，其特征在于，包括：
10.一种计算机可读介质，其上存储有计算机程序指令，所述计算机程序指令可被处理器执行，以实现如权利要求1-8中任一项所述的基于稳定扩散模型的火星图像增广方法。
...【技术特征摘要】
1.一种基于稳定扩散模型的火星图像增广方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述根据输入的特征信息通过所述训练完成的稳定扩散模型和所述controlnet模型得到增广图像，包括：
3.根据权利要求2所述的方法，其特征在于，所述根据所述特征信息通过所述训练完成的稳定扩散模型得到第一隐向量，包括：
4.根据权利要求3所述的方法，其特征在于，所述根据所述特征信息通过所述controlnet模型得到第二隐向量，包括：
5.根据权利要求4所述的方法，其特征在于，所述训练完成的稳定扩散模型包括文本编码器、变自分编码器、unet模块和变自分解码器；所述文本编码器用于在所述特征信息包括特征文本的情况下，对所述特征文本进行编码处理得到隐向量，所述变自分编码器用于在所述特征信息包括特征图像的情况下，对所述特征图像进行编码处理得到隐向量，所述unet模块用于对图像进行噪声叠加；以及用于对噪声叠加得到的图像进行噪声预测得到噪声预测信息；还用于从图像中减去噪声预测信息；所述变自分解码器用于对所述目标隐向量进行...
【专利技术属性】
技术研发人员：王瑞，周可法，王金林，张清，毕建涛，汪玮，裘贺顺，屈广俊，李超，王彬彬，孙慧中，
申请(专利权)人：中国科学院空间应用工程与技术中心，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。