一种基于深度学习的细粒度划分星系去噪图像分类方法技术

本发明专利技术属于图像处理技术领域，公开了一种基于深度学习的细粒度划分星系去噪图像分类方法，使用建模能力强的transformer作为骨干网络，构建星系分类模型；为减少计算量，利用动态细粒度划分模块将注意力集中于前景区域，减少背景无效区域带来的冗余计算，同时考虑到原始图像附加的噪声，对星系图像进行去噪以提高分类精度，并且通过transformer计算全局信息的q和局部信息的k和v，完成信息之间的交互，从而实现基于transformer的细粒度划分星系去噪图像分类。本发明专利技术有效提高了分类精度，拓宽了星系图像分类在实际天文应用场景的范围，使得构建的星系分类模型更具有鲁棒性。构建的星系分类模型更具有鲁棒性。构建的星系分类模型更具有鲁棒性。

【技术实现步骤摘要】
一种基于深度学习的细粒度划分星系去噪图像分类方法


[0001]本专利技术属于图像处理
，具体是涉及一种基于深度学习的细粒度划分星系去噪图像分类方法。

技术介绍

[0002]星系是由恒星、恒星遗骸、暗物质和星际气体等物质组成的引力束缚系统。在星系天文学的传统研究中，人们通常根据它的视觉形态来对星系进行分类。星系的形态反映了星系的结构等综合物理特征，因而与星系的形成与演化过程有着密切的联系。比如，研究表明，椭圆形态的星系更可能由星系的并合过程形成，因此，对星系按形态特征进行分类，是星系天文学研究中的一个常规且重要的环节。随着大型巡天项目的巡天深度和探测效率不断提升，巡天探测中得到的星系数目也在不断增加，甚至达到了近亿量级，因此，对常规的数据处理方法提出了新的挑战。
[0003]针对星系分类任务，星系形态自动化分类方法发展迅速。文献(Hocking A,Geach J E,Sun Y,et al.An automatic taxonomy of galaxy morphology using unsupervised machine learning[J].Monthly Notices of the Royal Astronomical Society,2018,473(1):1108
‑
1129.)提出了一种无监督的机器学习技术，与传统的无监督机器学习方法不同，该方法不经过任何形式的预训练便可分离早期和晚期类型的星系，将基于机器的分类与星系动物园的人工分类结果进行比较，证明了人工和机器分类之间的良好一致性；文献(Gauci A,Adami K Z,Abela J.Machine learning for galaxy morphology classification[J].arXiv preprint arXiv:1005.0390,2010.)提出了基于机器学习开发了不同的分类模型应用于星系形态分类，进行了比较分析包括Classification And Regression Tree(CART)、C4.5(可产生决策树用作分类)、随机森林和模糊逻辑算法。
[0004]以上提出的基于机器学习的天文图像去噪及分类算法在一定程度上达到了去噪和分类任务，但是花费的时间也将会更长，甚至已经超出了有些算法的重建能力。随着许多即将到来的大型天文调查，找到更省时且高效的方法来分析数据变得至关重要。
[0005]传统的星系形态分类方法，一方面采用基于原始图像的分类方式，即在特征提取步骤中只使用了最原始的星系图像作为数据，通过神经网络从原始图像中学习到星系特征，根据损失函数训练出星系分类模型中，并选择最常用的分类准确率指标，判断模型优劣性。然而，基于原始图像的分类方式忽略了原始星系图像的噪声信息，真实噪声会对分类精度产生影响。另一方面传统的方法大多采用基于CNN的评价方法，即以卷积神经网络为骨干网络，完成特征提取的操作；而基于CNN的评价方法在全局建模和长距离建模能力上具有局限性。如专利申请CN111027608A公开了一种基于深度学习的星系分类与识别的方法及装置，其可实现对星系形态的自动快速精准预测，从而能够对含有大量星系的图像进行快速处理；但其未考虑到实际图像附加的噪声，而且没有考虑到星系图像的全局特征和局部特征，并且体现出传统CNN的局限性。此外，由于天文星系图像的特殊性，比如背景黑色区域占比较高，在模型计算时会出现很多的冗余计算。
[0006]随着ViT的提出，越来越多的图像领域的任务将注意力转移到transformer上，比如CN 115601772 A，将transformer运用至美学领域，并得到了优秀的效果。然而对于天文星系分类这种细粒度任务而言，transformer会造成很多冗余计算。因此在星系图像分类领域，寻找复杂度相对较低的方法是至关重要的。

技术实现思路

[0007]为解决上述技术问题，本专利技术提供了一种基于深度学习的细粒度划分星系去噪图像分类方法，其使用建模能力强的transformer作为骨干网络，构建星系分类模型；利用动态细粒度划分模块减少冗余计算，提高天文图像分类精确率，降低天文星系图像分类复杂度；有利于提升现实星系分类任务的意义，有利于促进天文图像应用，有利于加快深度学习在未来天文图像领域的发展。
[0008]本专利技术所述的一种基于深度学习的细粒度划分星系去噪图像分类方法，其步骤为：
[0009]步骤1、根据Galaxy
‑
zoo数据集，随机选取90％的星系图像作为训练集，其余10％作为测试集，并且生成训练集和验证集CSV文件；
[0010]步骤2、为每幅图像添加高斯噪声，基于NAFNet模型进行去噪，得到去噪后的星系图像；
[0011]步骤3、利用transform图像交换处理方法对训练图像和验证图像进行重塑，并且在训练图像中重塑出对应局部信息和全局信息的图像；
[0012]步骤4、将对应全局信息的图像先通过非重叠窗口划分为H
×
H大小的斑块，再通过动态细粒度划分方法将每个H
×
H大小的斑块划分为更小的斑块，然后将该最终划分后的斑块池化得到稀疏查询向量q；
[0013]步骤5、根据对应局部信息的图像计算其键向量k和值向量v；
[0014]步骤6、将来自不同图像的稀疏查询向量q、键向量k和值向量v交叉送入transformer中进行训练，得到每个图像的图像特征；
[0015]步骤7、将图像特征送入transformer模型的分类层得到预测类别分布；
[0016]步骤8、使用交叉熵作为损失函数，计算出transformer模型损失以完成训练；
[0017]步骤9、将步骤7中得到的预测类别分布，通过torch.max函数模型预测类别，以完成星系去噪图像分类。
[0018]进一步的，步骤1中，将划分好的星系图像生成CSV文件，内容包括索引、图像路径和图像标签。
[0019]进一步的，步骤2中，添加高斯噪声模拟真实噪声；在NAFNet模型中，其输入是噪声观测值y＝x+a；其中x代表真实图像，a代表噪声值，使用L1损失和MSE损失函数依次进行训练，学习潜在的干净图像；具体如下：
[0020][0021][0022][0023]其中x
′
i
代表第i张真实图像，x
i
代表第i张图像的网络输出，N代表图像数目。
[0024]进一步的，步骤3中，训练集中，每幅图像对应两种transform图像交换处理方法；通过中心裁剪操作和随机水平翻转形成包含局部信息的图像；通过随机重塑裁剪和随机水平翻转形成包含全局信息的图像；验证集中，每幅图像使用中心裁剪的方式来完成重塑。
[0025]进一步的，步骤4中，动态细粒度划分方法会自动将图像划分为斑块，在此基础上根据特征进一步划分成小斑块；具体地，先使用非重叠窗口将图像划分为H
×
H的斑块，针对每个斑块，由于背景区域和本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的细粒度划分星系去噪图像分类方法，其特征在于，所述方法步骤为：步骤1、根据Galaxy
‑
zoo数据集，随机选取90％的星系图像作为训练集，其余10％作为测试集，并且生成训练集和验证集CSV文件；步骤2、为每幅图像添加高斯噪声，基于NAFNet模型进行去噪，得到去噪后的星系图像；步骤3、利用transform图像交换处理方法对训练图像和验证图像进行重塑，并且在训练图像中重塑出对应局部信息和全局信息的图像；步骤4、将对应全局信息的图像先通过非重叠窗口划分为H
×
H大小的斑块，再通过动态细粒度划分方法将每个H
×
H大小的斑块划分为更小的斑块，然后将该最终划分后的斑块池化得到稀疏查询向量q；步骤5、根据对应局部信息的图像计算其键向量k和值向量v；步骤6、将来自不同图像的稀疏查询向量q、键向量k和值向量v交叉送入transformer中进行训练，得到每个图像的图像特征；步骤7、将图像特征送入transformer模型的分类层得到预测类别分布；步骤8、使用交叉熵作为损失函数，计算出transformer模型损失以完成训练；步骤9、将步骤7中得到的预测类别分布，通过torch.max函数模型预测类别，以完成星系去噪图像分类。2.根据权利要求1所述的一种基于深度学习的细粒度划分星系去噪图像分类方法，其特征在于，步骤1中，将划分好的星系图像生成CSV文件，内容包括索引、图像路径和图像标签。3.根据权利要求1所述的一种基于深度学习的细粒度划分星系去噪图像分类方法，其特征在于，步骤2中...

【专利技术属性】
技术研发人员：亓晋，陈梦伟，许斌，孙雁飞，郭宇锋，董振江，
申请(专利权)人：南京邮电大学，
类型：发明
国别省市：