【技术实现步骤摘要】
本专利技术属于图像处理，涉及小尺度极光结构定位和测量，具体为一种面向全天空视野的小尺度极光结构定位和测量方法，可用于图像分类、图像超分、目标检测等。
技术介绍
1、在深度学习领域，注意力机制是一种受人类视觉和认知系统启发而来的方法，它在处理输入数据时允许神经网络集中注意力于相关的部分。最初，注意力机制作为循环神经网络rnn中编码器-解码器框架的一部分，用于编码长的输入语句，后来被广泛应用于各种神经网络模型中，特别是在rnn领域。注意力机制的核心思想是让模型能够自动地学习和选择性地关注输入数据中的重要信息。这种能力使得神经网络能够动态地学习和权衡输入数据中不同部分的重要性，从而更好地捕捉数据之间的关联和上下文信息，进而提高模型的性能和泛化能力。
2、在自然语言处理领域，注意力机制被广泛应用于机器翻译、文本摘要等任务中。在机器翻译中，通过引入注意力机制，模型能够更好地理解输入句子的不同部分，并选择性地翻译出对应的目标语言，从而提高翻译的准确性和流畅度。而在文本摘要任务中，注意力机制可以帮助模型聚焦于输入文本中最重要的内容，生成更具信息量和连贯性的摘要。在计算机视觉领域，注意力机制同样发挥着重要作用。在图像任务中，通过引入注意力机制，模型能够自动地关注图像中最重要的区域，从而提高任务的准确性。而在目标检测任务中，注意力机制可以帮助模型定位和识别图像中的目标，从而实现更精准的目标检测和定位。总的来说，注意力机制的引入大大提高了深度学习模型在各种任务中的表现和鲁棒性。它使得模型能够更好地处理复杂的现实世界数据，动态地学习和适应
3、在以往的研究中，已经提出了许多各种各样的注意力机制，比较常见的有空间注意力和通道注意力。
4、空间注意力(spatial attention,sa)可以看作是一种自适应的空间区域选择机制，是一种用于计算神经网络中不同空间位置之间关联性的注意力机制，通过加强或减弱输入特征图中不同位置的信息以提升模型性能。空间注意力可以被看作是一种自适应的空间区域选择，它通过学习每个空间位置的权重，使得网络可以自适应地调整不同位置的重要性，从而实现更有效的特征表示和信息提取。2015年max jaderberg等人提出了一个具有代表性的空间注意力的模型空间变换神经网络(spatial transformer networks,stn)，stn能够对各种形变数据在空间中进行转换并自动捕获重要区域特征。输入信息先经过一个1×1卷积层来融合跨通道的信息，接着通过relu激活层与depthwise卷积层，每个通道分别学习它们的空间权重。最后sigmoid层将空间权重的动态范围映射到[0，1]，逐像素点乘输入信息，根据学习到的权重对不同位置的特征进行加权融合，进而得到携带空间信息的激活特征图。空间注意力机制的核心思想是根据输入数据的空间位置来分配注意力权重。通过空间注意力，模型可以学会选择性地关注图像中的重要区域，从而提高视觉任务的性能。
5、通道注意力(channel attention,ca)是一种用于增强神经网络不同通道之间的特征交互和重要性的注意力机制，旨在提升网络对不同特征通道的利用效率。通道注意力机制通常应用于卷积神经网络中，通过学习每个通道的权重，使得网络能够自适应地调整各个通道的重要性，从而让神经网络重点关注某些特征通道，提高特征表征的能力和泛化性能。在神经网络中，不同特征图的不同通道通常代表不同对象，不同通道具有不同的重要性。其代表模型是压缩和激励网络(squeeze-and-excitation networks,senet)，该模型分为压缩和激励两部分。首先，每张特征图通过全局平均池化或者全连接层进行压缩和整合，得到一个能反映全局信息的实数。接着，利用一个激活函数(如relu)来处理全局表示，以学习每个通道的权重或重要性，将更加重要的特征图权重放大，不重要的缩小。然后，将学习到的通道权重应用到对应的通道上，对通道特征进行加权融合。这一步可以通过乘法操作实现，即将每个通道的特征与对应的权重相乘。最后，将加权后的特征进行重新组合，得到经过通道注意力机制调节后的特征表示。
6、由于极光图像内容复杂、运动模式随机，导致极光运动时很多较小的关键局部信息被其他亮度淹没。传统注意机制在面对上述数据集时，其综合捕捉与整合策略显得力不从心，难以充分捕捉到详细的细节与特征。
技术实现思路
1、本专利技术提出了一种面向全天空视野的小尺度极光结构定位和测量方法，主要用于解决极光图像多样化的外观特征和复杂的运动模式导致关键特征获取不充分的技术问题。
2、实现本专利技术的技术思路是：首先对输入的原始图片进行特征提取，得到原始图像的特征图；其次对得到的特征图进行划分块，得到大小为hm×wm×cd的柱状特征图；然后对得到的柱状特征图在空间和通道上进行average pooling操作，得到每一个柱状特征图的均值，并将均值按照对应的柱状特征图在原图中的位置进行排列，得到新的特征图；对得到的新的特征图进行双线性插值，将其在空间上还原成原始特征图大小，得到权重；最后将得到的权重和原始特征图进行相乘，得到增强的特征表示，并将增强后的特征用于各种下游任务。本专利技术能够忽略极光在空间上的随机分布问题，提升网络对极光特征的表征能力，使其专注于图像中更关键的语义信息。
3、本专利技术实现上述目的具体步骤如下：
4、(1)输入一张全天空镜头拍摄的极光图像，其有效视野为360°×180°，通过浅层特征提取层获取全天空极光图像的浅层特征图，并将全天空视野空间区域划分为k个大小为hm×wm的区域块，然后在通道上，进一步将所述区域块划分为d个子块，按照这一空间划分规则得到k×d个柱状特征图，其中每个柱状特征图对应浅层特征图中的一个区域，每个柱状特征图大小为hm×wm×cd，其中hm、wm、cd分别为柱状特征图的高度、宽度和通道数；然后，对每一个柱状特征进行池化操作，得到区域级量化的注意力值；
5、(2)按照全天空视野空间划分规则对区域级量化的注意力值进行排列，还原到原始全天空区域的中心位置，还原后的特征图大小为其中p＝h/hm＝w/wm，d＝c/cd，其中h、w和c分别对应浅层特征的高、宽和通道，p是在特征图上根据高和宽划分的块数，d是在通道上划分的块数；利用双线性插值的方法在空间生成与原始全天空图像相同尺寸，但通道仍为d的重构特征图，即完成邻域信息相关的光滑注意力矩阵的重建，得到光滑注意力矩阵；
6、(3)利用光滑注意力矩阵对浅层特征图在全天空域进行逐像素点乘，得到经过空间增强和通道筛选后的融合后特征图；
7、(4)将融合后特征图与浅层特征图进行相加，完成潜在显著特征的残差学习，增强深度特征提取网络的表征能力；
8、(5)基于深度特征提取层实现全天空本文档来自技高网...
【技术保护点】
1.一种面向全天空视野的小尺度极光结构定位和测量方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的方法，其特征在于：步骤(1)所述的区域划分和池化操作，按以下步骤进行：
3.根据权利要求2所述的方法，其特征在于：步骤(1.3)所述对得到的柱状特征图进行平均池化操作，实现如下：
4.根据权利要求1所述的方法，其特征在于：步骤(2)所述光滑注意力矩阵的重建，实现如下：
5.根据权利要求4所述的方法，其特征在于：步骤(3)所述融合后特征图，具体根据如下步骤得到：
6.根据权利要求1所述的方法，其特征在于：步骤(4)所述将融合后特征图与浅层特征图进行相加，根据下式实现：
7.根据权利要求1所述的方法，其特征在于：步骤(5)所述端到端的目标检测，具体是通过对得到的特征进行定位和测量得到，实现步骤如下：
【技术特征摘要】
1.一种面向全天空视野的小尺度极光结构定位和测量方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的方法，其特征在于：步骤(1)所述的区域划分和池化操作，按以下步骤进行：
3.根据权利要求2所述的方法，其特征在于：步骤(1.3)所述对得到的柱状特征图进行平均池化操作，实现如下：
4.根据权利要求1所述的方法，其特征在于：步骤(2)所述光滑注意力矩...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。