本申请公开了一种海洋生物图像处理方法、装置、电子设备及可读存储介质，应用于数字图像处理技术领域。其中，方法包括利用不同卷积核的卷积模块对待处理光学图像进行逐级下采样，得到多个不同尺度的初始图像。对每个初始图像进行不同尺度下的全局特征提取，得到多级特征图；将多级特征图输入至Transformer编码器，并采用多级特征深化提取融合方式对多级特征图进行多级细节特征提取。对Transformer解码器的输出特征和多级细节特征进行上采样，得到增强后的光学图像。本申请可以解决水下图像退化现象严重或细节模糊的问题，有效提升海洋生物图像的图像增强效果。生物图像的图像增强效果。生物图像的图像增强效果。
【技术实现步骤摘要】
海洋生物图像处理方法、装置、电子设备及可读存储介质
[0001]本申请涉及数字图像处理
，特别是涉及一种海洋生物图像处理方法、装置、电子设备及可读存储介质。
技术介绍
[0002]随着海洋自然资源的不断深入探索，水下观察是了解和利用海洋资源的有效手段，水下光学图像作为承载丰富水下信息的数据，其被广泛应用在水下观察过程中。
[0003]海洋环境和陆地环境的成像环境不同，海洋环境成像过程中存在更多的干扰，海洋生物图像的成像质量较差。举例来说，光线会被水吸收和发生散射进而产生衰减，导致拍摄的海洋生物图像色彩和纹理特征产生退化。而且，随着水下深度的不断增加，自然光源传播的困难也会逐渐增加，自然光源中的不同频率的光能传输的最大深度也不同，因此在比较深的水下获得的水下图像通常更加偏蓝色或者黄绿色，并且质量会下降、细节较为模糊、偏暗等。
[0004]相关技术对海洋生物图像进行图像增强处理后的图像效果不佳，尤其是水下较为复杂环境下所拍摄的海洋生物图像或者是受海洋各种因素影响较大所导致退化较为严重的海洋生物图像。
[0005]鉴于此，有效提升海洋生物图像的图像增强效果，是所属领域技术人员需要解决的技术问题。
技术实现思路
[0006]本申请提供了一种海洋生物图像处理方法、装置、电子设备及可读存储介质，可以有效提升海洋生物图像的图像增强效果。
[0007]为解决上述技术问题，本申请提供以下技术方案：
[0008]本申请一方面提供了一种海洋生物图像处理方法，包括：
[0009]利用不同卷积核的卷积模块对待处理光学图像进行逐级下采样，得到多个不同尺度的初始图像；
[0010]对每个初始图像进行不同尺度下的全局特征提取，得到多级特征图；
[0011]将所述多级特征图输入至Transformer编码器，并采用多级特征深化提取融合方式对所述多级特征图进行多级细节特征提取；
[0012]对Transformer解码器的输出特征和多级细节特征进行上采样，得到增强后的光学图像。
[0013]可选的，所述利用不同卷积核的卷积模块对待处理光学图像进行逐级下采样，得到多个不同尺度的初始图像，包括：
[0014]预先训练下采样模型，所述下采样模型包括第一MBConv模块、第二MBConv模块和第三MBConv模块，所述第一MBConv模块的卷积核为5*5，步长为2；第二MBConv的卷积核为5*5，步长为1；第三MBConv模块的卷积核为3*3，步长为1；
[0015]调用所述下采样模型的各MBConv模块对所述待处理光学图像进行逐级下采样。
[0016]可选的，所述对每个初始图像进行不同尺度下的全局特征提取，得到多级特征图，包括：
[0017]预先训练特征提取模型，所述特征提取模型按照数据传输方法依次包括第一动态卷积层、残差块和第二动态卷积层；所述残差块包括第一卷积层、第二卷积层、批标准化层和激活函数层；所述第一卷积层和所述第二卷积层不改变各初始图像的尺寸；
[0018]调用所述特征提取模型对各初始图像进行全局特征提取，得到多个尺度的特征图，每个初始图像的多个不同尺寸特征图构成多级特征图。
[0019]可选的，所述采用多级特征深化提取融合方式对所述多级特征图进行多级细节特征提取，包括：
[0020]将所述多级特征图中尺寸位于最大尺寸和最小尺寸之间的各目标特征图输入至细节深化模块，提取得到第一级细节特征；
[0021]将所述多级特征图输入至全局深化模块，提取得到第二级细节特征；
[0022]将所述Transformer编码器的输出特征还输入至局部深化模块，提取得到第三级细节特征。
[0023]可选的，所述对Transformer解码器的输出特征和多级细节特征进行上采样，得到增强后的光学图像，包括：
[0024]对Transformer解码器的输出特征和所述第三级细节特征进行块解码处理；
[0025]采用转置卷积的方式，对块解码得到的解码特征、所述第一级细节特征和所述第二级细节特征进行上采样，得到增强后的光学图像。
[0026]可选的，所述将所述多级特征图输入至全局深化模块，提取得到第二级细节特征，包括：
[0027]所述全局深化模块包括自适应池化层、卷积层模块和自适应空间融合层；所述卷积层包括多个并列的卷积层；所述自适应空间融合层包括第一分支、第二分支和权重聚合层；所述第一分支包括拼接层、第四卷积层、第五卷积层、sigmoid函数层；
[0028]利用所述自适应池化层对所述多级特征图进行比率不变的自适应池化操作，以生成不同标度的多个上下文特征；
[0029]利用所述卷积层模块的每个卷积层独立对输入的一个上下文特征进行卷积处理；
[0030]对每个上下文的卷积处理结果同时输入至所述第一分支和所述第二分支，并通过所述权重聚合层聚合为融合特征图，以作为第二级细节特征。
[0031]可选的，所述将所述多级特征图中尺寸位于最大尺寸和最小尺寸之间的各目标特征图输入至细节深化模块，提取得到第一级细节特征，包括：
[0032]所述细节深化模块包括输入层、第一多层感知机、层归一化层、第二多层感知机和输出层；所述第一多层感知机和所述第二多层感知机均包括第一全连接层、Relu激活函数和第二全连接层；所述第一多层感知机的输出和所述第二多层感知机的输出作为所述输出层的输入；
[0033]将所述多级特征图中尺寸位于最大尺寸和最小尺寸之间的各目标特征图输入至所述细节深化模块的输入层，依次被所述第一多层感知机、所述层归一化层、所述第二多层感知机进行处理，最后经过所述输出层输出第一级细节特征。
[0034]本申请另一方面提供了一种海洋生物图像处理装置，包括：
[0035]逐级下采样模块，用于利用不同卷积核的卷积模块对待处理光学图像进行逐级下采样，得到多个不同尺度的初始图像；
[0036]多级特征图提取模块，用于对每个初始图像进行不同尺度下的全局特征提取，得到多级特征图；
[0037]编码模块，用于将所述多级特征图输入至Transformer编码器；
[0038]细节特征提取模块，用于采用多级特征深化提取融合方式对所述多级特征图进行多级细节特征提取；
[0039]图像增强模块，用于对Transformer解码器的输出特征和多级细节特征进行上采样，得到增强后的光学图像。
[0040]本申请还提供了一种电子设备，包括处理器，所述处理器用于执行存储器中存储的计算机程序时实现如前任一项所述海洋生物图像处理方法的步骤。
[0041]本申请最后还提供了一种可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如前任一项所述海洋生物图像处理方法的步骤。
[0042]本申请提供的技术方案的优点在于，对原始光学图像利用Transformer编解码器进行编解码处理，应用Transformer本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种海洋生物图像处理方法，其特征在于，包括：利用不同卷积核的卷积模块对待处理光学图像进行逐级下采样，得到多个不同尺度的初始图像；对每个初始图像进行不同尺度下的全局特征提取，得到多级特征图；将所述多级特征图输入至Transformer编码器，并采用多级特征深化提取融合方式对所述多级特征图进行多级细节特征提取；对Transformer解码器的输出特征和多级细节特征进行上采样，得到增强后的光学图像。2.根据权利要求1所述的海洋生物图像处理方法，其特征在于，所述利用不同卷积核的卷积模块对待处理光学图像进行逐级下采样，得到多个不同尺度的初始图像，包括：预先训练下采样模型，所述下采样模型包括第一MBConv模块、第二MBConv模块和第三MBConv模块，所述第一MBConv模块的卷积核为5*5，步长为2；所述第二MBConv的卷积核为5*5，步长为1；所述第三MBConv模块的卷积核为3*3，步长为1；调用所述下采样模型的各MBConv模块对所述待处理光学图像进行逐级下采样。3.根据权利要求1所述的海洋生物图像处理方法，其特征在于，所述对每个初始图像进行不同尺度下的全局特征提取，得到多级特征图，包括：预先训练特征提取模型，所述特征提取模型按照数据传输方法依次包括第一动态卷积层、残差块和第二动态卷积层；所述残差块包括第一卷积层、第二卷积层、批标准化层和激活函数层；所述第一卷积层和所述第二卷积层不改变各初始图像的尺寸；调用所述特征提取模型对各初始图像进行全局特征提取，得到多个尺度的特征图，每个初始图像的多个不同尺寸特征图构成多级特征图。4.根据权利要求1至3任意一项所述的海洋生物图像处理方法，其特征在于，所述采用多级特征深化提取融合方式对所述多级特征图进行多级细节特征提取，包括：将所述多级特征图中尺寸位于最大尺寸和最小尺寸之间的各目标特征图输入至细节深化模块，提取得到第一级细节特征；将所述多级特征图输入至全局深化模块，提取得到第二级细节特征；将所述Transformer编码器的输出特征还输入至局部深化模块，提取得到第三级细节特征。5.根据权利要求4所述的海洋生物图像处理方法，其特征在于，所述对Transformer解码器的输出特征和多级细节特征进行上采样，得到增强后的光学图像，包括：对Transformer解码器的输出特征和所述第三级细节特征进行块解码处理；采用转置卷积的方式，对块解码得到的解码特征、所述第一级细节特征和所述第二级细节特征进行上采样，得到增强后的光学图像。...
【专利技术属性】
技术研发人员：张永辉，高锦雄，唐浩，尤佳，耿旭，王容，邵凯旋，王景博，
申请(专利权)人：海南大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。