基于跨尺度特征融合的低曝光静脉图像增强方法技术

本发明专利技术公开了一种基于跨尺度特征融合的低曝光静脉图像增强方法，制作低曝光静脉图像数据集，构建跨尺度特征融合模块，基于通道注意力机制，采用残差结构构建静脉跨尺度融合残差块，若干个残差块首尾连接堆叠成静脉图像跨尺度融合模型，构建测试集，将测试集中的低曝光静脉图像输入到静脉图像跨尺度融合模型，得到增强后的静脉图像。本发明专利技术提出一种多尺度分支的跨尺度特征信息融合方法，充分利用了静脉图像不同尺度之间空间结构信息，增强了网络模型对于静脉纹络等细节信息的表征学习能力，提升了低曝光静脉图像的增强效果。

【技术实现步骤摘要】
基于跨尺度特征融合的低曝光静脉图像增强方法
本专利技术涉及计算机视觉领域，尤其涉及一种基于跨尺度特征融合的低曝光静脉图像增强方法。
技术介绍
静脉血管与其他生物识别功能(如指纹，虹膜，手势和脸部)相比，具有防伪，易接受的特点，已成为最受欢迎的个人识别方法之一。但由于静脉采集设备的局限性，采集到的图像往往会出现背景灰暗，图像对比度低，静脉脉络不清晰和静脉信息细节丢失等问题。静脉识别需要较多静脉细节信息，传统低曝光图像增强算法不能很好解决静脉信息细节丢失的问题。Lv等人提出多分支低光照增强网络，网络损失函数涉及图像的结构、上下文和区域信息，可以在无噪声图像中取得出色的结果，但其性能在具有较大黑色区域的图像和压缩图像上会降低。Yang等人提出一种实时的无监督生成对抗网络，从不同角度评估图像，网络还引入注意力机制用于特征融合，在定性和定量指标上均取得不错的结果，但是在低亮度图像增强任务中，不能抑制在现实世界的低光照条件下拍摄的图像普遍存在的噪声。
技术实现思路
本专利技术的目的在于提供一种基于跨尺度特征融合的低曝光静脉图像增强方法，能够有效解决静脉图像背景灰暗，图像对比度低，静脉的脉络不清晰和静脉细节信息丢失的问题。实现本专利技术目的的技术解决方案为：一种基于跨尺度特征融合的低曝光静脉图像增强方法，包括以下步骤：步骤1、采集P幅正常曝光下人体手背静脉图像，100＜P＜10000，通过低亮度图像合成方法将上述正常曝光人体手背静脉图像逐张转化为低曝光手背静脉图像，再对所有静脉图像分别进行有效区域提取，得到像素大小为h×w的2P幅静脉图像，2P幅静脉图像作为训练集。步骤2、利用跨尺度特征融合模块代替基本残差模块中的卷积层，并加入注意力机制，获得静脉跨尺度融合残差块；根据需要的图像增强效果，构建若干个静脉跨尺度融合残差块。步骤3、将若干个静脉跨尺度融合残差块首尾连接堆叠获得初步静脉图像跨尺度融合模型。步骤4、将训练集中的正常曝光人体手背静脉图像作为标签图像，将低曝光手背静脉图像输入到初步静脉图像跨尺度融合模型中进行训练，训练得到对应的增强图像，利用神经网络优化器，不断迭代优化，得到静脉图像跨尺度融合模型。步骤5、采集M个人体手背的低曝光静脉图像，100<M＜1000，对其进行有效区域提取，得到像素大小为h×w的M幅静脉图像，作为测试集。步骤6、将测试集中的低曝光静脉图像输入到静脉图像跨尺度融合模型，得到增强后的静脉图像。与现有技术相比，本专利技术的优点在于：1)静脉图像结构稀疏，其特征主要体现在静脉拓扑结构上，传统尺度不变图像增强深度学习框架虽然可以在普通的自然图像上取得良好的增强效果，但对图像的空间结构信息的表征学习能力不足，导致其在静脉图像增强效果上表现较差，因此，为了提高其在低曝光静脉图像增强上的效果，提出了一种跨尺度特征融合的尺度不变图像增强模型。通过将多尺度分支进行跨尺度连接，融合高低级语义特征，充分利用了静脉图像不同尺度之间空间结构信息，增强了网络模型对静脉纹络等细节信息的表征学习能力；2)为了进一步提升有用特征在网络中的有效性，在跨尺度特征融合模块后面，使用通道注意力机制，学习网络中不同特征通道之间的依赖关系，提升有用特征在网络中发挥的作用，并抑制对当前任务用处不大的特征从而提升特征利用率；同时将跨尺度特征融合模型以残差结构方式连接，解决模块堆叠成网络模型时因为层数太深而导致梯度消失的问题。附图说明图1为基于跨尺度特征融合的低曝光静脉图像增强模型图和基于跨尺度特征融合的低曝光静脉图像增强方法流程图，其中图(a)为模型图，图(b)为流程图。图2为自制手背静脉图像数据集合成图像和原始图像，其中图(a)为合成图像，图(b)为原始图像。图3LIME、Cycle-GAN、Pix2pix、DIE在自制静脉数据集上与本专利技术提出方法的对比实验结果图。具体实施方式为使本专利技术的目的、技术方案和优点更加清楚，下面对本专利技术实施方式作进一步地详细描述。结合图1，本专利技术提供了一种基于跨尺度特征融合的低曝光静脉图像增强方法，包括以下步骤：步骤1、通过手背静脉图像采集装置采集P幅正常曝光下人体手背静脉图像，100＜P＜10000，通过低亮度图像合成方法将上述正常曝光人体手背静脉图像逐张转化为低曝光手背静脉图像，再对所有静脉图像分别进行有效区域提取，得到像素大小为h×w的2P幅静脉图像，2P幅静脉图像作为训练集。步骤2、利用跨尺度特征融合模块代替基本残差模块中的卷积层，并加入注意力机制，获得静脉跨尺度融合残差块；根据需要的图像增强效果(图像评价指标：结构一致性SSIM和峰值信噪比PSNR)，构建若干个静脉跨尺度融合残差块，具体如下：通过局部最大池化方法获取输入低曝光静脉图像的三个尺度分支，得到输入特征，每个分支采用相同的卷积网络对不同尺度的输入特征进行特征映射，提取高级的静脉语义特征；通过多分支跨尺度域信息融合方法，将不同分支之间的高低级语义特征进行跨尺度连接，通过特征级联的方式对跨尺度特征进行融合；跨尺度特征融合模块的具体表示如下所述。使用局部最大池化的方法获取不同尺度的图像，构建不同尺度的特征提取分支，如下式(1)所示：其中，x是输入的低曝光手背静脉图像；K是使用的最大尺度；Pk(·)是局部最大池化函数，函数中卷积核大小为k×k，k为步长；是指输出的尺度的静脉特征；K的取值是2的幂函数，故相邻尺度分支之间的大小相差2倍。通过局部最大池化方法获取3个不同尺度的分支后，对3个不同尺度分支的图像同时进行3×3卷积操作提取特征，得到不同尺度静脉图像的高级静脉语义特征；在每个尺度分支中，将高级静脉语义特征与相邻分支的低级输入特征进行跨尺度连接，如式(2)所示：其中，为当k＝1时对应的值。Hn(·)是使用3×3卷积核操作之后的n组非线性激活函数；表示使用3×3卷积核操作之后得到的特征；Uk(·)表示具有k×因子的上采样操作函数；F(·)表示特征通道层面的融合函数；C(·)特征级联函数，k为步长。然后通过特征级联的方式对三个跨尺度特征进行融合，如式(3)所示：其中，Z是所提出的多尺度融合连接之后的卷积块输出。F(·)表示特征通道层面的融合函数，C(·)特征级联函数。利用跨尺度特征融合模块代替基本残差模块中的卷积层，并加入注意力机制，获得静脉跨尺度特征融合残差块，通道注意力机制主要用于筛选两个跨尺度融合模块的特征，增大有效特征，减少冗余特征带来的计算量，注意力机制操作具体如表达式(4)所示：Z′＝SE(Z)(4)其中，Z表示第二个跨尺度特征融合模块的输出，Z′表示通道注意力机制SE的输出，SE(·)表示SE操作。通过将低曝光手背静脉图像与通道注意力机制SE输出的特征进行跳跃连接，与跨尺度特征融合模块构成残差结构:VCFR＝Res(x)(5)其中，x表示输入的低曝光手背静脉图像，VCFR表本文档来自技高网...

【技术保护点】
1.一种基于跨尺度特征融合的低曝光静脉图像增强方法，其特征在于，包括以下步骤：/n步骤1、采集P幅正常曝光下人体手背静脉图像，100＜P＜10000，通过低亮度图像合成方法将上述正常曝光人体手背静脉图像逐张转化为低曝光手背静脉图像，再对所有静脉图像分别进行有效区域提取，得到像素大小为h×w的2P幅静脉图像，2P幅静脉图像作为训练集；/n步骤2、利用跨尺度特征融合模块代替基本残差模块中的卷积层，并加入注意力机制，获得静脉跨尺度融合残差块；根据需要的图像增强效果，构建若干个静脉跨尺度融合残差块；/n步骤3、将若干个静脉跨尺度融合残差块首尾连接堆叠获得初步静脉图像跨尺度融合模型；/n步骤4、将训练集中的正常曝光人体手背静脉图像作为标签图像，将低曝光手背静脉图像输入到初步静脉图像跨尺度融合模型中进行训练，训练得到对应的增强图像，利用神经网络优化器进行迭代优化，得到静脉图像跨尺度融合模型；/n步骤5、采集M个人体手背的低曝光静脉图像，100<M＜1000，对其进行有效区域提取，得到像素大小为h×w的M幅静脉图像，作为测试集；/n步骤6、将测试集中的低曝光静脉图像输入到静脉图像跨尺度融合模型，得到增强后的静脉图像。/n...

【技术特征摘要】
1.一种基于跨尺度特征融合的低曝光静脉图像增强方法，其特征在于，包括以下步骤：
步骤1、采集P幅正常曝光下人体手背静脉图像，100＜P＜10000，通过低亮度图像合成方法将上述正常曝光人体手背静脉图像逐张转化为低曝光手背静脉图像，再对所有静脉图像分别进行有效区域提取，得到像素大小为h×w的2P幅静脉图像，2P幅静脉图像作为训练集；
步骤2、利用跨尺度特征融合模块代替基本残差模块中的卷积层，并加入注意力机制，获得静脉跨尺度融合残差块；根据需要的图像增强效果，构建若干个静脉跨尺度融合残差块；
步骤3、将若干个静脉跨尺度融合残差块首尾连接堆叠获得初步静脉图像跨尺度融合模型；
步骤4、将训练集中的正常曝光人体手背静脉图像作为标签图像，将低曝光手背静脉图像输入到初步静脉图像跨尺度融合模型中进行训练，训练得到对应的增强图像，利用神经网络优化器进行迭代优化，得到静脉图像跨尺度融合模型；
步骤5、采集M个人体手背的低曝光静脉图像，100<M＜1000，对其进行有效区域提取，得到像素大小为h×w的M幅静脉图像，作为测试集；
步骤6、将测试集中的低曝光静脉图像输入到静脉图像跨尺度融合模型，得到增强后的静脉图像。


2.根据权利要求1所述的基于跨尺度特征融合的低曝光静脉图像增强方法，其特征在于，步骤2中的跨尺度特征融合模块，构建方法如下：
通过局部最大池化方法获取图像的三个尺度分支，得到低级输入特征，每个分支采用相同的卷积网络对不同尺度的低级输入特征进行特征映射，提取高级静脉语义特征；通过多分支跨尺度域信息融合方法，将不同分支之间的低级输入特征和高级语义特征进行跨尺度连接，提取到三个分支的跨尺度特征之后，通过特征级联的方式对三个跨尺度特征进行融合，得到跨尺度融合特征；至此，构建了一个融合三个尺度特征的跨尺度特征融合模块；
利用跨尺度特征融合模块代替基本残差模块中的卷积层，并加入注意力机制，获得静脉跨尺度融合残差块。


3.根据权利要求2所述的基于跨尺度特征融合的低曝光静脉图像增强方法，其特征在于：使用局部最大池化的方法获取不同尺度的图像，构建不同尺度的特征提取分支，如下式(1)所示：



其中，x是输入的低曝光手背静脉图像；K是使用的最大尺度；Pk(·)是局部最大池化函数，函数中卷积核大小为k×k，k为步长；是指输出的尺度的静脉特征；K的取值是2的幂函数，故相邻尺度分支之间的大小相差2倍。


4.根据权利...

【专利技术属性】
技术研发人员：王军，韩淑雨，潘在宇，李玉莲，申政文，陈晓玲，
申请(专利权)人：中国矿业大学，
类型：发明
国别省市：江苏;32