基于改进UNet的手背或手掌静脉图像关键点与ROI定位方法技术

本发明专利技术涉及手背静脉识别技术领域，且公开了基于改进UNet的手背或手掌静脉图像关键点与ROI定位方法，包括以下步骤：S1：实验系统机采集现场设置；S2：自建数据集；S3：建立UNet模型；S4：建立残差模块；S5：用于手背或手掌静脉图像关键点定位的改进UNET模型；S6：利用ROI计算方法去计算感兴趣区域的提取；S7：对模型进行评估；采用近红外成像技术获取手背或手掌静脉图像。通过改进的UNet模型可以实现对非接触式手背或手掌静脉图像进行手背或手掌关键点定位（进行ROI提取），适合在边缘嵌入式系统等低资源平台进行实际部署。低资源平台进行实际部署。低资源平台进行实际部署。

【技术实现步骤摘要】
基于改进UNet的手背或手掌静脉图像关键点与ROI定位方法


[0001]本专利技术涉及手背或手掌静脉识别
，具体为基于改进UNet的手背或手掌静脉图像关键点与ROI定位方法。

技术介绍

[0002]随着安防系统和互联网经济的快速发展，个人身份验证已成为安全目的必不可少的技术。现有的方法如密码、指纹、人脸、掌纹等生物识别系统都有局限性。静脉图案从众多内在生物特征中脱颖而出，用于开发可以消除其他现有系统限制的识别系统。面部识别是识别个人的一种流行方法，但它也有一些局限性。脸部可能会被头发、眼镜、口罩等遮挡，这会降低系统的识别准确性。而指纹和掌纹，由于手上无法保持时刻干净，在污迹的遮挡下可能看不到静脉图案；还有一部分劳动者工作环境恶劣造成指纹和掌纹发生磨损变化，与最初的注册图像有明显区别导致无法识别或者错识。而且在疫情时期，人脸识别需要摘下口罩，指纹和掌纹需要与设备接触，这些情况都会增大感染病毒的几率。静脉结构是存在于皮肤下的血管结构，很难损坏或复制这种结构。静脉技术的优势在于它只能从活着的人那里获得，图案不随时间变化。因此，静脉图案可提供更准确的结果以及更高的安全性。事实证明，每个人的静脉网络都是不同的，双胞胎也不相似。因此，所提出的系统是非接触式的、低成本且比其他流行的生物特征识别系统更安全。
[0003]近年来，手背静脉(DHV)识别作为一项新兴的生物识别技术备受关注。众所周知，DHV识别属于基于手部的生物识别家族。DHV识别是一种利用手背皮下静脉网络自动分析来进行人员身份验证的技术。感兴趣区域(ROI)提取是DHV识别的关键步骤。将张开手的图像二值化，计算手的每个边缘像素和手腕中点之间的欧氏距离，利用这些距离构造了一个形状与手背几何形状非常相似的距离分布图，选择第二个和第四个指蹼作为基准点来定义一个正方形的ROI。将灰度图像二值化，然后通过Sobel算子提取边缘区域，沿边缘线做多个切线外接圆，设置外接圆和边缘线之间的交点数量相关的规则，以确定角点的位置，在得到角点之间的中垂线之后，计算中垂线的斜率，以对原始静脉图像进行旋转校正，获得ROI位置，克服了建立数据库时半透明性不均匀和意外旋转的缺点。讨论了ROI提取算法，并提出了一种用于更大ROI提取的改进算法。采用Otsu阈值法对手进行分割，手部边界追踪，通过扫描等高线绘制手部边界距离轮廓，对图像进行旋转使得连接第一指谷和第三指谷的线成为水平的，通过选择四个手边界(垂直左限、垂直右限、水平下限和水平上限)来建立ROI区域。分割手的图像，并确定手表面区域的边界。然后，从右到左、从上到下逐个像素扫描整个图像，发现第一个达到255个像素的点是骨骼尖端，在此点下降150个像素选择256
×
256像素正方形区域为ROI区域。将握拳的手图像转换为二值图像，使用形态学方法定位手背边界，边界上的每个点与手腕中点之间的距离后，发现手指之间的谷点是距离轮廓中的相应谷点。最终提取基于谷点1和3的固定大小的子图像。一般的ROI提取算法通常包括以下主要步骤：(1)通过分割算法将手部图像转换为二值图像；(2)执行手边界跟踪；(3)计算之间的距离轮廓轮廓点(位于手部轮廓上的点)和参考点。一般以手腕中点为参考点；(4)根据检测到的点
定位ROI；(5)裁剪ROI子图像。
[0004]很多研究人员已经使用一些经典的图像处理方法进行手背静脉图像ROI提取，其中关键步骤通过计算距离确定谷点(下面称作关键点)，再根据得到的关键点做矩形进行ROI提取。目前的研究对象基本都是限制手的位置以及背景十分干净的约束环境下采集的手背静脉图像，传统图像处理算法对此类图像手的分割十分有利；然而，传统图像处理算法在复杂背景下，很难分割出完整手的图像，难以满足实际的使用场景。到目前为止，深度学习技术在手背静脉图像ROI提取方面还没有进行相关的研究。如今，深度学习已经成为计算机视觉领域最重要的技术之一。近年来，计算机视觉、机器人技术等领域取得的快速发展几乎都依赖于深度学习技术。在生物识别领域，尤其是人脸识别领域，深度学习已成为最主流的技术。对于基于图像的生物识别技术，神经网络是最常用的深度学习技术。到目前为止，已经提出了许多经典的神经网络，并在许多识别任务中取得了令人印象深刻的结果。随着深度学习网络架构的不断完善和数据量的不断增加，深度学习在不同生物指标任务中的识别准确率也在不断提高。比如在人脸识别领域，深度学习的识别准确率已经远超传统手工算法；因此，深度学习成功地推动了人脸识别技术的大规模应用。
[0005]目前关键点检测研究主要分为两种方法：一种是通过神经网络的全连接层直接回归出关键点坐标，另一种是通过神经网络去掉全连接层直接输出热力图，热力图峰值对应的坐标即为关键点坐标。人脸关键点检测大多使用全连接层直接回归关键点坐标的方法，因为人脸可视为刚体，点与点之间的相对位置基本不变，丢失了特征图的空间信息，缺乏空间泛化性。而手十分灵活，姿态较为多样，采集非接触式手背静脉图像时，因为没有手部固定装置，手会出现俯仰、弯曲和张合不同等情况，关键点的相对位置变化较大，所以本研究选择热力图方法定位手背静脉图像关键点，UNet网络模型作为全卷积神经网络中的经典模型，分为下采样和上采样路径，通过跳跃连接将低级特征与高级特征融合得到更加丰富的特征信息，能够更准确的定位手背静脉图像关键点。
[0006]深度学习在计算机视觉领域发展迅猛，在复杂情况下的图像检测、识别等方面能力比传统图像处理算法要好，因此系统研究深度学习在非接触式手背静脉图像关键点定位进行ROI提取的方法至关重要。为此，本研究通过自研的红外图像采集设备采集无约束的手背静脉图像构建手背静脉数据集，选用热力图预测关键点坐标的方法改进UNet网络，将原UNet网络的下采样路径中加入残差模块解决因网络加深而导致的模型退化问题，将UNet网络的上采样路径中的转置卷积改为双线性插值上采样减少网络参数，并引入JS散度损失函数监督最后的特征图，再引入SoftArgmax对特征图解码出关键点坐标实现端到端训练，针对传统图像处理算法在复杂背景下非接触式手背静脉图像平移、旋转、缩放、轻度俯仰难以快速准确的提取ROI，而通常深度学习算法规模庞大，对算力等资源要求高，难以部署于边缘嵌入式系统，提出了基于改进UNet的手背或手掌静脉图像关键点与ROI定位方法。

技术实现思路

[0007](一)解决的技术问题
[0008]针对现有技术的不足，本专利技术提供了基于改进UNet的手背或手掌静脉图像关键点与ROI定位方法。
[0009](二)技术方案
[0010]为实现上述目的，本专利技术提供如下技术方案：基于改进UNet的手背或手掌静脉图像关键点与ROI定位方法，包括以下步骤：
[0011]S1：实验系统机采集现场设置；
[0012]S2：自建数据集；
[0013]采用近红外成像技术获取手背或手掌静脉图像；
[0014]用近红外光源照射受试者的左右手表面，镜头底部带有850nm滤光片，以防止可见光进入相机，封装的外壳可选择加850本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于改进UNet的手背或手掌静脉图像关键点与ROI定位方法，其特征在于，包括以下步骤：S1：实验系统机采集现场设置；S2：自建数据集；采用近红外成像技术获取手背或手掌静脉图像；用近红外光源照射受试者的左右手表面，镜头底部带有850nm滤光片，以防止可见光进入相机，封装的外壳可选择加850nm滤光片，整个实验过程中采集系统的电流供应保持不变，手背或手掌静脉图像的采集地为华南农业大学，研究人员对受试者手的角度、距离和拍摄背景都没有限制，对每个人张开的左右手分别拍摄5张图片，图片大小为1920像素
×
1080像素，由此创建220个人共2200张无约束手背或手掌静脉图像数据集，数据集有干净背景、背景干扰、遮挡不全和佩戴戒指的情况；静脉图像采集装置红外摄像头向上平放在桌面，手背或手掌面与采集装置平行，在平行面内朝向任意角度均可，停留在镜头上方10
‑
15cm，数据集共采集222人，每人右手各拍10张图片，共2220张手背或手掌静脉图片；S3：建立UNet模型；S4：建立残差模块；通过对网络加深，网络能提取到的特征信息更加丰富，网络的性能也会得到提升；但研究表眀，随着网络层数的加深，会出现梯度爆炸和梯度消失的问题导致网络退化，针对网络层数加深导致网络训练时出现的梯度爆炸和梯度消失的问题，何凯明等人提出了残差模块来解决网络退化的问题，分为两条路径，第一条路径是输入x经过至少两层卷积和Relu激活函数输出为残差F(x)，第二条路径是原始输入x跳过卷积直接与第一条路径的输出F(x)相加，也称为短路连接，残差模块的最后输出为H(x)＝F(x)+x，当残差F(x)为0时，此时残差模块仅仅是做了恒等映射，其网络性能不会下降，但实际上残差F(x)不会为0，这也会使得残差模块在输入特征基础上学习到新的特征，从而使网络拥有更好的性能；残差模块分为常规残差模块和瓶颈残差模块两种，瓶颈结构指的是通道数的变化，即原通道数减少再增大，实现通道数减少和增大，从而将输入x降低维度输入到3
×
3的卷积层进行卷积运算，提高计算效率；S5：用于手背或手掌静脉图像关键点定位的改进UNET模型；S6：利用ROI计算方法去计算感兴趣区域的提取；S7：对模型进行评估。2.根据权利要求1所述的基于改进UNet的手背或手掌静脉图像关键点与ROI定位方法，其特征在于：所述S6中，感兴趣区域的提取具体包括以下步骤：S601：从拇指到小指方向的四个指蹼的关键点顺序为0、1、2、3；S602：以关键点1和3为端点做线段L13,长度为l13；S603：以线段13的中点4做长度为l13/3的中垂线L45；S604：以点5为中心做的L45垂线L67，长度为l13；S605：以线段L67为边做正方形6789；S606：提取正方形6789的感兴趣区域图像，并用线性插值将感兴趣区域图像大小调整为256
×
256像素。
3.根据权利要求1所述的基于改进UNet的手背或手掌静脉图像关键点与ROI定位方法，其特征在于：所述S7中，其模型评估标准计算公示如下：其特征在于：所述S7中，其模型评估标准计算公示如下：其特征在于：所述S7中，其模型评估标准计算公示如下：4.根据权利要求3所述的基于改进UNet的手背或手掌静脉图像关键点与ROI定位方法，其特征在于：所述(1)为计算预测坐标(x1,y1)与标签坐标(x2,y2)的欧氏距离；所述(2)为距离小于40个像素视为预测正确记为1，否则记为0，40个像素是一个可调节的阈值，在实际应用中，需根据图片的分辨率进行调整；所述(3)计算预测正确的点占全部点的比例即为准确率。5.根据权利要求1所述的基于改进UNet的手背或手掌静脉图像关键点与ROI定位方法，其特征在于：所述S5中，改进UNet网络模型包括：S501：残差模块实现下采样；S502：双线性插值实现上采样；S503：JS散度损失函数；S504：Soft...

【专利技术属性】
技术研发人员：邹向群，张荣文，代芬，王紫阳，
申请(专利权)人：广州方向智能科技有限公司，
类型：发明
国别省市：