一种基于卷积神经网络的手掌关键点定位方法技术

本发明专利技术公开了一种基于卷积神经网络的手掌关键点定位方法，其具体步骤如下：S1、采集手掌图像标记关键点信息，并训练卷积神经网络；S2、收集手指区域图像作为数据集；S3、定位每根手指的6个关键点；S4、定位每根手指的下指节下端关节线段中点与对应手指范围内距离线段中点的指尖端最远点并作为手指的2个关键点；S5、卷积神经网络取相邻的两指下指节下端关节线段中点进行连接，连接线的中点作为手掌关键点。本发明专利技术根据上述所述的手掌关键点定位方法，能够快速准确的获得手掌关键点的定位，通过指关节纹线的固定特征结合卷积神经网络自学习的优势进行相关特征点的定位，能够避免仅依靠边缘信息和轮廓特征进行关键点定位的多变性，使定点更加精确。

A method of palm key points location based on convolution neural network

The invention discloses a palm key point positioning method based on convolution neural network. The specific steps are as follows: S1, collecting palm image marking key point information and training convolution neural network; S2, collecting finger region image as data set; S3, positioning six key points of each finger; S4, positioning each finger. The distal point of the lower segment of the inferior knuckle and the fingertip of the corresponding finger are regarded as the two key points of the finger; S5 and convolution neural network connect the two adjacent points of the lower segment of the inferior knuckle, and the middle point of the connecting line is regarded as the key point of the palm. According to the palm key point positioning method described above, the palm key point positioning method can quickly and accurately obtain the palm key point positioning. By combining the fixed features of finger joint ridges with the advantages of convolution neural network self-learning, the method can avoid relying only on edge information and contour features for key point positioning. Changeability makes the fixed-point more precise.

【技术实现步骤摘要】
一种基于卷积神经网络的手掌关键点定位方法
本专利技术涉及手掌关键点定位
，具体为一种基于卷积神经网络的手掌关键点定位方法。
技术介绍
掌纹掌脉特征识别技术，一般利用摄像头采集手掌可见光或近红外光下的手掌图像，通过对手掌图像进行预处理、识别区域定位、特征提取和比对匹配等步骤来实现。识别区域的定位是掌纹掌脉识别的基础环节，如何快速、准确、高质量地定位识别区域是非常关键的一步，也直接影响到整套识别系统的性能。对识别区域进行定位一般需要对手掌图像进行关键点的定位，以定位的关键点进行识别区域的截取。一般情况下，可通过对手掌图像和采集背景间的边缘信息进行手掌的轮廓描述，再作关键点定位。在中国专利技术专利申请公开说明书CN102542242A中公开了一种生物特征区域定位方法，采用对生物特征图像进行二值化，去除图像背景，去噪和获得边缘点信息，定位关键点，最后根据关键点以确定生物特征区域；在专利技术专利申请公开说明书CN104361339A中公开了一种根据前景图像的后验概率图谱及掌型边缘信息对掌形区域进行图像分割，提取掌形图像的方法；专利技术专利申请公开说明书CN106991380A中公开了一种对二值化后的掌静脉图像，利用Canny算法进行图像轮廓提取，再根据查找法定位指根点，以指根点连接线获得获得中点作为关键点的方法，来获取ROI(RegionofInterest)图像。上述根据边缘信息及轮廓特征进行关键点定位的方法，虽然能够确定一个相对固定的识别区域，但是需要对边缘信息及轮廓特征的完整清晰有较高的要求，在受到光线、视角、背景及距离的因素变化的条件下，往往难以获得高质量的关键点定位和识别区域。
技术实现思路
本专利技术的目的是为了解决上述技术中存在的缺点，而提出的一种基于卷积神经网络的手掌关键点定位方法，定义手指指节纹线线段，对下指节下端关节线段的中点进行定位，连接相邻的两指节下端关节线段的中点，得到连接线，定位该连接线的中点作为手掌的关键点，自食指至小拇指四指可获得3个关键点。对指节纹线线段中点进行定位，一步步定位获得手掌关键点的方法，在边缘信息及轮廓特征受到一定变化的情况下，也能够获得稳定的指节关节线段中点定位，利用卷积神经网络在图像处理上的优势，能够通过大量训练学习的方式，获得较好的关键点定位模型，实现大数据量下快速精准的手掌关键点定位。为实现上述目的，本专利技术提供如下技术方案：一种基于卷积神经网络的手掌关键点定位方法，该基于卷积神经网络的手掌关键点定位方法具体步骤如下：S1、采集手掌图像，并标记关键点信息，作为训练样本集输入到卷积神经网络，对网络进行训练；S2、卷积神经网络的第一层，检测手掌图像，将手掌图像划分为手指区域与掌部区域两部分，并收集手指区域图像作为数据集；S3、第二层对第一层卷积神经网络收集到的手指区域图像数据集进行关键点定位，定位每根手指的6个关键点，并剪裁出4根手指图像作为数据集；S4、卷积神经网络第三层，定位每根手指的下指节下端关节线段中点与对应手指范围内距离线段中点的指尖端最远点，下指节关节线段中点和指尖端最远点作为手指的2个关键点；S5、卷积神经网络取相邻的两指下指节下端关节线段中点进行连接，连接线的中点作为手掌关键点，四指间的3个手掌关键点分别定义为GapB、GapC和GapD。优选的，步骤S1中的手掌图像通过拍摄设备进行采集，同时利用图像增强技术将图像预处理，使手掌图像符合格式要求，对手掌图像进行关键点标记，作为训练卷积神经网络的样本集输入并训练。优选的，步骤S1中的卷积神经网络包含卷积层和池化层，卷积层主要用于特征图的计算，池化层主要用于降低特征图的尺寸，同时保持特征图的旋转与平移特性，具体如下：当特征图达到设计的尺寸与层数要求时，将二维的特征图按照顺序排列起来转换为一维的特征向量，最后通过全连接层进行连接并输出，其中，卷积层的运算可表示为：其中，X(l,k)表示第l层输出的第k组特征图，nl表示第l层特征图的层数，W(l,k,p)表示第l-1层中第p组特征图向第l层中第k组特征图映射时所需要的滤波器，第l层的每一组特征图的生成都需要nl-1个滤波器与一个偏置；池化层采用最大值池化方法，特征图像经过最大值池化后的大小会根据步长step缩小至原来的1/step，最大值池化的形式可表示为：其中，X(l+1,k)(m,n)为第l+1层输出的第k组特征图坐标(m,n)处的值，s为池化核的大小，step为池化核移动时的步长，本专利技术中s与step均设置为2。优选的，步骤S3中的手指关键点是以指关节纹路下端线段在图像上的两端点作为关键点进行标记，每根手指有3条指关节纹路下端线段，则每根手指可定位得到6个手指区域关键点。优选的，根据第二层卷积神经网络的输出结果，对每根手指区域估计其旋转角度，将每根手指按照估计的旋转角度进行矫正，将矫正后的图像收集作为新的训练样本。优选的，步骤S4所述的关键点是定位到的手指下指节纹路下端线段的中点和对应手指范围内距离线段中点的指尖端最远点，这两点作为手指的2个关键点；所述的手指下指节，自指尖开始，手指关节部位依次定义为上指节、中指节和下指节。优选的，步骤S4第三层卷积神经网络的输出结果，根据图像矫正步骤中每根手指的旋转角度，对每根手指图像进行角度回旋，将回旋后的手指图像组合成手指区域图像并收集作为新的训练样本。优选的，步骤S5所述的手掌关键点分别定义为GapB、GapC和GapD，GapB为食指和中指间的关键点，GapC为中指与无名指间的关键点，GapD为无名指和小拇指间的关键点。与现有技术相比，本专利技术的有益效果是：本专利技术根据上述的手掌关键点定位方法，能够快速准确的获得手掌关键点的定位，通过指关节纹线的固定特征结合卷积神经网络自学习的优势进行相关特征点的定位，能够避免仅依靠边缘信息和轮廓特征进行关键点定位的多变性，使定点更加精确。附图说明图1是本专利技术卷积神经网络结构图；图2是本专利技术手指关节线段端点定位示意图；图3是本专利技术手指2个关键点定位示意图；图4是本专利技术手掌关键点定位网络示意图；图5是本专利技术手掌关键点定位及标记示意图。具体实施方式为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合具体实施例，对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。实施例1请参阅图1-5，本专利技术提供一种技术方案：一种基于卷积神经网络的手掌关键点定位方法，包含4个卷积网络，每一层由卷积层、池化层及全连接层三部分组成，卷积神经网络对输入的图像进行多次的卷积与池化，最终经过全连接层输出经关键点定位的手掌图像，其实施步骤如下：步骤S1、采集手掌图像，并标记关键点信息，作为训练样本集输入到卷积神经网络，对网络进行训练；进一步的,步骤S1通过手掌图像采集装置，获取手掌图像，对所获得的图像进行关键点定位标记，并将标记了关键点信息的手掌图像作为训练样本图像输入到构建的卷积神经网络中进行训练，获得手掌关键点定位的卷积神经网络模型。步骤S2、卷积神经网络的第一层，检测手掌图像，将手掌图像划分为手指区域与掌部区域两部分，并收集手指区域图像作为数据集；进一步的，步骤S2所述的卷积网络第一层，对输入的手掌图像进行区域划分，手指区域为食指、中指、无名指及小拇指四指区本文档来自技高网...

【技术保护点】
1.一种基于卷积神经网络的手掌关键点定位方法，其特征在于：该基于卷积神经网络的手掌关键点定位方法具体步骤如下：S1、采集手掌图像，并标记关键点信息，作为训练样本集输入到卷积神经网络，对网络进行训练；S2、卷积神经网络的第一层，检测手掌图像，将手掌图像划分为手指区域与掌部区域两部分，并收集手指区域图像作为数据集；S3、第二层对第一层卷积神经网络收集到的手指区域图像数据集进行关键点定位，定位每根手指的6个关键点，并剪裁出4根手指图像作为数据集；S4、卷积神经网络第三层，定位每根手指的下指节下端关节线段中点与对应手指范围内距离线段中点的指尖端最远点，下指节关节线段中点和指尖端最远点作为手指的2个关键点；S5、卷积神经网络取相邻的两指下指节下端关节线段中点进行连接，连接线的中点作为手掌关键点，四指间的3个手掌关键点分别定义为GapB、GapC和GapD。

【技术特征摘要】
1.一种基于卷积神经网络的手掌关键点定位方法，其特征在于：该基于卷积神经网络的手掌关键点定位方法具体步骤如下：S1、采集手掌图像，并标记关键点信息，作为训练样本集输入到卷积神经网络，对网络进行训练；S2、卷积神经网络的第一层，检测手掌图像，将手掌图像划分为手指区域与掌部区域两部分，并收集手指区域图像作为数据集；S3、第二层对第一层卷积神经网络收集到的手指区域图像数据集进行关键点定位，定位每根手指的6个关键点，并剪裁出4根手指图像作为数据集；S4、卷积神经网络第三层，定位每根手指的下指节下端关节线段中点与对应手指范围内距离线段中点的指尖端最远点，下指节关节线段中点和指尖端最远点作为手指的2个关键点；S5、卷积神经网络取相邻的两指下指节下端关节线段中点进行连接，连接线的中点作为手掌关键点，四指间的3个手掌关键点分别定义为GapB、GapC和GapD。2.根据权利要求1所述的一种基于卷积神经网络的手掌关键点定位方法，其特征在于：步骤S1中的手掌图像通过拍摄设备进行采集，同时利用图像增强技术将图像预处理，使手掌图像符合格式要求，对手掌图像进行关键点标记，作为训练卷积神经网络的样本集输入并训练。3.根据权利要求1所述的一种基于卷积神经网络的手掌关键点定位方法，其特征在于：步骤S1中的卷积神经网络包含卷积层和池化层，卷积层主要用于特征图的计算，池化层主要用于降低特征图的尺寸，同时保持特征图的旋转与平移特性，具体如下：当特征图达到设计的尺寸与层数要求时，将二维的特征图按照顺序排列起来转换为一维的特征向量，最后通过全连接层进行连接并输出，其中，卷积层的运算可表示为：其中，X(l,k)表示第l层输出的第k组特征图，nl表示第l层特征图的层数，W(l,k,p)表示第l-1层中第p组特征图向第l层中第k组特征图映射时所需要的滤波器，第l层的每一组特...

【专利技术属性】
技术研发人员：谢清禄，余孟春，邹向群，徐宏锴，
申请(专利权)人：广州麦仑信息科技有限公司，
类型：发明
国别省市：广东,44