基于SIFT图像配准技术的人型靶打靶校准识别方法技术

本发明专利技术涉及计算机视觉技术领域，具体为基于SIFT图像配准技术的人型靶打靶校准识别方法，包括步骤有：S1.设置摄像头并获取靶纸图像；S2.打靶前一帧的靶纸图片作为模板图片；S3.利用SIFT特征提取算法计算步骤S2中获取的模板图片的全局特征点，S4.实时获取打靶后靶纸的一帧的图片作为待识别目标图片；S5.利用SIFT特征提取算法计算待识别目标图片的特征点；S6.进行暴力K近邻匹配；S7.待识别靶纸目标图片；S8.待识别靶纸目标图片与模板图片做差值得到实际弹孔位置和数量；本发明专利技术识别结果相比于基于神经网络关键点匹配算法可控性更高，效果更好，可有效防止打靶过程中目标晃动等引起的畸变，算法更准确，错检漏检少；目标检测算法对于弹孔这种小目标检测效果较差。法对于弹孔这种小目标检测效果较差。

【技术实现步骤摘要】
基于SIFT图像配准技术的人型靶打靶校准识别方法


[0001]本专利技术涉及计算机视觉
，具体为基于SIFT图像配准技术的人型靶打靶校准识别方法。

技术介绍

[0002]枪击训练中，报靶是其中的重要环节，现有技术的传统报靶方式由人工肉眼观察靶环并进行报靶，该方式存在耗费时间长，安全性差，成本高，实时性差等缺点。随着计算机深度学习技术的发展，已有学者通过识别人型靶关键点的方式去校准人型靶目标，效率高较传统报靶方式明显提高，但在实际应用过程中发现容易受到打靶过程中人型靶晃动，天气变化导致光线不一；这些因素严重影响了网络输出的关键点，不具有旋转不变、亮度不变、噪点不敏感等特性，导致后续打靶图片校准过程与标准图片错位严重，报靶位置和数量统计不准确；此外还有使用平面图像扫描技术进行靶环检测的方法，其利用图像分析计分，即利用摄像头拍摄枪靶，该方法对靶纸印刷有要求，需要额外印刷四个黑色正方形校准图标，该方法需要特别印刷的靶纸，且不适合复杂多变的环境。

技术实现思路

[0003]本专利技术的目的在于提供一种基于SIFT图像配准技术的人型靶打靶校准识别方法，利用SIFT特征点的尺度不变、旋转不变、亮度不变、噪点不敏感、特征维度小和抗遮挡等特性解决打靶过程中人型靶因外界风力光线造成的晃动畸变和过曝欠曝而导致后续图像校准偏差，从而造成报靶结果的不准确。
[0004]为解决上述技术问题，本专利技术一种基于SIFT图像配准技术的人型靶打靶校准识别方法，包括有如下步骤：S1.在靶场设置摄像头；并调整摄像头对正靶纸，摄像头实时获取靶纸图像S2.通过摄像头识别打靶前一帧的靶纸图片作为模板图片；S3.利用SIFT特征提取算法计算步骤S2中获取的模板图片的全局特征点，将模板图片的全局特征点存储，后续不再重复提取模板图片；S4.通过摄像头实时获取打靶后靶纸的一帧的图片作为待识别目标图片；S5.利用SIFT特征提取算法计算待识别目标图片的特征点；S6.讲步骤S5得到的待识别目标图片的特征点与S3存储的模板图片的全局特征点进行暴力K近邻匹配，计算多有匹配点对之间的相似度值，选取相似度值小于0.75的特征点对进行单应性矩阵计算；S7.将步骤S6选取的相似度值小于0.75的特征点对，使用随机抽样RANSAC的鲁棒算法计算识别目标图片的特征点映射到特征点对中对应的模板图片的全局特征点的单应性矩阵，再利用识别目标图片的特征点的单应性矩阵以模板图片为投影进行透视变换，最后得到待识别靶纸目标图片；S8.将步骤S7得到的待识别靶纸目标图片与S2得到的模板图片做差值即可得到实
际弹孔位置和数量。
[0005]进一步的，所述步骤S3中，包括有如下步骤：S3.1.对于步骤S2中获取到的模板图片，利用计算机视觉处理库OPENCV中的xfeatures2d_SIFT.create函数获取SIFT特征检测器对象；S3.2.通过SIFT特征检测器调用detectAndCompute函数得到模板图片特征点信息和代表特征点的特征向量，其所述特征点信息包括角度angle，angle表示关键点的方向，为了保证方向不变形，SIFT算法通过对关键点周围领域进行梯度运算，求得该点方向、class_id ，class_id为区分每个特征点的id)、pt特征点的坐标、response相应程度，代表该点作为特征点的强壮程度、size该点直径大小，其所述代表特征点的特征向量即能够把该检测图片表示成以128维的特征向量集合中的点，选取SIFT特征描述子是因为其具有旋转，缩放，平移和光照不变性，能够克服靶场靶纸因外界受力和光照的影响。
[0006]S3.3.将所述步骤二中获取的代表模板图片的SIFT特征点信息和特征向量写入到本地文件并加载于内存，后续过程不再重复提取该模板图片的SIFT特征。
[0007]进一步的，所述的步骤S5包括有如下步骤：S5.1.对于步骤S4中获取的待识别目标图片，利用计算机视觉处理库OPENCV中的xfeatures2d_SIFT.create函数获取SIFT特征检测器对象，调用detectAndCompute函数得到待识别目标图片特征点信息和代表特征点的特征向量；S5.2.对于步骤S4中获取的待识别目标图片，等比例划分为16块子图分别标记为,经过实验对比发现划分为4*4共16块子图能够保证关键子图上都存在良好的SIFT特征，等比例划分待识别目标图片简单高效，3*3划分待识别目标图片在与模板图片校准过程细节处理不好，因为划分块过大；5*5划分待识别目标图片在与模板图片校准过程中存在较多的无特征块或少特征块；S5.3.对于S5.1计算得到待识别目标图片特征点信息和代表特征点的特征向量按s5.2划分的子图分配的特征点信息和代表特征点的特征向量，所述分配方式根据特征点信息的.pt属性获取特征点位置坐标，将落入各子图的特征点信息和特征向量分配与。
[0008]进一步的，所述的步骤S6中将每个分块上的特征点与S3存储的模板图片的全局特征点进行暴力K近邻匹配，K值取2，即所述待识别目标图片各分块中特征点选取模板图片特征点中特征最相似的两个特征点，计算方式按照向量之间的欧式距离计算，再判断选中的2个模板图片特征点之间的特征向量距离比值是否小于S6所述的0.75，小于阈值0.75的特征点选取K近邻中最近的1个特征点作为模板图片与待识别目标图片各分块匹配成功的特征点对。
[0009]进一步的，所述的步骤S6的暴力K近邻匹配包括有如下步骤：S6.1.暴力K近邻匹配首先选取待识别目标图片某个分块中的一个特征点作为待匹配特征点对；S6.2.计算步骤S6.1中选取的待识别目标图片某个分块中的一个特征点与S3存储的模板图片的全局特征点之间的欧式距离，在模板图片的全局特征点中选取前2
个距离最小的作为预选特征点，再计算选出的2个特征点之间的距离比值是否小于阈值0.75；S6.3.所述S6.3中大于0.75的两个特征点全部丢弃，小于阈值0.75的选取距离最近的特征点作为待识别目标图片某个分块中选取的某个特征点在模板图片全局特征点集合中的匹配特征点，得到了分别处于待识别目标图片某个分块中的特征点和模板图片选中特征点的特征点对。
[0010]进一步的，步骤S7中包括有如下步骤：S7.1.利用待识别目标图片各分块特征点与S3存储的模板图片的全局特征点匹配对计算各分块与S3存储的模板图片的单应性矩阵，计算过程利用计算机视觉库OPENCV中的findHomography函数得到，其中随机抽样RANSAC的鲁棒算法为设置参数;所述RANSAC是Random Sample Consensus的缩写；从一组包含局外点的观测数据集中，通过迭代方式估计数学模型的参数，即通过S6中匹配到的特征点利用RANSAC算法迭代计算最优的单应性矩阵，单应性矩阵是根据匹配点对之间的坐标映射关系得到各分块特征点到模板图片特征点之间的变换矩阵(3*3的矩阵)，包含缩放、旋转、平移等参数；S7.2.利用计算得到的各分块与S3所述模板的单应性矩阵，调用计算机视觉库OPENCV中的透视变换函数warpPersp本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于SIFT图像配准技术的人型靶打靶校准识别方法，其特征在于：包括有如下步骤：S1.在靶场设置摄像头；并调整摄像头对正靶纸，摄像头实时获取靶纸图像S2.通过摄像头识别打靶前一帧的靶纸图片作为模板图片；S3.利用SIFT特征提取算法计算步骤S2中获取的模板图片的全局特征点，将模板图片的全局特征点存储，后续不再重复提取模板图片；S4.通过摄像头实时获取打靶后靶纸的一帧的图片作为待识别目标图片；S5.利用SIFT特征提取算法计算待识别目标图片的特征点；S6.讲步骤S5得到的待识别目标图片的特征点与S3存储的模板图片的全局特征点进行暴力K近邻匹配，计算多有匹配点对之间的相似度值，选取相似度值小于0.75的特征点对进行单应性矩阵计算；S7.将步骤S6选取的相似度值小于0.75的特征点对，使用随机抽样RANSAC的鲁棒算法计算识别目标图片的特征点映射到特征点对中对应的模板图片的全局特征点的单应性矩阵，再利用识别目标图片的特征点的单应性矩阵以模板图片为投影进行透视变换，最后得到待识别靶纸目标图片；S8.将步骤S7得到的待识别靶纸目标图片与S2得到的模板图片做差值即可得到实际弹孔位置和数量。2.根据权利要求1所述的基于SIFT图像配准技术的人型靶打靶校准识别方法，其特征在于：所述步骤S3中，包括有如下步骤：S3.1.对于步骤S2中获取到的模板图片，利用计算机视觉处理库OPENCV中的xfeatures2d_SIFT.create函数获取SIFT特征检测器对象；S3.2.通过SIFT特征检测器调用detectAndCompute函数得到模板图片特征点信息和代表特征点的特征向量，其所述特征点信息包括角度angle，angle表示关键点的方向，为了保证方向不变形，SIFT算法通过对关键点周围领域进行梯度运算，求得该点方向、class_id ，class_id为区分每个特征点的id)、pt特征点的坐标、response相应程度，代表该点作为特征点的强壮程度、size该点直径大小，其所述代表特征点的特征向量即能够把该检测图片表示成以128维的特征向量集合中的点，选取SIFT特征描述子是因为其具有旋转，缩放，平移和光照不变性，能够克服靶场靶纸因外界受力和光照的影响；S3.3.将所述步骤二中获取的代表模板图片的SIFT特征点信息和特征向量写入到本地文件并加载于内存，后续过程不再重复提取该模板图片的SIFT特征。3.根据权利要求2所述的基于SIFT图像配准技术的人型靶打靶校准识别方法，其特征在于：所述的步骤S5包括有如下步骤：S5.1.对于步骤S4中获取的待识别目标图片，利用计算机视觉处理库OPENCV中的xfeatures2d_SIFT.create函数获取SIFT特征检测器对象，调用detectAndCompute函数得到待识别目标图片特征点信息和代表特征点的特征向量；S5.2.对于步骤S4中获取的待识别目标图片，等比例划分为16块子图分别标记为,经过实验对比发现划分为4*4共16块子图能够保证关键子图上都存在良好的SIFT特征，等比例划分待识别目标图片简单高效，3*3划分待识别目标图片在与模板图片校准过程细节处理不好，因为划分块过大；5*5划分待识别目标图片在与模板图片校准过程中
存在较多的无特征块或少特征块；S5.3.对于S5.1计算得到待识别目标图片特征点信息和代表特征点的特征向量按s5.2划分的子图分配的特征点信息和代表特征点的特征向量，所述分配方式根据特征点信息的.pt属性获取特征点位置坐标，将落入各子图的特征点信息和特...

【专利技术属性】
技术研发人员：吴磊，刘磊，曹肖攀，
申请(专利权)人：中电万维信息技术有限责任公司，
类型：发明
国别省市：