【技术实现步骤摘要】
本专利技术涉及图像处理，特别涉及一种基于手部特征的热成像与可见光配准方法。
技术介绍
1、目前热像仪的配准方法大概可以分成两类，一类是使用标定板进行配准，另一类是基于轮廓特征进行配准。标定板的方法，精确度高，但是需要采集多组图像，操作较复杂。基于轮廓特征的方法，需要热成像和可见光中图像中的边缘形状大致相同，这种方法受环境影响较大，如果物体轮廓清晰，但是物体温度较低，此时rgb图的边缘清晰，但热成像图像中的边缘很难提取。针对这一问题，现在大多改进的方向为改进边缘提取方法，如申请号为202211115537.3的中国专利技术专利《一种红外与可见光图像配准方法》和申请号为202210366866.9的中国专利技术专利《一种基于时空间统一的热红外和可见光图像同步配准方法》，但是算法中的计算越复杂，稳定性就越难保证。
技术实现思路
1、为了克服现有技术存在的缺陷，本专利技术提供一种基于手部特征的热成像与可见光配准方法，以解决上述的问题。
2、本专利技术解决其技术问题所采用的技术方案是：一种基于手部特征的热成像与可见光配准方法，包括以下步骤：
3、s1：获取通过可见光相机和热成像相机在同一时间同一场景分别拍摄的手部图像，以得到可见光相机对应的可见光图像和热成像相机对应的热成像图像；
4、s2：分别对可见光图像和热成像图像进行手部关键区域提取；
5、s3：分别从经过手部关键区域提取的可见光图像和热成像图像提取关键点特征；
6、s4：通过
7、优选的，在所述步骤s2中，对于热成像图像th，通过设置阈值以提取热成像图像中的手部掩模thhand；将手部掩模thhand与热成像图像th做与运算以提取热成像图像th的手部关键区域throi。
8、可选的，在所述步骤s2中，热成像采集模式为白热模式时，首先将热成像图像th转化为灰度图像thgray；将灰度阈值设置为150，并对灰度图像thgray进行图像二值化，得到二值化图像ththresh；对二值化图像ththresh进行孔洞填充操作，得到图像ththresh_holes_filled，并保留图像ththresh_holes_filled中的最大连通域，以去除噪声，得到热成像图像th对应的手部掩模thhand。
9、具体地，在所述步骤s2中，对于可见光图像img，根据皮肤颜色特征提取可见光图像中的手部掩模imghand；将手部掩模imghand与热成像图像img做与运算以提取可见光图像img的手部关键区域imgroi。
10、值得说明的是，在所述步骤s2中，提取可见光图像中的手部掩模的步骤包括：将可见光图像img转化为ycrcb图像，灰度阈值设置为135，对ycrcb图像中的cr图像进行图像二值化，得到的二值化图像imgthresh；对二值化图像imgthresh进行孔洞填充操作，得到图像imgthresh_holes_filled，并保留图像imgthresh_holes_filled中的最大连通域，以去除噪声，得到可见光图像img对应的手部掩模imghand。
11、优选的，在所述步骤s2中，对二值化图像pthresh进行基于漫水填充算法的孔洞填充操作的步骤包括：对二值化图像pthresh取反得到pthresh_inv，筛选出pthresh_inv中最大连通域区域，并取pthresh_inv的最大连通域中的任意一点作为种子点seed；使用seed对pthresh进行漫水填充操作，填充的像素值设置为255，得到图像pthresh_flood_filled；之后对图像pthresh_flood_filled取反，得到pthresh_flood_filled_inv；将pthresh_flood_filled_inv与二值化图像pthresh相加后的结果pthresh_holes_filled作为针对二值化图像pthresh的孔洞填充的输出；其中二值化图像pthresh为热成像图像对应的二值化图像ththresh或者可见光图像对应的二值化图像imgthresh。
12、具体地，在所述步骤s2中，在进行手部关键区域提取前，将可见光图像的尺寸调整到和热成像图像的尺寸一致。
13、值得说明的是，在所述步骤s3中，使用opencv中的手部关键点检测算法识别手部关键区域throi和手部关键区域imgroi中的关键点特征，并提取手部5只手指对应的指尖的关键点特征。
14、优选的，在所述步骤s4中，将所述手部关键区域throi对应的5个指尖的关键点特征构建特征点组pointssrc，将所述手部关键区域imgroi对应的5个指尖的关键点特征构建特征点组pointstarget；分别对特征点组pointssrc和特征点组pointstarget使用最小均方误差求得特征点组pointssrc对应的单应性矩阵hth和特征点组pointstarget对应的单应性矩阵himg；最后，将热成像图像对应的单应性矩阵hth经过投影变换的矩阵投影到可见光图像对应的单应性矩阵himg以进行配准。
15、可选的，在所述步骤s1中，先去除手部装饰物和金属首饰，然后手部五指张开，使用可见光相机和热成像相机同时拍摄手部得到可见光图像和热成像图像。
16、本专利技术的有益效果在于：在所述基于手部特征的热成像与可见光配准方法中，使用热成像与可见光同时采集同一场景下的手部图像，根据手部特征点进行配准。用户在长时间使用后，可根据手部图像自行进行校准。手部作为一个热源，在可见光图像和热成像图像中都具有较清晰的边缘，同时针对手部的特点形成配准流程，这样大大降低了对配准环境的要求，简化了计算流程从而保证配准方法的稳定性。
本文档来自技高网...【技术保护点】
1.一种基于手部特征的热成像与可见光配准方法，其特征在于，包括以下步骤：
2.根据权利要求1所述一种基于手部特征的热成像与可见光配准方法，其特征在于：在所述步骤S2中，对于热成像图像TH，通过设置阈值以提取热成像图像中的手部掩模THhand；将手部掩模THhand与热成像图像TH做与运算以提取热成像图像TH的手部关键区域THroi。
3.根据权利要求2所述一种基于手部特征的热成像与可见光配准方法，其特征在于：在所述步骤S2中，热成像采集模式为白热模式时，首先将热成像图像TH转化为灰度图像THgray；将灰度阈值设置为150，并对灰度图像THgray进行图像二值化，得到二值化图像THthresh；对二值化图像THthresh进行孔洞填充操作，得到图像THthresh_holes_filled，并保留图像THthresh_holes_filled中的最大连通域，以去除噪声，得到热成像图像TH对应的手部掩模THhand。
4.根据权利要求3所述一种基于手部特征的热成像与可见光配准方法，其特征在于：在所述步骤S2中，对于可见光图像IMG，根据皮肤颜色特
5.根据权利要求4所述一种基于手部特征的热成像与可见光配准方法，其特征在于：在所述步骤S2中，提取可见光图像中的手部掩模的步骤包括：
6.根据权利要求5所述一种基于手部特征的热成像与可见光配准方法，其特征在于：
7.根据权利要求6所述一种基于手部特征的热成像与可见光配准方法，其特征在于：在所述步骤S2中，在进行手部关键区域提取前，将可见光图像的尺寸调整到和热成像图像的尺寸一致。
8.根据权利要求7所述一种基于手部特征的热成像与可见光配准方法，其特征在于：在所述步骤S3中，使用OpenCV中的手部关键点检测算法识别手部关键区域THroi和手部关键区域IMGroi中的关键点特征，并提取手部5只手指对应的指尖的关键点特征。
9.根据权利要求8所述一种基于手部特征的热成像与可见光配准方法，其特征在于：在所述步骤S4中，将所述手部关键区域THroi对应的5个指尖的关键点特征构建特征点组Pointssrc，将所述手部关键区域IMGroi对应的5个指尖的关键点特征构建特征点组Pointstarget；分别对特征点组Pointssrc和特征点组Pointstarget使用最小均方误差求得特征点组Pointssrc对应的单应性矩阵HTH和特征点组Pointstarget对应的单应性矩阵HIMG；最后，将热成像图像对应的单应性矩阵HTH经过投影变换的矩阵投影到可见光图像对应的单应性矩阵HIMG以进行配准。
10.根据权利要求9所述一种基于手部特征的热成像与可见光配准方法，其特征在于：在所述步骤S1中，先去除手部装饰物和金属首饰，然后手部五指张开，使用可见光相机和热成像相机同时拍摄手部得到可见光图像和热成像图像。
...【技术特征摘要】
1.一种基于手部特征的热成像与可见光配准方法，其特征在于，包括以下步骤：
2.根据权利要求1所述一种基于手部特征的热成像与可见光配准方法，其特征在于：在所述步骤s2中，对于热成像图像th，通过设置阈值以提取热成像图像中的手部掩模thhand；将手部掩模thhand与热成像图像th做与运算以提取热成像图像th的手部关键区域throi。
3.根据权利要求2所述一种基于手部特征的热成像与可见光配准方法，其特征在于：在所述步骤s2中，热成像采集模式为白热模式时，首先将热成像图像th转化为灰度图像thgray；将灰度阈值设置为150，并对灰度图像thgray进行图像二值化，得到二值化图像ththresh；对二值化图像ththresh进行孔洞填充操作，得到图像ththresh_holes_filled，并保留图像ththresh_holes_filled中的最大连通域，以去除噪声，得到热成像图像th对应的手部掩模thhand。
4.根据权利要求3所述一种基于手部特征的热成像与可见光配准方法，其特征在于：在所述步骤s2中，对于可见光图像img，根据皮肤颜色特征提取可见光图像中的手部掩模imghand；将手部掩模imghand与热成像图像img做与运算以提取可见光图像img的手部关键区域imgroi。
5.根据权利要求4所述一种基于手部特征的热成像与可见光配准方法，其特征在于：在所述步骤s2中，提取可见光图像中的手部掩模的步骤包括：
6.根据权利要求...
【专利技术属性】
技术研发人员：白杨，白志平，谭跃新，阳林山，谭小兵，周邦荣，
申请(专利权)人：珠海市吉大华普仪器有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。