一种手部关键点的标定方法及装置制造方法及图纸

本发明专利技术实施例公开一种手部关键点的标定方法及装置，该方法包括：获得多个图像采集设针对手势展示区域采集的红外图像；基于预先建立的关键点检测模型，从每一红外图像中确定出目标手势中手部关键点的检测位置信息及检测语义信息；对红外图像进行分组，得到至少一组红外图像组；利用每一红外图像组对应的检测语义信息所对应手部关键点的检测位置信息，及其对应的设备信息，确定出目标检测语义信息对应的目标空间位置信息；基于目标检测语义信息对应的目标空间位置信息及每一红外图像对应的设备位姿信息和设备内参信息，确定每一红外图像中目标检测语义信息所对应手部关键点的标注位置信息，以实现自动对红外图像中的手部关键点进行标注。键点进行标注。键点进行标注。

【技术实现步骤摘要】
一种手部关键点的标定方法及装置


[0001]本专利技术涉及图像标定
，具体而言，涉及一种手部关键点的标定方法及装置。

技术介绍

[0002]随着科技的发展，为了提高用户生活质量，各种智能化控制设备应运而生。例如，智能家居以及智能驾驶等领域，通过用户的手势控制被控设备的相应的功能，以提高用户的使用体验。
[0003]目前通过手势控制被控设备的相应功能的过程中，首先需要检测图像中手部的各关键点的位置，进而基于各关键点的位置确定图像中手部所展示手势的含义，进而基于所识别的手势的含义控制被控设备的相应功能。
[0004]相关技术中，图像中手部的各关键点的位置可以通过神经网络模型进行检测。而为了训练得到可以用于检测图像中手部的各关键点的位置的关键点检测模型，需要获得大量的标注有手部的各关键点的红外图像，来训练得到手部关键点检测模型。相应的，如何获得标注有手部关键点的红外图像至关重要，即如何对红外图像中包含的各种手势的手部关键点进行标定至关重要。

技术实现思路

[0005]本专利技术提供了一种手部关键点的标定方法及装置，以实现自动对红外图像中的手部关键点进行标注。具体的技术方案如下：
[0006]第一方面，本专利技术实施例提供了一种手部关键点的标定方法，所述方法包括：
[0007]获得多个图像采集设备在相同采集周期内针对手势展示区域采集的红外图像，其中，所述多个图像采集设备从不同角度对所述手势展示区域内展示的目标手势进行拍摄；
[0008]基于预先建立的关键点检测模型，从每一红外图像中确定出所述目标手势中手部关键点的检测位置信息及检测语义信息，其中，所述预先建立的关键点检测模型为：至少基于标注有样本手部关键点的色彩样本图像训练所得的模型；
[0009]基于每一手部关键点的检测语义信息或红外图像对应的图像采集设备的设备位姿信息和设备内参信息，对所述红外图像进行分组，得到至少一组红外图像组；
[0010]利用每一红外图像组对应的检测语义信息所对应手部关键点的检测位置信息，及每一检测语义信息所对应手部关键点对应的设备位姿信息和设备内参信息，确定出目标检测语义信息所对应手部关键点对应的目标空间位置信息；
[0011]针对每一目标检测语义信息，基于该目标检测语义信息所对应手部关键点对应的目标空间位置信息以及每一红外图像对应的设备位姿信息和设备内参信息，确定每一红外图像中该目标检测语义信息所对应手部关键点的标注位置信息。
[0012]可选的，所述基于每一手部关键点的检测语义信息或红外图像对应的图像采集设备的设备位姿信息和设备内参信息，对所述红外图像进行分组，得到至少一组红外图像组
的步骤，通过如下两种实现方式中的任一种实现方式实现：
[0013]第一种实现方式：
[0014]针对每一检测语义信息，将包含对应该检测语义信息的手部关键点的红外图像，划分为一组，得到至少一组红外图像组；
[0015]第二种实现方式：
[0016]基于红外图像对应的图像采集设备的设备位姿信息，将所对应图像采集设备位置相邻的多个红外图像，划分为一组，得到至少一组红外图像组。
[0017]可选的，在针对每一检测语义信息，将包含对应该检测语义信息的手部关键点的红外图像，划分为一组的情况下；
[0018]所述利用每一红外图像组对应的检测语义信息所对应手部关键点的检测位置信息，及每一检测语义信息所对应手部关键点对应的设备位姿信息和设备内参信息，确定出目标检测语义信息所对应手部关键点对应的目标空间位置信息的步骤，包括：
[0019]针对每一红外图像组，利用该红外图像组中的每N帧红外图像中，该红外图像组对应的检测语义信息所对应手部关键点的检测位置信息，以及该N帧红外图像对应的设备位姿信息和设备内参信息，确定该检测语义信息所对应手部关键点对应的第一三维位置信息，N为不小于2的任一整数；
[0020]针对每一红外图像组，利用该红外图像组对应的检测语义信息所对应手部关键点对应的第一三维位置信息，以及该检测语义信息所对应手部关键点的检测位置信息及其对应的设备位姿信息和设备内参信息，确定出目标语义信息及其对应的手部关键点对应的目标空间位置信息。
[0021]可选的，所述利用该红外图像组对应的检测语义信息所对应手部关键点对应的第一三维位置信息，以及该检测语义信息所对应手部关键点的检测位置信息及其对应的设备位姿信息和设备内参信息，确定出目标语义信息及其对应的手部关键点对应的目标空间位置信息的步骤，包括：
[0022]针对该红外图像组对应的检测语义信息所对应手部关键点对应的每一第一三维位置信息，利用该第一三维位置信息，以及该检测语义信息所对应手部关键点对应的设备位姿信息和设备内参信息，确定该第一三维位置信息所对应空间点在该红外图像组中每一红外图像中的第一投影位置信息；
[0023]针对该红外图像组对应的检测语义信息所对应手部关键点对应的每一第一三维位置信息，利用该第一三维位置信息所对应空间点在该红外图像组中每一红外图像中的第一投影位置信息，以及该检测语义信息所对应手部关键点的检测位置信息，确定该第一三维位置信息对应的重投影误差；
[0024]针对每一第一三维位置信息，判断该第一三维位置信息对应的最小重投影误差，是否不高于预设重投影误差阈值；
[0025]在判断该第一三维位置信息对应的最小重投影误差，不高于预设重投影误差阈值的情况下，确定该第一三维位置信息对应的检测语义信息为目标检测语义信息，并将该对应最小重投影误差的第一三维位置信息，确定为该目标检测语义信息对应的手部关键点对应的目标空间位置信息。
[0026]可选的，所述用每一红外图像组对应的检测语义信息所对应手部关键点的检测位
置信息，及每一检测语义信息所对应手部关键点对应的设备位姿信息和设备内参信息，确定出目标检测语义信息所对应手部关键点对应的目标空间位置信息的步骤，包括：
[0027]针对每一红外图像组，执行如下步骤A-H，以确定出目标检测语义信息所对应手部关键点对应的目标空间位置信息；
[0028]步骤A：基于该红外图像组的每一当前的红外图像中、该红外图像组对应的检测语义信息所对应手部关键点的检测位置信息，以及每一当前的红外图像对应的设备位姿信息和设备内参信息，确定该红外图像组对应的检测语义信息所对应手部关键点对应的当前三维位置信息；
[0029]步骤B：基于该红外图像组对应的检测语义信息所对应手部关键点对应的当前三维位置信息，以及每一当前的红外图像对应的设备位姿信息和设备内参信息，确定该红外图像组所对应当前三维位置信息对应的空间点、在每一当前的红外图像中的投影点的第二投影位置信息；
[0030]步骤C：针对该红外图像组的每一当前的红外图像，基于该当前的红外图像中该红外图像组对应的检测语义信息所对应手部关键点的检测位置信息，以及该红外图像组所对应当前三维位置信息对应的空间点、在该当前的红外图像中的第二投影位置信息，确定该当前的红外本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种手部关键点的标定方法，其特征在于，所述方法包括：获得多个图像采集设备在相同采集周期内针对手势展示区域采集的红外图像，其中，所述多个图像采集设备从不同角度对所述手势展示区域内展示的目标手势进行拍摄；基于预先建立的关键点检测模型，从每一红外图像中确定出所述目标手势中手部关键点的检测位置信息及检测语义信息，其中，所述预先建立的关键点检测模型为：至少基于标注有样本手部关键点的色彩样本图像训练所得的模型；基于每一手部关键点的检测语义信息或红外图像对应的图像采集设备的设备位姿信息和设备内参信息，对所述红外图像进行分组，得到至少一组红外图像组；利用每一红外图像组对应的检测语义信息所对应手部关键点的检测位置信息，及每一检测语义信息所对应手部关键点对应的设备位姿信息和设备内参信息，确定出目标检测语义信息所对应手部关键点对应的目标空间位置信息；针对每一目标检测语义信息，基于该目标检测语义信息所对应手部关键点对应的目标空间位置信息以及每一红外图像对应的设备位姿信息和设备内参信息，确定每一红外图像中该目标检测语义信息所对应手部关键点的标注位置信息。2.如权利要求1所述的方法，其特征在于，所述基于每一手部关键点的检测语义信息或红外图像对应的图像采集设备的设备位姿信息和设备内参信息，对所述红外图像进行分组，得到至少一组红外图像组的步骤，通过如下两种实现方式中的任一种实现方式实现：第一种实现方式：针对每一检测语义信息，将包含对应该检测语义信息的手部关键点的红外图像，划分为一组，得到至少一组红外图像组；第二种实现方式：基于红外图像对应的图像采集设备的设备位姿信息，将所对应图像采集设备位置相邻的多个红外图像，划分为一组，得到至少一组红外图像组。3.如权利要求2所述的方法，其特征在于，在针对每一检测语义信息，将包含对应该检测语义信息的手部关键点的红外图像，划分为一组的情况下；所述利用每一红外图像组对应的检测语义信息所对应手部关键点的检测位置信息，及每一检测语义信息所对应手部关键点对应的设备位姿信息和设备内参信息，确定出目标检测语义信息所对应手部关键点对应的目标空间位置信息的步骤，包括：针对每一红外图像组，利用该红外图像组中的每N帧红外图像中，该红外图像组对应的检测语义信息所对应手部关键点的检测位置信息，以及该N帧红外图像对应的设备位姿信息和设备内参信息，确定该检测语义信息所对应手部关键点对应的第一三维位置信息，N为不小于2的任一整数；针对每一红外图像组，利用该红外图像组对应的检测语义信息所对应手部关键点对应的第一三维位置信息，以及该检测语义信息所对应手部关键点的检测位置信息及其对应的设备位姿信息和设备内参信息，确定出目标语义信息及其对应的手部关键点对应的目标空间位置信息。4.如权利要求3所述的方法，其特征在于，所述利用该红外图像组对应的检测语义信息所对应手部关键点对应的第一三维位置信息，以及该检测语义信息所对应手部关键点的检测位置信息及其对应的设备位姿信息和设备内参信息，确定出目标语义信息及其对应的手
部关键点对应的目标空间位置信息的步骤，包括：针对该红外图像组对应的检测语义信息所对应手部关键点对应的每一第一三维位置信息，利用该第一三维位置信息，以及该检测语义信息所对应手部关键点对应的设备位姿信息和设备内参信息，确定该第一三维位置信息所对应空间点在该红外图像组中每一红外图像中的第一投影位置信息；针对该红外图像组对应的检测语义信息所对应手部关键点对应的每一第一三维位置信息，利用该第一三维位置信息所对应空间点在该红外图像组中每一红外图像中的第一投影位置信息，以及该检测语义信息所对应手部关键点的检测位置信息，确定该第一三维位置信息对应的重投影误差；针对每一第一三维位置信息，判断该第一三维位置信息对应的最小重投影误差，是否不高于预设重投影误差阈值；在判断该第一三维位置信息对应的最小重投影误差，不高于预设重投影误差阈值的情况下，确定该第一三维位置信息对应的检测语义信息为目标检测语义信息，并将该对应最小重投影误差的第一三维位置信息，确定为该目标检测语义信息对应的手部关键点对应的目标空间位置信息。5.如权利要求2所述的方法，其特征在于，所述用每一红外图像组对应的检测语义信息所对应手部关键点的检测位置信息，及每一检测语义信息所对应手部关键点对应的设备位姿信息和设备内参信息，确定出目标检测语义信息所对应手部关键点对应的目标空间位置信息的步骤，包括：针对每一红外图像组，执行如下步骤A-H，以确定出目标检测语义信息所对应手部关键点对应的目标空间位置信息；步骤A：基于该红外图像组的每一当前的红外图像中、该红外图像组对应的检测语义信息所对应手部关键点的检测位置信息，以及每一当前的红外图像对应的设备位姿信息和设备内参信息，确定该红外图像组对应的检测语义信息所对应手部关键点对应的当前三维位置信息；步骤B：基于该红外图像组对应的检测语义信息所对应手部关键点对应的当前三维位置信息，以及每一当前的红外图像对应的设备位姿信息和设备内参信息，确定该红外图像组所对应当前三维位置信息对应的空间点、在每一当前的红外图像中的投影点的第二投影位置信息；步骤C：针对该红外图像组的每一当前的红外图像，基于该当前的红外图像中该红外图像组对应的检测语义信息所对应手部关键点的检测位置信息，以及该红外图像组所对应当前三维位置信息对应的空间点、在该当前的红外图像中的第二投影位置信息，确定该当前的红外图像对应的重投影误差；步骤D：针对该红外图像组，判断该红外图像组的当前的红外图像对应的重投影误差中，是否存在超过预设误差阈值的重投影误差；步骤E：若判断该红外图像组的当前的红外图像对应的重投影误差中，不存在...

【专利技术属性】
技术研发人员：顾阳，王晋玮，杨德尧，左钟融，张册，刘运泽，
申请(专利权)人：初速度苏州科技有限公司，
类型：发明
国别省市：