机器人智能指示穴位位置的方法及系统技术方案

本发明专利技术提供了一种机器人智能指示穴位位置的方法及系统，该方法包括：获取人体目标区域的二维图像及深度图像；根据预设的穴位识别算法识别出目标穴位在二维图像上的第一位置，以及计算第一位置在相机坐标系下的三维位置；根据相机与机械臂的空间位置关系，将三维位置转换为机械臂坐标系下的第二位置；根据第二位置生成运动指令以及将运动指令发送至机械臂控制系统，以控制机械臂末端指示出目标穴位的位置。本发明专利技术实施例基于二维图像和深度图像，采用穴位识别算法自动识别目标穴位的位置，提高了穴位检测的稳定性；使用机械臂指示目标穴位位置，提高了点穴的可行性；该方法指示穴位位置的可用性更强，可以广泛应用于现代医疗设备。备。备。

【技术实现步骤摘要】
机器人智能指示穴位位置的方法及系统


[0001]本专利技术涉及人体穴位识别
，具体而言，涉及一种机器人智能指示穴位位置的方法及系统。

技术介绍

[0002]穴位在中医中占有重要地位，是指人体经络线上特殊的点区部位，可以通过针灸或者推拿、点按、艾灸刺激相应的经络点治疗疾病。
[0003]然而各个穴位的位置识别通常具备丰富穴位经验的中医医师完成，这种人体穴位识别方式，其可用性受到极大限制，无法适用于现代医疗设备。

技术实现思路

[0004]为解决上述问题，本专利技术实施例提供一种机器人智能指示穴位位置的方法，所述方法包括：获取人体目标区域的二维图像及深度图像；根据预设的穴位识别算法识别出目标穴位在所述二维图像上的第一位置，以及计算所述第一位置在相机坐标系下的三维位置；根据相机与机械臂的空间位置关系，将所述三维位置转换为机械臂坐标系下的第二位置；根据所述第二位置生成运动指令以及将所述运动指令发送至机械臂控制系统，以控制机械臂末端指示出所述目标穴位的位置。
[0005]可选地，所述预设的穴位识别算法为Hourglass关键点识别算法，所述Hourglass关键点识别算法由包括标注穴位种类及位置的人体穴位图片的数据集训练至模型收敛后得到。
[0006]可选地，所述计算所述第一位置在相机坐标系下的三维位置，包括：查询所述第一位置在所述深度图像中对应的深度值；根据所述第一位置、所述对应的深度值及相机内参计算所述第一位置在相机坐标系下的空间坐标。
[0007]可选地，所述空间坐标的计算公式如下：
[0008][0009]其中，f
x
，f
y
，u0，v0表示相机内参，u，v为目标穴位在二维图像上的第一位置的坐标，(Xc,Yc,Zc)为第一位置在相机坐标系下的空间坐标。
[0010]可选地，所述目标穴位在机械臂坐标系下的变换矩阵如下：
[0011][0012]其中，为机械臂末端相对机械臂基坐标系的变换矩阵，为相机坐标系到机械臂末端的变换齐次矩阵，为目标穴位在相机坐标系下的变换的齐
次矩阵，T
c
＝[Xc,Yc,Zc]t
，R
c
为空间坐标(Xc,Yc,Zc)所在位置的法向量对应的旋转矩阵。
[0013]可选地，所述运动指令为控制所述机械臂末端运行至面对所述目标穴位所在位置，且所述机械臂末端安装的激光器出射的激光垂直照射于所述目标穴位所在位置。
[0014]本专利技术实施例提供一种机器人智能指示穴位位置的系统，所述系统包括：图像采集模块、穴位计算模块及执行模块；所述图像采集模块包括安装于执行机构末端的3D相机，用于采集人体目标区域的二维图像和深度图像；所述穴位计算模块存储有预设的穴位识别算法，用于运行所述预设的穴位识别算法以及计算目标穴位的实际位置；所述执行模块包括运动控制系统及执行机构，所述执行机构末端安装有激光器；所述执行模块用于控制所述执行机构运行至面对所述实际位置，且所述激光器出射的激光垂直照射于所述实际位置。
[0015]可选地，所述穴位计算模块具体用于：获取所述二维图像及所述深度图像；根据所述预设的穴位识别算法识别出目标穴位在所述二维图像上的第一位置，以及计算所述第一位置在相机坐标系下的三维位置；根据相机与机械臂的空间位置关系，将所述三维位置转换为机械臂坐标系下的第二位置；根据所述第二位置生成运动指令以及将所述运动指令发送至运动控制系统，以控制所述执行机构的激光器指示出所述目标穴位的位置。
[0016]可选地，所述预设的穴位识别算法为Hourglass关键点识别算法，所述Hourglass关键点识别算法由包括标注穴位种类及位置的人体穴位图片的数据集训练至模型收敛后得到。
[0017]可选地，所述穴位计算模块具体用于：查询所述第一位置在所述深度图像中对应的深度值；根据所述第一位置、所述对应的深度值及相机内参计算所述第一位置在相机坐标系下的空间坐标。
[0018]本专利技术实施例基于二维图像和深度图像，采用穴位识别算法自动识别目标穴位的位置，提高了穴位检测的稳定性；使用机械臂指示目标穴位位置，提高了点穴的可行性；该方法指示穴位位置的可用性更强，可以广泛应用于现代医疗设备。
附图说明
[0019]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
[0020]图1为本专利技术实施例中一种机器人智能指示穴位位置的方法的示意性流程图；
[0021]图2为本专利技术实施例中穴位识别定位的示意性流程图；
[0022]图3为本专利技术实施例中一种机器人智能指示穴位位置的系统的结构示意图。
具体实施方式
[0023]为使本专利技术的上述目的、特征和优点能够更为明显易懂，下面结合附图对本专利技术的具体实施例做详细的说明。应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。
[0024]本专利技术实施例结合图像采集、神经网络和机器人技术，实现了穴位自动识别，机器
人自动指示穴位，即在三维空间中指示出指定穴位，无需人工干预。
[0025]本专利技术实施例提供一种机器人智能指示穴位位置的系统，该系统包括：图像采集模块、穴位计算模块及执行模块。
[0026]图像采集模块，包括安装于执行机构末端的3D相机，用于采集人体目标区域的二维图像和深度图像；该二维图像可以是彩色图像。
[0027]穴位计算模块，存储有预设的穴位识别算法，用于运行预设的穴位识别算法以及计算目标穴位的实际位置；
[0028]执行模块，包括运动控制系统及执行机构，执行机构末端安装有激光器；执行模块用于控制执行机构运行至面对实际位置，且激光器出射的激光垂直照射于实际位置。示例性地，执行机构采用7关节的机械臂，在机械臂末端携带激光笔。
[0029]图1是本专利技术实施例中一种机器人智能指示穴位位置的方法的示意性流程图，该方法可以应用于上位机，包括以下步骤：
[0030]S102，获取人体目标区域的二维图像及深度图像。
[0031]上述3D相机在预先选择的包括目标穴位的部位。以上肢部位为例，可以包含脸部，胳膊正反两面。采集该部位的彩色图片和深度图像返回给上位机。
[0032]S104，根据预设的穴位识别算法识别出目标穴位在二维图像上的第一位置，以及计算第一位置在相机坐标系下的三维位置。
[0033]可选地，该预设的穴位识别算法为Hourglass关键点识别算法。该Hourglass关键点识别算法由包括标注穴位种类及位置的人体穴位图片的数据集训练至模型收敛后得到。
[0034]在识别得到二维图像上的第一位置后，即可查询该第一位置在上述深度图像中对应的深度值，然后可根据该第一位置、对应的深度值及相机本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种机器人智能指示穴位位置的方法，其特征在于，所述方法包括：获取人体目标区域的二维图像及深度图像；根据预设的穴位识别算法识别出目标穴位在所述二维图像上的第一位置，以及计算所述第一位置在相机坐标系下的三维位置；根据相机与机械臂的空间位置关系，将所述三维位置转换为机械臂坐标系下的第二位置；根据所述第二位置生成运动指令以及将所述运动指令发送至机械臂控制系统，以控制机械臂末端指示出所述目标穴位的位置。2.根据权利要求1所述的方法，其特征在于，所述预设的穴位识别算法为Hourglass关键点识别算法，所述Hourglass关键点识别算法由包括标注穴位种类及位置的人体穴位图片的数据集训练至模型收敛后得到。3.根据权利要求1所述的方法，其特征在于，所述计算所述第一位置在相机坐标系下的三维位置，包括：查询所述第一位置在所述深度图像中对应的深度值；根据所述第一位置、所述对应的深度值及相机内参计算所述第一位置在相机坐标系下的空间坐标。4.根据权利要求3所述的方法，其特征在于，所述空间坐标的计算公式如下：其中，f
x
，f
y
，u0，v0表示相机内参，u，v为目标穴位在二维图像上的第一位置的坐标，(Xc,Yc,Zc)为第一位置在相机坐标系下的空间坐标。5.根据权利要求3所述的方法，其特征在于，所述目标穴位在机械臂坐标系下的变换矩阵如下：其中，为机械臂末端相对机械臂基坐标系的变换矩阵，为相机坐标系到机械臂末端的变换齐次矩阵，为目标穴位在相机坐标系下的变换的齐次矩阵，T
c
＝[Xc,YC,ZC]
t
，R
c
为空间坐标(Xc,Yc,Zc)所在位置的法向量对应的旋转...

【专利技术属性】
技术研发人员：陶世文，陈兆芃，黎田，周佳，王在进，刘菲，周天航，李锋，别东洋，
申请(专利权)人：北京思灵机器人科技有限责任公司，
类型：发明
国别省市：