一种基于多源视觉的全自动脊柱超声扫描方法技术

本发明专利技术公开了一种基于多源视觉的全自动脊柱超声扫描方法，步骤如下：使用RGB

【技术实现步骤摘要】
一种基于多源视觉的全自动脊柱超声扫描方法


[0001]本专利技术涉及全自动超声扫描领域，尤其是人体脊柱的全自动超声扫描，更具体地涉及一种基于多源视觉的全自动脊柱超声扫描方法。

技术介绍

[0002]脊柱是承受人体活动的重要结构。目前对于脊柱状态的观测，常用的影像学方法有X光成像、CT成像、超声成像技术等。
[0003]其中，虽然X光成像和CT成像清晰，但也不可避免地会使人体收到电离辐射。超声成像凭借其无辐射且便捷的优点也被应用于脊柱的扫描与状态观测中。在脊柱自由臂超声扫描中，需要经过训练的高素质超声医生通过手持探头对脊柱进行扫描，而且长期的重复操作会导致医生患职业病的风险增大。因此使用脊柱超声机器人系统辅助医生自动完成脊柱扫描至为重要。
[0004]现今利用机器人完成脊柱的超声扫描主要是通过单源视觉来实现的，实现的方式主要是两种：1)使用RGB
‑
D传感器获取人体背部图像，并在RGB图像上凭借人体背部脊柱区域的凹痕自动预规划扫描路径，再使用深度图像确定扫描时超声探头的姿态，进而完成脊柱的扫描。这种方法依赖于被扫描对象的体型与脊柱区域凹痕的明显程度，可能会导致不完整或者错误的扫描路径。且脊柱的超声成像质量无法在扫描中得到评估，可能会在扫描中丢失脊柱的视野。2)使用超声图像在扫描中自动定位椎骨的位置，并结合力传感器确定超声探头的姿态，从而完成对脊柱的扫描。但这种方式需要手动确定初始扫描点，无法完成全自动的扫描。且忽视了人体背部丰富的三维信息，使探头姿态的计算流程复杂化。
[0005]总之，目前的脊柱超声机器人扫描方式存在一定的局限性。无法充分使用多源视觉的信息来实现脊柱的全自动超声扫描。

技术实现思路

[0006]本专利技术的目的是为了解决现有技术中的上述缺陷，提供一种基于多源视觉的全自动脊柱超声扫描方法，融合RGB图像、深度图像和超声图像等多源视觉信息，完成对脊柱超声自动扫描的导航。
[0007]本专利技术的目的可以通过采取如下技术方案达到：
[0008]一种基于多源视觉的全自动脊柱超声扫描方法，应用于由RGB
‑
D传感器、六自由度机械臂、超声平台和个人电脑构建组成的系统，所述超声扫描方法包括如下步骤：
[0009]S1、使用TCP/IP协议实现机械臂与个人电脑、超声平台与个人电脑之间的通信连接，为RGB
‑
D传感器建立坐标系并定义为坐标系K，为RGB
‑
D传感器拍摄得到的RGB图像建立坐标系并定义为坐标系I，为超声图像建立坐标系并定义为坐标系B，为机械臂的底座建立坐标系并定义为坐标系R，为机械臂的末端建立坐标系并定义为坐标系G，使用机械臂夹持超声平台中的探头，并完成探头与机械臂的末端之间的校准、RGB
‑
D传感器与机械臂的底座之间的校准；
[0010]S2、使用RGB
‑
D传感器获取人体背部RGB图像与深度图像，根据人体背部RGB图像和深度图像获得人体背部区域的三维点云，并计算得到扫描点总数J和初始扫描点位置即扫描一共需在J个扫描点位置处进行扫描；
[0011]S3、在扫描开始后，通过多任务深度神经网络Multi
‑
task VGG11
‑
FPN分析超声图像，对超声图像进行视图分类与椎骨关键点检测，得到超声图像的视图类别信息，并得到超声图像中椎骨关键点的坐标；
[0012]S4、根据超声探头放置于第j个扫描点位置获得的超声图像，基于多源视觉融合算法计算第j+1个扫描点位置和机械臂姿态，机械臂根据计算结果对第j+1个扫描点进行扫描，直至完成J个扫描点的扫描；
[0013]S5、扫描结束后，综合各扫描点位置、各扫描点的机械臂姿态各扫描点超声图像的视图分类信息与椎骨关键点检测信息，展示自动扫描获得的脊柱信息。
[0014]进一步地，所述步骤S1中根据交叉线实验，通过计算坐标系B到坐标系G的转换矩阵
G
T
B
完成探头与机械臂的末端之间的校准；根据棋盘校准与Levenberg
‑
Marquardt算法，通过计算坐标系R到坐标系K的转换矩阵
K
T
R
和坐标系K到坐标系R的转换矩阵
R
T
K
完成RGB
‑
D传感器与机械臂的底座之间的校准；利用RGB
‑
D传感器中红外摄像机的焦距计算坐标系I到坐标系K的转换矩阵
K
T
I
和坐标系K到坐标系I的转换矩阵
I
T
K
；从机械臂控制器中读取获得坐标系G到坐标系R的转换矩阵
R
T
G
；
[0015]通过下式实现超声图像坐标系B到RGB图像坐标系I的转换：
[0016]P
I
＝(x
I
,y
I
)＝
I
T
KK
T
RR
T
GG
T
B
P
B
[0017]其中，P
B
表示在坐标系B下的某一点的坐标，P
I
表示P
B
转换到坐标系I后的坐标，x
I
为P
I
在坐标系I中x轴上的坐标，y
I
为P
I
在坐标系I中y轴上的坐标；
[0018]通过下式实现RGB图像坐标系I与机械臂底座坐标系R的转换：
[0019]P
R
＝
R
T
KK
T
I
P
I
[0020]其中，P
I
表示在坐标系I下的坐标，P
R
表示P
I
转换到坐标系R后的坐标。
[0021]通信连接和校准完成后，系统中各组件便能通过各坐标系中坐标的相互转换顺利实现协同工作。
[0022]进一步地，所述步骤S2中，提取人体背部RGB图像中颜色分量R>G>B的像素集合，计算上述像素集合中最大连通区域，并将最大连通区域作为人体背部区域，利用转换矩阵
K
T
I
将该人体背部区域转换成坐标系K下的三维点云4、根据权利要求3所述的一种基于多源视觉的全自动脊柱超声扫描方法，其特征在于，用x
min
、x
max
、y
min
和y
max
分别表示人体背部区域在坐标系I中x轴和y轴上的最小与最大坐标，通过计算得到在坐标系I下的初始扫描点再通过坐标系I与坐标系R的转换关系将坐标系I下的初始扫描点转换为在坐标系R下的初始扫描点从而得到初始扫描点位置，最后通过J＝x
max
‑
x
min<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多源视觉的全自动脊柱超声扫描方法，应用于由RGB
‑
D传感器、六自由度机械臂、超声平台和个人电脑构建组成的系统，其特征在于，所述超声扫描方法包括如下步骤：S1、使用TCP/IP协议实现机械臂与个人电脑、超声平台与个人电脑之间的通信连接，为RGB
‑
D传感器建立坐标系并定义为坐标系K，为RGB
‑
D传感器拍摄得到的RGB图像建立坐标系并定义为坐标系I，为超声图像建立坐标系并定义为坐标系B，为机械臂的底座建立坐标系并定义为坐标系R，为机械臂的末端建立坐标系并定义为坐标系G，使用机械臂夹持超声平台中的探头，并完成探头与机械臂的末端之间的校准、RGB
‑
D传感器与机械臂的底座之间的校准；S2、使用RGB
‑
D传感器获取人体背部RGB图像与深度图像，根据人体背部RGB图像和深度图像获得人体背部区域的三维点云，并计算得到扫描点总数J和初始扫描点位置即扫描一共需在J个扫描点位置处进行扫描；S3、在扫描开始后，通过多任务深度神经网络Multi
‑
task VGG11
‑
FPN分析超声图像，对超声图像进行视图分类与椎骨关键点检测，得到超声图像的视图类别信息，并得到超声图像中椎骨关键点的坐标；S4、根据超声探头放置于第j个扫描点位置获得的超声图像，基于多源视觉融合算法计算第j+1个扫描点位置和机械臂姿态，机械臂根据计算结果对第j+1个扫描点进行扫描，直至完成J个扫描点的扫描；S5、扫描结束后，综合各扫描点位置、各扫描点的机械臂姿态各扫描点超声图像的视图分类信息与椎骨关键点检测信息，展示自动扫描获得的脊柱信息。2.根据权利要求1所述的一种基于多源视觉的全自动脊柱超声扫描方法，其特征在于，所述步骤S1中根据交叉线实验，通过计算坐标系B到坐标系G的转换矩阵
G
T
B
完成探头与机械臂的末端之间的校准；根据棋盘校准与Levenberg
‑
Marquardt算法，通过计算坐标系R到坐标系K的转换矩阵
K
T
R
和坐标系K到坐标系R的转换矩阵
R
T
K
完成RGB
‑
D传感器与机械臂的底座之间的校准；利用RGB
‑
D传感器中红外摄像机的焦距计算坐标系I到坐标系K的转换矩阵
K
T
I
和坐标系K到坐标系I的转换矩阵
I
T
K
；从机械臂控制器中读取获得坐标系G到坐标系R的转换矩阵
R
T
G
；通过下式实现超声图像坐标系B到RGB图像坐标系I的转换：P
I
＝(x
I
,y
I
)＝
I
T
KK
T
RR
T
GG
T
B
P
B
其中，P
B
表示在坐标系B下的某一点的坐标，P
I
表示P
B
转换到坐标系I后的坐标，x
I
为P
I
在坐标系I中x轴上的坐标，y
I
为P
I
在坐标系I中y轴上的坐标；通过下式实现RGB图像坐标系I与机械臂底座坐标系R的转换：P
R
＝
R
T
KK
T
I
P
I
其中，P
I
表示在坐标系I下的坐标，P
R
表示P
I
转换到坐标系R后的坐标。3.根据权利要求2所述的一种基于多源视觉的全自动脊柱超声扫描方法，其特征在于，所述步骤S2中，提取人体背部RGB图像中颜色分量R&gt;G&gt;B的像素集合，计算上述像素集合中最大连通区域，并将最大连通区域作为人体背部区域，利用转换矩阵
K
T
I
将该人体背部区域转换成坐标系K下的三维点云。
4.根据权利要求3所述的一种基于多源视觉的全自动脊柱超声扫描方法，其特征在于，用x
min
、x
max
、y
min
和y
max
分别表示人体背部区域在坐标系I中x轴和y轴上的最小与最大坐标，通过计算得到在坐标系I下的初始扫描点再通过坐标系I与坐标系R的转换关系将坐标系I下的初始扫描点转换为在坐标系R下的初始扫描点从而得到初始扫描点位置，最后通过J＝x
max
‑
x
min
计算扫描点总数。5.根据权利要求4所述的一种基于多源视觉的全自动...

【专利技术属性】
技术研发人员：杨萃，陈棉杰，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：