一种基于标记点轨迹跟踪的手持激光三维扫描方法及设备技术

一种基于单摄像头标记点轨迹跟踪的手持激光三维扫描方法，包括以下步骤：1)在单个摄像头拍摄的图像中识别提取标记点的二维位置信息，根据之前设定数量帧中标记点的运动轨迹预判得到当前帧中的目标位置，再在目标位置周围搜索得出其对应标记点，建立当前帧中的标记点与原标记点库的初步匹配关系；2)利用所述初步匹配关系计算出仪器当前相对坐标系Oc到世界坐标Ow的RT转换矩阵，利用重投影方法对之前的初步匹配关系进行校验；3)在当前帧图像中提取激光投影轮廓，通过RT转换矩阵转换为世界坐标系Ow下的三维坐标。以及一种手持激光三维扫描设备。本发明专利技术降低对系统硬件配置的要求、移动拼接时的顺畅性良好、精度较高、成本较低。

【技术实现步骤摘要】
一种基于标记点轨迹跟踪的手持激光三维扫描方法及设备
本专利技术属于三维扫描
，涉及一种手持激光三维扫描方法及设备。
技术介绍
目前已有的双摄像头手持扫描技术(如加拿大形创有限公司《三维扫描自动参考系统和设备》，专利技术专利申请号：200680014069.3；沈阳雅克科技有限公司《一种手持式三维型面信息提取方法及提取仪》，专利技术专利申请号:201010173849.0)均利用经过标定的双摄像头分别对被测物体进行图形采集，并分别提取图像中的特征标记点进行立体视觉匹配，重构左右摄像头共同视野内的标记点在仪器坐标系下的三维坐标及拓扑结构，利用这些标记点的拓扑结构与在世界坐标系中已知标记点库(已知标记点库可以是先前扫描获得，也可以是通过其他方法，如摄影测量法，预先扫描得到的标记点集合)进行匹配，如果匹配成功就可以反推出当前仪器的位置及姿态参数。在得出当前仪器的位置姿态信息后可以使用两种方法来获得投影到被测物体上激光线的三维坐标：1)可以利用某个摄像头拍摄的图像中提取激光轮廓线，并根据已标定好的该摄像头与线状激光发生器所发射激光面的位置关系获得激光轮廓线在仪器坐标系下的三维坐标。2)可以利用两个摄像头获得的两幅图像中提取激光轮廓线，采用与处理标记点类似的方法进行立体视觉匹配得到激光轮廓线的三维的坐标值。上述原理描述了两个摄像头一次同步曝光采集图像的处理过程，由于手持激光三维扫描仪进行的是六自由度移动的非接触式扫描，被测物体表面在摄像头的视野范围内连续移动时需要实现仪器不同位置和角度所获得的物体表面标记点三维拓扑结构与已知标记点库内的标记点拓扑结构进行连续循环匹配，如果有增加则更新标记点库。上述激光扫描的方法可以实现以手持方式对被测物体非接触任意角度的扫描，但由于被扫描的中大型物体(如汽车外轮廓、汽轮机叶片等)可能贴有几百个甚至上千个标记点，扫描仪每秒几十次曝光所采集的每一帧图案中的标记点均需要与已记录标记点库中的所有标记点的拓扑结构进行一一匹配：计算当前帧中每个标记点与周围标记点的拓扑关系(距离和角度)并逐个与标记点库中的每个标记点进行对比，匹配过程需消耗大量的CPU运算时间。另外为防止图像运动模糊以及保证激光投影轮廓线在物体表面移动的连贯性，手持扫描的方式对摄像头的曝光时间和频率有一定的要求，一般曝光时间为几毫秒、曝光频率为几十赫兹，因此计算机需要在几毫秒的时间内完成对两幅图像的标记点识别、两幅图像上识别出的标记点相互匹配获得共同视野标记点集合的相对三维坐标以及与标记点库匹配获得共同视野标记点集合的世界坐标从而计算出仪器的位置和形态，还需要识别激光轮廓线以及轮廓线上的激光点的坐标变换等运算。所以需要有很高配置的计算机作为仪器的运算单元以支持其扫描时的实时运算(目前市场上一款主流手持激光扫描仪配套笔记本电脑的标准配置需要4核8线程CPU以及8G内存，在扫描时其CPU占用率超过95％)，如此高的CPU性能要求制约了其微型化和轻量化，无法使用性能较弱的嵌入式CPU与微型摄像头作为扫描仪的运算和采集部件，阻碍了该原理的手持三维扫描技术在民用消费领域和智能感知领域的进一步扩展。另外，使用双摄像头三维扫描的被测物体表面的有效检测区域为两个摄像头视野重合的部分，限制了其扫描的范围，特别是在扫描有转角的被测物体表面时，两个成一定角度的摄像头的视野很大程度上被转角对称遮挡，从而减少了同一帧获得的标记点的个数和投射的激光轮廓区域，进而降低了扫描移动拼接的顺畅性，影响了标记点拼接的精度和激光轮廓线的出点速度。
技术实现思路
为了克服已有双摄像头手持扫描技术的系统硬件配置要求较高、移动拼接时的顺畅性较差、精度较低的不足，本专利技术提供了一种降低对系统硬件配置的要求、移动拼接时的顺畅性良好、精度较高、成本较低的基于标记点轨迹跟踪的手持激光三维扫描方法及设备。本专利技术解决其技术问题所采用的技术方案是：一种基于单摄像头标记点轨迹跟踪的手持激光三维扫描方法，所述扫描方法包括以下步骤：1)在单个工作摄像头拍摄的图像中识别提取标记点的二维位置信息，根据之前设定数量帧中标记点的运动轨迹预判得到当前帧中的目标位置，再在目标位置周围搜索得出其对应标记点，建立当前帧中的标记点与原标记点库的初步匹配关系；2)利用当前帧中的标记点与原标记点库的初步匹配关系计算出仪器当前相对坐标系Oc到世界坐标Ow的RT转换矩阵，根据该转换矩阵将标记点库中的对应标记点及其周边邻近标记点重投影到当前帧的二维图像平面坐标系Ot中，对之前的初步匹配关系进行校验，如果整体误差大于系统设定的阀值，则剔除当前标记点集合中与标记点库对应的匹配度最差的标记点，重新迭代计算RT转换矩阵后再进行投影评估；3)在获得仪器当前位置的RT转换矩阵后，在当前帧图像中提取激光投影轮廓并根据已标定好的摄像头与激光器所发射激光面的位置关系，将获得激光投影轮廓点在仪器坐标系Oc下的相对三维坐标通过RT转换矩阵转换为世界坐标系Ow下的三维坐标。进一步，所述扫描方法还包括如下步骤：4)如果当前帧的标记点重投影校验失败，则需要启动另一台相互位置已经过标定的辅助摄像头获得共同视野内的标记点在两个摄像头图像中的二维坐标，根据对极线约束原理得出这些标记点在仪器当前坐标系Oc下的坐标值，再与世界坐标系Ow下的标记点库中的标记点集合进行一一匹配重新得出当前仪器坐标系Oc相对于世界坐标系Ow的RT转换矩阵；在得到仪器的位置信息后关闭辅助摄像头，继续只用原单个工作摄像头通过标记点轨迹跟踪方法获得后续帧的三维轮廓信息。再进一步，所述之前设定数量帧为前两帧或者前三帧图像，利用一次或二次函数分别对前两帧或者前三帧图像中每个标记点的运行轨迹进行拟合，结合该标记点在之前连续多帧图像中的位移速度，计算出每个标记点在当前帧中的预判断目标位置，以该位置作为中心搜索当前帧中周围是否有相应的标记点与之相对应，从而建立当前帧标记点与标记点库的匹配关系。更进一步，所述步骤1)中，将每一帧图像中的标记点二维信息记录在一种允许空节点的非满四叉树中。所述步骤1)中，所述标记点库为预先贴在被测物体表面的标记点在三维世界坐标系Ow下的坐标值组成的标记点库，将标记点库中的标记点三维信息记录在一种允许空节点的非满八叉树中。所述步骤1)中，在开始扫描的原始位置利用已标定好相互位置的辅助摄像头和单个工作摄像头获得同步的两帧起始图像，在两幅图像中得到各自识别出的标记点的二维坐标后再根据对极线约束原理重构出辅助摄像头和单个工作摄像头共同视野范围内的标记点在仪器当前坐标系Oc下的三维坐标位置及拓扑结构。再者，根据这些相对三维坐标系Oc下的标记点拓扑结构与世界坐标系Ow下标记点库中的标记点进行匹配，获得第一帧起始图像中的标记点在世界坐标系Ow中的坐标，并关闭所述辅助摄像头。一种基于单摄像头标记点轨迹跟踪的手持激光三维扫描设备，所述设备包括单个工作摄像头、辅助摄像头、激光发生器、支座、控制电路板、高亮补光发生器以及用于根据获得视频图像后进行标记点轨迹跟踪的轨迹跟踪扫描处理系统，所述单个工作摄像头、辅助摄像头的光轴与激光发生器发射出激光面的交点位于摄像头的最佳景深平面位置，所述单个工作摄像头和辅助摄像头的景深范围为扫描仪的测量深度范围，所述激光发生器的景深范围涵盖扫描仪的测量深度范本文档来自技高网...

【技术保护点】
一种基于单摄像头标记点轨迹跟踪的手持激光三维扫描方法，其特征在于：所述扫描方法包括以下步骤：1)在单个工作摄像头拍摄的图像中识别提取标记点的二维位置信息，根据之前设定数量帧中标记点的运动轨迹预判得到当前帧中的目标位置，再在目标位置周围搜索得出其对应标记点，建立当前帧中的标记点与原标记点库的初步匹配关系；2)利用当前帧中的标记点与原标记点库的初步匹配关系计算出仪器当前相对坐标系Oc到世界坐标Ow的RT转换矩阵，根据该转换矩阵将标记点库中的对应标记点及其周边邻近标记点重投影到当前帧的二维图像平面坐标系Ot中，对之前的初步匹配关系进行校验，如果整体误差大于系统设定的阀值，则剔除当前标记点集合中与标记点库对应的匹配度最差的标记点，重新迭代计算RT转换矩阵后再进行投影评估；3)在获得仪器当前位置的RT转换矩阵后，在当前帧图像中提取激光投影轮廓并根据已标定好的摄像头与激光器所发射激光面的位置关系，将获得激光投影轮廓点在仪器坐标系Oc下的相对三维坐标通过RT转换矩阵转换为世界坐标系Ow下的三维坐标。

【技术特征摘要】
1.一种基于单摄像头标记点轨迹跟踪的手持激光三维扫描方法，其特征在于：所述扫描方法包括以下步骤：1)在单个工作摄像头拍摄的图像中识别提取标记点的二维位置信息，根据之前设定数量帧中标记点的运动轨迹预判得到当前帧中的目标位置，再在目标位置周围搜索得出其对应标记点，建立当前帧中的标记点与原标记点库的初步匹配关系；2)利用当前帧中的标记点与原标记点库的初步匹配关系计算出仪器当前相对坐标系Oc到世界坐标Ow的RT转换矩阵，根据该转换矩阵将标记点库中的对应标记点及其周边邻近标记点重投影到当前帧的二维图像平面坐标系Ot中，对之前的初步匹配关系进行校验，如果整体误差大于系统设定的阀值，则剔除当前标记点集合中与标记点库对应的匹配度最差的标记点，重新迭代计算RT转换矩阵后再进行投影评估；3)在获得仪器当前位置的RT转换矩阵后，在当前帧图像中提取激光投影轮廓并根据已标定好的摄像头与激光器所发射激光面的位置关系，将获得激光投影轮廓点在仪器坐标系Oc下的相对三维坐标通过RT转换矩阵转换为世界坐标系Ow下的三维坐标。2.如权利要求1所述的基于单摄像头标记点轨迹跟踪的手持激光三维扫描方法，其特征在于：所述扫描方法还包括如下步骤：4)如果当前帧的标记点重投影校验失败，则需要启动另一台相互位置已经过标定的辅助摄像头获得共同视野内的标记点在两个摄像头图像中的二维坐标，根据对极线约束原理得出这些标记点在仪器当前坐标系Oc下的坐标值，再与世界坐标系Ow下的标记点库中的标记点集合进行一一匹配重新得出当前仪器坐标系Oc相对于世界坐标系Ow的RT转换矩阵；在得到仪器的位置信息后关闭辅助摄像头，继续只用原单个工作摄像头通过标记点轨迹跟踪方法获得后续帧的三维轮廓信息。3.如权利要求1或2所述的基于单摄像头标记点轨迹跟踪的手持激光三维扫描方法，其特征在于：所述之前设定数量帧为前两帧或者前三帧图像，利用一次或二次函数分别对前两帧或者前三帧图像中每个标记点的运行轨迹进行拟合，结合该标记点在之前连续多帧图像中的位移速度，计算出每个标记点在当前帧中的预判断目标位置，以该位置作为中心搜索当前帧中周围是否有相应的标记点与之相对应，从而建立当前帧标记点与标记点库的匹配关系。4.如权利要求1或2所述的基于单摄像头标记点轨迹跟踪的手持激光三维扫描方法，其特征在于：所述步骤1)中，将每一帧图像中的标记点二维信息记录在一种允许空节点的非满四叉树中。5.如权利要求1或2所述的基于单摄像头标记点轨迹跟踪的手持激光三维扫描方法，其特征在于：所述步骤1)中，所述标记点库为预先贴在被测物体表面的标记点在三维世界坐标系Ow下的坐标值组成的标记点库，将标记点库中的标记点三维信息记录在一种允许空节点的非满八叉树中。6.如权利要求1或2所述的基于单摄像头标记点轨迹跟踪的手持激光三维扫描方法，其特征在于：所述步骤1)中，在开始扫描的原始位置利...

【专利技术属性】
技术研发人员：郑俊，王江峰，陈尚俭，
申请(专利权)人：杭州鼎热科技有限公司，
类型：发明
国别省市：浙江;33