一种手持激光辅助双目扫描装置及方法制造方法及图纸

本发明专利技术公开了一种手持激光辅助双目扫描装置及方法，属于光电测量技术领域，所述装置包括手持架、设于手持架上的主控器和双目摄像头、转动设于手持架上的旋转基座、设于旋转基座上的转接座、以及设于转接座上的激光测距模块和振镜模块；所述方法包括通过神经网络模型对双目摄像头和激光测距模块的标定，像素坐标、激光坐标和相机坐标的对应关系构建，以及利用激光的三维测量。本发明专利技术结构简单、设计科学合理，使用方便，去除了双目系统由于摄像头位置变化等因素引入的标定困难和重复标定等问题，可以在任何时候实现自动标定，特别解决了产品出厂后发生位置偏移后，必须返厂进行重新标定的问题。新标定的问题。新标定的问题。

【技术实现步骤摘要】
一种手持激光辅助双目扫描装置及方法


[0001]本专利技术属于光电测量
，具体涉及一种手持激光辅助双目扫描装置及方法。

技术介绍

[0002]目前应用的手持测距辅助双目扫描系统采用固定摄像头、固定摄像头与摄像头间距可调等安装方式。出厂前均需要对双目摄像头的位置及辅助的测距模块位置等进行标定，过程相当的繁琐，生产成本高，特别是在出厂后，摄像头或辅助测距模块的位置发生偏移后，客户无法自行标定，必须返厂，系统稳定性低、维护成本高，成为所属
技术人员亟待解决的技术问题。
[0003]基于上述缺点，本专利技术提出了一种手持激光辅助双目扫描装置及方法，依靠装置本身结构及自动标定方法实现了设备随时自动标定，避免了标定过程繁琐、费时、成本高和需要专业人员操作等限制条件，同时解决了由系统部件位置发生变化带来的稳定性问题，降低了系统维护时间和成本，可在每次测量前都进行标定，有效提升了系统的稳定性和测量精度。

技术实现思路

[0004]本专利技术要解决的技术问题是：提供一种手持激光辅助双目扫描装置及方法，解决现有测距辅助双目扫描装置标定过程繁琐、费时、成本高和需要专业人员操作以及系统稳定性差等缺点技术问题。
[0005]为实现上述目的，本专利技术采用的技术方案如下：一种手持激光辅助双目扫描装置，包括手持架、设于手持架上的主控器和双目摄像头、转动设于手持架上的旋转基座、设于旋转基座上的转接座、以及设于转接座上的激光测距模块和振镜模块，所述主控器分别与双目摄像头、激光测距模块和振镜模块相连接，所述激光测距模块的激光出射口对准振镜模块的入射口。
[0006]进一步地，所述双目摄像头包括分别位于旋转基座两侧的第一摄像头和第二摄像头；第一摄像头和第二摄像头的视场合并，形成视场覆盖区；第一摄像头和第二摄像头的视场部分重叠，形成视场重叠区，视场重叠区覆盖被测墙面；所述振镜模块投射的激光点覆盖区域大于所述视场重叠区。
[0007]进一步地，所述旋转基座连接有用于驱动旋转基座转动的驱动机构，驱动机构与主控器相连接。
[0008]进一步地，所述旋转基座上设有角传感器，角传感器与主控器相连接。
[0009]进一步地，所述手持架包括手持杆和与手持杆相连接的底座。
[0010]一种手持激光辅助双目扫描装置的扫描方法，包括以下步骤：步骤1、主控器控制激光测距模块产生标定激光，标定激光经振镜模块折转并投射
到被测墙面，形成标定激光点；步骤2、双目摄像头采集标定激光点的墙面图像，形成对应的标定图像，激光测距模块依次产生分布于标定图像各个位置的激光点，双目摄像头采集各激光点对应的墙面图像形成训练图像并传输至主控器中，基于训练图像构建神经网络模型并训练；步骤3、神经网络模型检测各激光点在对应训练图像中的像素坐标，并提取各激光点在激光测距模块中对应的激光坐标，基于一一对应的像素坐标和激光坐标，对双目摄像头和激光测距模块进行标定；步骤4、双目摄像头和激光测距模块经神经网络模型标定后，控制器不断调整振镜模块的投射坐标和旋转基座的位置，直至确定双目摄像头的视场重叠区的边界和视场覆盖区的边界，记录所述过程中所有激光点对应图像的像素坐标、激光测距模块的激光坐标和双目摄像头的相机坐标，并建立三者的对应关系；步骤5、主控器控制双目摄像头对被测墙面进行拍照，得到双目图像B并反馈至主控器得到双目图像B的像素坐标，根据所述对应关系，主控器控制激光测距模块产生重建激光，重建激光经振镜模块折转投射到双目图像B一个像素坐标对应的被测墙面位置形成重建激光点，由双目摄像头拍下对应的双目图像C并计算重建激光点的距离，主控器重复以上过程直至得到双目图像B上每个像素坐标对应重建激光点的双目图像C和距离，完成被测墙面三维信息的重建。
[0011]进一步地，所述神经网络模型构建和训练包括：步骤A、利用labelme软件对各训练图像进行标注，获得对应激光点的像素坐标标签，然后利用高斯核函数计算激光点像素坐标周围的像素值，得到标注热力图；将所有标注热力图按照2:8的比例进行随机分类，其中80%用于神经网络模型训练，20%用于神经网络模型测试；步骤B、利用ResNet50模型提取各训练图像特征得到特征图，再通过反卷积将特征图恢复到训练图像的原尺寸，得到神经网络模型的预测热力图；步骤C、利用focal loss损失函数，评价预测热力图与标注热力图的差异，得到损失值，步骤D、利用随机梯度下降法SGD，用80%的标注热力图对神经网络模型进行反复迭代训练，每一轮训练后用剩余20%的标注热力图验证神经网络模型的检测精度，直到损失值、检测精度趋于平稳，获得最优的神经网络模型。
[0012]进一步地，所述高斯核函数为：，其中（p
x
，p
y
）为标注所得的激光点的像素坐标、（x，y）为（p
x
，p
y
）周围半径R的像素坐标、为标准差；所述focal loss损失函数为：，其中N为图像分辨率、Y为标注热力图中各点的概率值，预测热力图中各点的概率值；为超参数。
[0013]进一步地，所述步骤3包括：步骤31、从不同角度拍摄10
‑
20张贴于墙面上的平面棋
盘格的图像，利用张正友标定法，获得双目摄像头的相机内参矩阵；步骤32、利用双目摄像头的相机内参矩阵，由最优的神经网络模型将训练图像中激光点的像素坐标投影到双目摄像头的相机坐标系下，采用PnP算法得到激光测距模块与双目摄像头的外参矩阵。
[0014]进一步地，所述双目图像A包括第一双目图像A和第二双目图像A；标定激光点在双目图像A中的位置包括：标定激光点同时出现在第一双目图像A和第二双目图像A，标定激光点出现在第一双目图像A或第二双目图像A，标定激光点不出现在第一双目图像A和第二双目图像A；双目图像B包括第一双目图像B和第二双目图像B，双目图像C包括第一双目图像C和第二双目图像C。
[0015]与现有技术相比，本专利技术具有以下有益效果：本专利技术结构简单、设计科学合理，使用方便，去除了双目系统由于摄像头位置变化等因素引入的标定困难和重复标定等问题，可以在任何时候实现自动标定，特别解决了产品出厂后发生位置偏移后，必须返厂进行重新标定的问题。
附图说明
[0016]图1为本专利技术正面示意图。
[0017]图2为本专利技术背面示意图。
[0018]图3为本专利技术激光发射和成像示意图。
[0019]图4为本专利技术双目摄像头和激光光斑覆盖墙面的面积示意图。
[0020]其中，附图标记对应的名称为：1
‑
双目摄像头、2
‑
主控器、3
‑
激光测距模块、4
‑
振镜模块、5
‑
旋转基座、6
‑
转接座、7
‑
手持架、9
‑
被测墙面、10
‑
激光覆盖区域、11
‑
第一摄像头、12
‑
第二摄像头、13
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种手持激光辅助双目扫描装置，其特征在于，包括手持架（7）、设于手持架（7）上的主控器（2）和双目摄像头（1）、转动设于手持架（7）上的旋转基座（5）、设于旋转基座（5）上的转接座（6）、以及设于转接座（6）上的激光测距模块（3）和振镜模块（4），所述主控器（2）分别与双目摄像头（1）、激光测距模块（3）和振镜模块（4）相连接，所述激光测距模块（3）的激光出射口对准振镜模块（4）的入射口。2.根据权利要求1所述的一种手持激光辅助双目扫描装置，其特征在于，所述双目摄像头（1）包括分别位于旋转基座（5）两侧的第一摄像头（11）和第二摄像头（12）；第一摄像头（11）和第二摄像头（12）的视场合并，形成视场覆盖区；第一摄像头（11）和第二摄像头（12）的视场部分重叠，形成视场重叠区，视场重叠区覆盖被测墙面；所述振镜模块（4）投射的激光点覆盖区域大于所述视场重叠区。3.根据权利要求1所述的一种手持激光辅助双目扫描装置，其特征在于，所述旋转基座（5）连接有用于驱动旋转基座（5）转动的驱动机构，驱动机构与主控器（2）相连接。4.根据权利要求1所述的一种手持激光辅助双目扫描装置，其特征在于，所述旋转基座（5）上设有角传感器，角传感器与主控器（2）相连接。5.根据权利要求1所述的一种手持激光辅助双目扫描装置，其特征在于，所述手持架（7）包括手持杆（71）和与手持杆（71）相连接的底座（72）。6.一种手持激光辅助双目扫描装置的扫描方法，其特征在于，包括以下步骤：步骤1、主控器控制激光测距模块产生标定激光，标定激光经振镜模块折转并投射到被测墙面，形成标定激光点；步骤2、双目摄像头采集标定激光点的墙面图像，形成对应的标定图像，激光测距模块依次产生分布于标定图像各个位置的激光点，双目摄像头采集各激光点对应的墙面图像形成训练图像并传输至主控器中，基于训练图像构建神经网络模型并训练；步骤3、神经网络模型检测各激光点在对应训练图像中的像素坐标，并提取各激光点在激光测距模块中对应的激光坐标，基于一一对应的像素坐标和激光坐标，对双目摄像头和激光测距模块进行标定；步骤4、双目摄像头和激光测距模块经神经网络模型标定后，控制器不断调整振镜模块的投射坐标和旋转基座的位置，直至确定双目摄像头的视场重叠区的边界和视场覆盖区的边界，记录所述过程中所有激光点对应图像的像素坐标、激光测距模块的激光坐标和双目摄像头的相机坐标，并建立三者的对应关系；步骤5、主控器控制双目摄像头对被测墙面进行拍照，得到双目图像B并反馈至主控器得到双目图像B的像素坐标，根据所述对应关系，主控器控制激光测距模块产生重建激光，重建激光经振镜模块折转投射到双目图像B一个像素坐标对应的被测墙面...

【专利技术属性】
技术研发人员：李杨，戴忠余，
申请(专利权)人：成都量芯集成科技有限公司，
类型：发明
国别省市：