【技术实现步骤摘要】
本专利技术涉及智能吊运，尤其涉及一种发电设备制造场景中的智能吊运辅助方法。
技术介绍
1、在发电装备机加车间中，大型工件运输装夹主要依靠吊车。传统吊运作业模式完全依赖人工指挥和操作，由于工件重量体积较大，无法方便感知工件位置等状态，导致人工模式效率低下，且存在一定安全风险。
技术实现思路
1、鉴于此，本专利技术提供一种发电设备制造场景中的智能吊运辅助方法，结合计算机辅助技术，实现智能吊运作业辅助，分析得到工件的吊运位置、安全预警等多种信息提供给作业人员，从而提高吊运作业效率和安全性。
2、本专利技术公开了一种发电设备制造场景中的智能吊运辅助方法，其包括：
3、获取发电设备制造场景中待吊运的工件模型并设置其吊运位置，使用三维引擎将工件模型渲染在待吊运的工件模型的吊运位置，并将模型渲染图像和真实监控图像融合实时输出供现场作业人员查看；通过ai识别和三维重建实时定位吊运作业中的工件，根据实时定位得到的工件空间位置，判断吊运作业是否已经到位；通过计算工件的速度和加速度，实现对工件吊运过程的安全监控。
4、进一步地，安装若干双目摄像头，使其视野覆盖车间中吊运作业区域；获取双目摄像头的内参矩阵和相对于吊运作业区域地面的外参矩阵，以使三维引擎渲染出的工件模型图像与实际监控图像重合对应，摄像头中像素坐标和真实三维空间坐标之间转换的简化关系为：
5、
6、式中，u、v为摄像头图像中的像素坐标，x、y、z为真实三维空间坐标，f为焦距，u0、v
7、进一步地，向三维引擎中导入工件模型，根据吊运的装夹位置调整工件模型的位置，在三维引擎中架设虚拟摄像头，其中，虚拟摄像头在引擎中的参数包括摄像头的外参矩阵、分辨率和视场角fov；外参矩阵和分辨率直接使用实际安装的双目摄像头的参数；通过以下公式解算得到视场角fov：
8、
9、其中，w为虚拟摄像头水平分辨率。
10、进一步地，在架设的虚拟摄像头中渲染工件模型，使用法线渲染外观，工件模型中的每个像素的颜色由其对应的像素位置的法线方向决定，由以下公式计算：
11、
12、式中，xyz2rgb为三维空间到rgb颜色空间的映射矩阵，colorr、colorg、colorb分别为rgb颜色空间中的红、绿、蓝三种颜色的取值，normalx、normaly、normalz分别为模型法线方向在三维空间坐标系中的x轴坐标值、y轴坐标值、z轴坐标值；
13、采用黑色背景渲染工件模型，以便于和监控画面融合时去除背景。
14、进一步地，使用opencv工具实现，直接将渲染图像和真实监控图像相加，以实现图像融合；或者，将模型渲染图像中所有像素的像素值减半，以使模型渲染图像在融合后表现为半透明；由于渲染图像背景为黑色，像素值为0，因此直接将所有像素的像素值减半后的模型渲染图像和真实监控图像相加后归一化，以实现图像融合且不影响真实监控图像，即：
15、mat融合＝mat监控+mat渲染/2
16、其中，mat融合为将模型渲染图像mat渲染的所有像素的像素值减半后与真实监控图像mat监控融合输出得到的融合图像；将融合图像输出到显示终端，供现场作业人员查看吊运作业实时状态。
17、进一步地，获取数据集：从双目摄像头监控的车间中实际工件的吊运作业区域的视频中向前调取一段时间的图像，按照不同工件、不同时间、不同天气的规则采样图像，并对采样得到的图像中的工件目标进行矩形框标记，组成工件目标识别数据集；
18、训练ai模型：将图像目标识别数据集输入yolo模型训练，得到工件ai识别模型，工件ai识别模型输出车间中不同类的工件；
19、推理：向工件ai识别模型输入双目摄像头监控的实时图像，在当前时刻t，n个双目摄像头可获取nt个状态，每个状态包含各工件的类别和矩形框位置。
20、进一步地，使用双目立体匹配三维重建算法得到车间点云；取工件ai识别模型识别出的工件矩形框内部的点云，从车间点云中分割出工件点云；将工件模型的顶点组转换为点云，并和分割出的工件点云进行点云配准，得到工件的空间坐标。
21、进一步地，当工件的实时位置p与其装夹位置d的三轴坐标差之和小于设定阈值时，则认为吊运作业已经到位；
22、将工件的连续运动轨迹视为位置对时间的函数，进行工件位置轨迹的多项式拟合，对多项式进行求导，得到工件的速度v和加速度a；
23、当工件的速度v超过设定安全速度阈值时，表示吊运作业可能过快，会发生安全事故，需要对作业现场进行管控；
24、当工件的加速度a超过设定安全加速度阈值时，表示吊运工件可能发生倾倒或吊绳断裂，立即对作业现场进行安全撤离。
25、进一步地，所述工件的速度v和加速度a的计算过程包括：
26、将已获取的i组工件位置为：{(x0,t0),(x1,t1),…,(xi-1,ti-1),}，xi-1表示i-1时刻ti-1工件的位置，待拟合的工件位置轨迹的n阶多项式为：
27、x＝kntn+kn-1tn-1+…+k1t+k0
28、x表示拟合得到的工件位置；kn表示第n个多项式系数；
29、将已获取的i组工件位置代入多项式，得到线性方程组：
30、
31、写成矩阵形式：
32、ak＝x
33、当i>n+1时，方程组为超定方程组，通过奇异值分解求得最小二乘解：
34、k＝(ata)-1atx
35、得到工件位置轨迹的多项式拟合后，对多项式进行求导，即可得到工件速度v和加速度a：
36、v＝nkntn-1+(n-1)kn-1tn-2+…+2k2t+k1
37、a＝n(n-1)kntn-2+(n-1)(n-2)kn-1tn-3+…+6k3t+2k2。
38、由于采用了上述技术方案，本专利技术具有如下的优点：本专利技术通过计算机视觉等辅助方法将大型工件吊运纳入数字化管控，作业人员可以直观、便捷地查看工件吊运状态并进行作业指挥，并且对吊运过程实现了安全监测，大大提高了吊运作业的可控性。该辅助系统后续还可以拓展到无人仓库、大件运输吊装、港口装卸等场景应用扩展。
本文档来自技高网...【技术保护点】
1.一种发电设备制造场景中的智能吊运辅助方法，其特征在于，包括：
2.根据权利要求1所述的电设备制造场景中的智能吊运辅助方法，其特征在于，安装若干双目摄像头，使其视野覆盖车间中吊运作业区域；获取双目摄像头的内参矩阵和相对于吊运作业区域地面的外参矩阵，以使三维引擎渲染出的工件模型图像与实际监控图像重合对应，摄像头中像素坐标和真实三维空间坐标之间转换的简化关系为：
3.根据权利要求2所述的电设备制造场景中的智能吊运辅助方法，其特征在于，向三维引擎中导入工件模型，根据吊运的装夹位置调整工件模型的位置，在三维引擎中架设虚拟摄像头，其中，虚拟摄像头在引擎中的参数包括摄像头的外参矩阵、分辨率和视场角fov；外参矩阵和分辨率直接使用实际安装的双目摄像头的参数；通过以下公式解算得到视场角fov：
4.根据权利要求3所述的电设备制造场景中的智能吊运辅助方法，其特征在于，在架设的虚拟摄像头中渲染工件模型，使用法线渲染外观，工件模型中的每个像素的颜色由其对应的像素位置的法线方向决定，由以下公式计算：
5.根据权利要求1所述的电设备制造场景中的智能吊运辅助
6.根据权利要求1所述的电设备制造场景中的智能吊运辅助方法，其特征在于，获取数据集：从双目摄像头监控的车间中实际工件的吊运作业区域的视频中向前调取一段时间的图像，按照不同工件、不同时间、不同天气的规则采样图像，并对采样得到的图像中的工件目标进行矩形框标记，组成工件目标识别数据集；
7.根据权利要求1所述的电设备制造场景中的智能吊运辅助方法，其特征在于，使用双目立体匹配三维重建算法得到车间点云；取工件AI识别模型识别出的工件矩形框内部的点云，从车间点云中分割出工件点云；将工件模型的顶点组转换为点云，并和分割出的工件点云进行点云配准，得到工件的空间坐标。
8.根据权利要求1所述的电设备制造场景中的智能吊运辅助方法，其特征在于，当工件的实时位置P与其装夹位置D的三轴坐标差之和小于设定阈值时，则认为吊运作业已经到位；
9.根据权利要求8所述的电设备制造场景中的智能吊运辅助方法，其特征在于，所述工件的速度v和加速度a的计算过程包括：
...【技术特征摘要】
1.一种发电设备制造场景中的智能吊运辅助方法，其特征在于，包括：
2.根据权利要求1所述的电设备制造场景中的智能吊运辅助方法，其特征在于，安装若干双目摄像头，使其视野覆盖车间中吊运作业区域；获取双目摄像头的内参矩阵和相对于吊运作业区域地面的外参矩阵，以使三维引擎渲染出的工件模型图像与实际监控图像重合对应，摄像头中像素坐标和真实三维空间坐标之间转换的简化关系为：
3.根据权利要求2所述的电设备制造场景中的智能吊运辅助方法，其特征在于，向三维引擎中导入工件模型，根据吊运的装夹位置调整工件模型的位置，在三维引擎中架设虚拟摄像头，其中，虚拟摄像头在引擎中的参数包括摄像头的外参矩阵、分辨率和视场角fov；外参矩阵和分辨率直接使用实际安装的双目摄像头的参数；通过以下公式解算得到视场角fov：
4.根据权利要求3所述的电设备制造场景中的智能吊运辅助方法，其特征在于，在架设的虚拟摄像头中渲染工件模型，使用法线渲染外观，工件模型中的每个像素的颜色由其对应的像素位置的法线方向决定，由以下公式计算：
5.根据权利要求1所述的电设备制造场景中的智能吊运辅助方法，其特征在于，使用opencv工具实现，直接将渲染图像和真实监控图像相加，以实现图像融合；或者，将模型渲...
【专利技术属性】
技术研发人员：吴家奎，吕剑昊，李宗易，谢绿君，陈文平，宋志勇，林强，
申请(专利权)人：东方电气集团东方电机有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。