一种基于AI视觉技术的机器人虚拟仿真应用方法及系统技术方案

本发明专利技术提出了一种基于AI视觉技术的机器人虚拟仿真应用方法及系统，涉及虚拟仿真领域。包括分拣及装配工作站：基于仿真场景下机器人智能路径规划算法，智能机器人利用特定的快换夹具，将铆接螺母放置于焊接箱体上，并锚固于所述焊接箱体的孔位中；基于3D智能相机识别散乱放置的螺钉位姿，智能机器人利用特定的快换夹具将螺钉放置于二次定位装置，并切换螺钉锁付夹具，将螺钉锁紧至焊接箱体的铆接螺母中；移动操作臂：用于融合物体分类与定位的深度学习技术，将箱体从物料台搬运至分拣及装配工作站，当完成箱体上的螺母铆接和螺钉锁付后，将箱体成品搬运至立体仓库；能够提高控制精度，保证了产线的稳定性。保证了产线的稳定性。保证了产线的稳定性。

【技术实现步骤摘要】
一种基于AI视觉技术的机器人虚拟仿真应用方法及系统


[0001]本专利技术涉及虚拟仿真领域，具体而言，涉及一种基于AI视觉技术的机器人虚拟仿真应用方法及系统。

技术介绍

[0002]人工智能发展日新月异，伴随着风口而来的是AI领域人才需求激增。数据显示，2017年前10个月内，AI人才需求量已经达到了2016年的近两倍，2015年的5.3倍，人才需求直线上升复合增长率超过200％。为了解决人才紧缺问题再常规智能机器人教学设备上加入3D视觉进行集成。而在对焊接箱体进行装配时，在实际生产过程中，由于机器人对工件的抓取角度或位置不当，容易发生碰撞，造成生产效率降低和安装质量的问题，对生产过程带来了很大影响。因此，目前需要一种机器人虚拟仿真应用方法及系统，其能够提高机器人虚拟仿真控制精度，保证产线的稳定性。

技术实现思路

[0003]本专利技术的目的在于提供一种基于AI视觉技术的机器人虚拟仿真应用方法，其能够通过基于强化学习的运动规划算法，在机器人进行抓取时，可自动选取合适的抓取角度和位置，提高机器人虚拟仿真控制精度。解决了生产效率降低和安装质量的问题，保证产线的稳定性。
[0004]本专利技术的另一目的在于提供一种基于AI视觉技术的机器人虚拟仿真应用系统，其能够通过基于强化学习的运动规划算法，在机器人进行抓取时，可自动选取合适的抓取角度和位置，提高机器人虚拟仿真控制精度，解决了生产效率降低和安装质量的问题，保证产线的稳定性。
[0005]本专利技术的实施例是这样实现的：
[0006]第一方面，本申请实施例提供一种基于AI视觉技术的机器人虚拟仿真应用方法，其包括如下步骤，分拣及装配工作站：用于基于仿真场景下机器人智能路径规划算法，智能机器人利用特定的快换夹具，将铆接螺母放置于焊接箱体上，并由铆压机锚固于上述焊接箱体的孔位中；基于3D智能相机识别散乱放置的螺钉位姿，上述智能机器人利用特定的快换夹具将螺钉放置于二次定位装置，并切换螺钉锁付夹具，将螺钉锁紧至上述焊接箱体的铆接螺母中；利用3D智能相机安装于上述分拣及装配工作站以采集指定数量的图像，并完成标注；移动操作臂：用于融合物体分类与定位的深度学习技术，将上述焊接箱体从箱体物料台搬运至上述分拣及装配工作站，当完成上述焊接箱体上的螺母铆接和螺钉锁付后，将箱体成品搬运至立体仓库；上述移动操作臂包括移动机器人、安装于上述移动机器人上的协作机器人、安装于上述协作机器人及其夹具，以及安装于上述协作机器人上的2D智能相机；控制上述移动机器人在作业场景中全空间移动，生成上述移动机器人专用的作业场景平面地图模型；控制上述智能机器人在作业场景中全空间移动，生成上述智能机器人专用的作业场景平面地图模型；利用上述智能机器人的麦克风阵列采集操作人员的语音数据，
设置上述智能机器人的语音对话提示词。
[0007]在本专利技术的一些实施例中，上述一种基于AI视觉技术的机器人虚拟仿真应用方法，还包括如下步骤，导入上述3D智能相机采集的训练集数据，设置训练参数，训练工件位姿识别模型；部署训练后的模型，对工件进行位姿识别测试，根据多次识别的精度评分；利用图形化编程软件，编写机器人程序，控制上述智能机器人完成位姿规整螺钉的抓取与放置；利用图形化编程软件，编写机器人程序，结合上述3D智能相机的识别结果，控制上述智能机器人完成对物料盒中散乱工件的分拣操作。
[0008]在本专利技术的一些实施例中，上述一种基于AI视觉技术的机器人虚拟仿真应用方法，还包括如下步骤，对上述移动机器人进行编程，设置作业点、自动充电点，实现移动机器人自主运动规划；对上述2D智能相机进行编程，实现对箱体的识别；对上述协作机器人进行编程，实现上述移动操作臂的联动，完成对箱体工件的定位及抓取。
[0009]在本专利技术的一些实施例中，上述一种基于AI视觉技术的机器人虚拟仿真应用方法，还包括如下步骤，根据实际场景，在平面地图中设置上述智能机器人的作业点及自动巡检线路；对上述智能机器人进行编程，实现对螺钉物料盒的位姿识别与抓取；对上述智能机器人进行编程，实现通过语音控制智能机器人执行巡逻作业。
[0010]在本专利技术的一些实施例中，上述一种基于AI视觉技术的机器人虚拟仿真应用方法，还包括如下步骤，利用图形化编程软件，编写机器人程序，结合上述3D智能相机的识别结果，控制智能机器人实现完整的分拣、铆接和锁螺钉流程；编写主控程序，实现技术平台各单元的联机通讯；编写主控程序，分别实现对技术平台各单元的控制。
[0011]在本专利技术的一些实施例中，上述一种基于AI视觉技术的机器人虚拟仿真应用方法，还包括如下步骤，融合人工智能和机器人自主规划技术，实现完整的典型工业场景任务：a)通过语音启动完整流程，移动操作臂为分拣及装配工作台运送半成品箱体，智能机器人为分拣及装配工作台运送螺钉工件；b)智能机器人执行分拣、铆接、锁螺钉任务，移动操作臂自动返回充电桩位置执行充电任务，智能机器人执行自动巡检任务；c)移动操作臂结束充电，运送半成品箱体，同时将成品箱体搬运至立体仓库，智能机器人继续执行分拣、铆接、锁螺钉任务。
[0012]第二方面，本申请实施例提供一种基于AI视觉技术的机器人虚拟仿真应用系统，其基于第一方面任一项上述的一种基于AI视觉技术的机器人虚拟仿真应用方法实现。
[0013]相对于现有技术，本专利技术的实施例至少具有如下优点或有益效果：
[0014]针对第一方面～第二方面：本申请基于仿真场景下机器人智能路径规划算法实现，机器人利用特定的快换夹具，将铆接螺母准确放置于焊接箱体上，并锚固于焊接箱体孔位中。然后，基于3D智能相机识别散乱放置的螺钉位姿，机器人利用特定的快换夹具将螺钉放置于二次定位装置，并切换螺钉锁付夹具，将螺钉锁紧至箱体的铆接螺母中。涉及的人工智能技术包括了，基于深度学习技术的图像语义分割技术，应用了面向二维图像的深度学习技术；基于3D点云信息的物体位姿估计技术，应用了面向点云的端到端深度学习技术；面向高维空间的机器人智能路径规划技术，应用了强化学习技术。本专利技术通过基于强化学习的运动规划算法，在机器人进行抓取时，可自动选取合适的抓取角度和位置，提高机器人虚拟仿真控制精度，解决了生产效率降低和安装质量的问题，保证产线的稳定性。
附图说明
[0015]为了更清楚地说明本专利技术实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本专利技术的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
[0016]图1为本专利技术实施例1基于AI视觉技术的机器人虚拟仿真应用方法的流程图；
[0017]图2为本专利技术实施例1中机器人的控制流程图；
[0018]图3为本专利技术实施例1中控制应用的流程图；
[0019]图4为本专利技术实施例1中场景示例的流程图；
[0020]图5为本专利技术实施例2电子设备的原理示意图。
具体实施方式
[0021]为使本申请实施本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于AI视觉技术的机器人虚拟仿真应用方法，其特征在于，包括如下步骤，分拣及装配工作站：用于基于仿真场景下机器人智能路径规划算法，智能机器人利用特定的快换夹具，将铆接螺母放置于焊接箱体上，并由铆压机锚固于所述焊接箱体的孔位中；基于3D智能相机识别散乱放置的螺钉位姿，所述智能机器人利用特定的快换夹具将螺钉放置于二次定位装置，并切换螺钉锁付夹具，将螺钉锁紧至所述焊接箱体的铆接螺母中；利用3D智能相机安装于所述分拣及装配工作站以采集指定数量的图像，并完成标注；移动操作臂：用于融合物体分类与定位的深度学习技术，将所述焊接箱体从箱体物料台搬运至所述分拣及装配工作站，当完成所述焊接箱体上的螺母铆接和螺钉锁付后，将箱体成品搬运至立体仓库；所述移动操作臂包括移动机器人、安装于所述移动机器人上的协作机器人、安装于所述协作机器人及其夹具，以及安装于所述协作机器人上的2D智能相机；控制所述移动机器人在作业场景中全空间移动，生成所述移动机器人专用的作业场景平面地图模型；控制所述智能机器人在作业场景中全空间移动，生成所述智能机器人专用的作业场景平面地图模型；利用所述智能机器人的麦克风阵列采集操作人员的语音数据，设置所述智能机器人的语音对话提示词。2.如权利要求1所述的一种基于AI视觉技术的机器人虚拟仿真应用方法，其特征在于，还包括如下步骤，导入所述3D智能相机采集的训练集数据，设置训练参数，训练工件位姿识别模型；部署训练后的模型，对工件进行位姿识别测试，根据多次识别的精度评分；利用图形化编程软件，编写机器人程序，控制所述智能机器人完成位姿规整螺钉的抓取与放置；利用图形化编程软件，编写机器人程序，结合所述3D智能相机的识别结果，控制所述智能机器人完成对物料盒中散乱工件的分拣操作。3.如权利要求1所述的一种基于AI视...

【专利技术属性】
技术研发人员：朱悦灏，郭晓晨，
申请(专利权)人：苏州海翌智能科技有限公司，
类型：发明
国别省市：