【技术实现步骤摘要】
本申请涉及仓库自动化，特别是涉及一种金库自动化方法、系统、装置和介质。
技术介绍
1、随着科学技术的发展，金库管理的方法也日新月异，以前的人工管理的方法现在存在着管理效率低、劳动强度大，信息处理不够准确等等为题。而现有智能化金库方案，如申请号202111285025.7的专利公开了一种智能金库的自动分拣系统，包括运输机器人、初始分拣机器人、二次分拣输送线、人工分拣输送线、二次分拣机器人以及空款箱上架机器人，虽然其提高了金库运营中心的管理效率、减少人力劳动，但其分拣机器人仅靠普通的3d视觉识别组件来识别款箱位置以进行款箱的抓取，可见难以实现对款箱的精细化识别和抓取，极易导致智能化金库中款箱的出入库错误、信息处理错误。
2、目前针对相关技术中如何提高智能化金库的自动化精度的问题，尚未提出有效的解决方案。
技术实现思路
1、本申请实施例提供了一种金库自动化方法、系统、装置和介质，以至少解决相关技术中如何提高智能化金库的自动化精度的问题。
2、第一方面，本申请实施例提供了一种金库自动化方法，所述方法包括：
3、响应于金库调度指令，通过相机获取与所述金库调度指令对应的调度场景下的二维图像和三维图像；
4、基于所述三维图像，通过箱体识别算法从所述三维图像中进行箱体识别，得到钱款箱的区域识别结果，其中，所述区域识别结果包含钱款箱的三维掩码区域；
5、通过所述相机的相机内参和相机外参，将所述区域识别结果转换到所述二维图像上，得到二维掩码区
6、基于所述二维掩码区域和所述二维图像，通过颜色识别算法进行颜色识别，得到所述二维掩码区域的颜色识别结果；
7、基于所述区域识别结果和所述颜色识别结果，从所述调度场景中确定出与所述金库调度指令对应的目标钱款箱。
8、在其中一些实施例中，通过相机获取与所述金库调度指令对应的调度场景下的二维图像和三维图像包括：
9、通过2d相机获取与所述金库调度指令对应的调度场景下的二维图像；
10、通过3d相机获取与所述金库调度指令对应的所述调度场景下的三维图像。
11、在其中一些实施例中，通过所述相机的相机内参和相机外参，将所述区域识别结果转换到所述二维图像上，得到二维掩码区域包括：
12、通过所述3d相机的相机内参和相机外参，将所述区域识别结果转换到世界坐标系上；
13、通过所述2d相机的相机内参和相机外参，将所述转换到世界坐标系上的区域识别结果转换到所述二维图像上，得到二维掩码区域。
14、在其中一些实施例中，基于所述三维图像，通过箱体检测算法从所述三维图像中进行箱体识别，得到钱款箱的区域识别结果包括：
15、基于所述三维图像和roi区域，提取得到与所述roi区域对应的区域点云数据；
16、基于所述区域点云数据，通过箱体检测算法从所述roi区域中进行箱体识别，得到钱款箱的区域识别结果。
17、在其中一些实施例中，所述方法包括：
18、通过相机获取与所述金库调度指令对应的调度场景下的深度图像；
19、基于所述深度图像，计算得到所述调度场景中的物体在像素坐标系与世界坐标系之间的转换比例。
20、在其中一些实施例中，基于所述三维图像和roi区域，提取得到与所述roi区域对应的区域点云数据包括：
21、基于所述三维图像和roi区域，提取得到与所述roi区域对应的区域点云数据；
22、基于所述转换比例，对所述roi区域对应的区域点云数据进行预处理，得到包含钱款箱的完整箱体表面的区域点云数据。
23、在其中一些实施例中，在基于所述区域识别结果和所述颜色识别结果，从所述调度场景中确定出与所述金库调度指令对应的目标钱款箱之后，所述方法包括：
24、通过机械臂将所述目标钱款箱移动至自动导向车上，以执行所述金库调度指令。
25、第二方面，本申请实施例提供了一种金库自动化系统，所述系统用于执行上述第一方面任一项所述的方法，所述系统包括图像获取模块、第一识别模块、转换模块、第二识别模块和确定模块；
26、所述图像获取模块，用于响应金库调度指令，通过相机获取与所述金库调度指令对应的调度场景下的二维图像和三维图像；
27、所述第一识别模块，用于根据所述三维图像，通过箱体识别算法从所述三维图像中进行箱体识别，得到钱款箱的区域识别结果，其中，所述区域识别结果包含钱款箱的三维掩码区域；
28、所述转换模块，用于通过所述相机的相机内参和相机外参，将所述区域识别结果转换到所述二维图像上，得到二维掩码区域；
29、所述第二识别模块，用于根据所述二维掩码区域和所述二维图像，通过颜色识别算法进行颜色识别，得到所述二维掩码区域的颜色识别结果；
30、所述确定模块，用于根据所述区域识别结果和所述颜色识别结果，从所述调度场景中确定出与所述金库调度指令对应的目标钱款箱。
31、第三方面，本申请实施例提供了一种电子装置，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述第一方面所述的方法。
32、第四方面，本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述第一方面所述的方法。
33、相比于相关技术，本申请实施例提供的一种金库自动化方法、系统、装置和介质，其中，该方法响应于金库调度指令，通过相机获取与金库调度指令对应的调度场景下的二维图像和三维图像；基于三维图像通过箱体识别算法从三维图像中进行箱体识别，得到钱款箱的区域识别结果，其中，区域识别结果包含钱款箱的三维掩码区域；通过相机的相机内参和相机外参，将区域识别结果转换到二维图像上，得到二维掩码区域；基于二维掩码区域和二维图像，通过颜色识别算法进行颜色识别，得到二维掩码区域的颜色识别结果；基于区域识别结果和颜色识别结果，从调度场景中确定出与金库调度指令对应的目标钱款箱，实现了在金库自动化中3d图和2d图结合的钱款箱识别，巧妙地在基于3d图的箱体点云区域识别的基础上，再基于2d图的颜色特征对该箱体点云区域进行颜色识别，提高了金库自动化中钱款箱的识别精准度，解决了如何提高智能化金库的自动化精度的问题。
本文档来自技高网...【技术保护点】
1.一种金库自动化方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，通过相机获取与所述金库调度指令对应的调度场景下的二维图像和三维图像包括：
3.根据权利要求2所述的方法，其特征在于，通过所述相机的相机内参和相机外参，将所述区域识别结果转换到所述二维图像上，得到二维掩码区域包括：
4.根据权利要求1所述的方法，其特征在于，基于所述三维图像，通过箱体检测算法从所述三维图像中进行箱体识别，得到钱款箱的区域识别结果包括：
5.根据权利要求4所述的方法，其特征在于，所述方法包括：
6.根据权利要求5所述的方法，其特征在于，基于所述三维图像和ROI区域，提取得到与所述ROI区域对应的区域点云数据包括：
7.根据权利要求1所述的方法，其特征在于，在基于所述区域识别结果和所述颜色识别结果，从所述调度场景中确定出与所述金库调度指令对应的目标钱款箱之后，所述方法包括：
8.一种金库自动化系统，其特征在于，所述系统用于执行权利要求1至7任一项所述的方法，所述系统包括图像获取模块、第一识别模块
9.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行权利要求1至7中任一项所述的方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1至7中任一项所述的方法。
...【技术特征摘要】
1.一种金库自动化方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，通过相机获取与所述金库调度指令对应的调度场景下的二维图像和三维图像包括：
3.根据权利要求2所述的方法，其特征在于，通过所述相机的相机内参和相机外参，将所述区域识别结果转换到所述二维图像上，得到二维掩码区域包括：
4.根据权利要求1所述的方法，其特征在于，基于所述三维图像，通过箱体检测算法从所述三维图像中进行箱体识别，得到钱款箱的区域识别结果包括：
5.根据权利要求4所述的方法，其特征在于，所述方法包括：
6.根据权利要求5所述的方法，其特征在于，基于所述三维图像和roi区域，提取得到与所述roi区域对应的区域...
【专利技术属性】
技术研发人员：彭莱，王磊，方清国，
申请(专利权)人：杭州灵西机器人智能科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。