一种图像语义分割和3D重建的货架防碰撞检测方法技术

本发明专利技术公开了一种图像语义分割和3D重建的货架防碰撞检测方法，包括下列步骤：S1、通过深度相机采集货架前部的图像信息；S2、对图像信息进行预处理，包括图像去畸变和图像对齐；S3、在彩色图像中过神经网络语义分割模型分割出表示高架库支架的支架区域；S4、基于支架区域中的深度位置信息重建货物的基准参考平面；S5、将货物的深度位置信息结合所述基准参考平面构建碰撞检测平面，提取货物位置特征判断是否发送碰撞风险信息。本发明专利技术只需在堆垛架上设置深度相机和光源，就能准确判断出是否有突出物伸出货架并可能造成碰撞风险，提高了判断的准确性并降低了检测设备的数量和总成本。

An image semantic segmentation and 3D reconstruction method for shelf collision detection

【技术实现步骤摘要】
一种图像语义分割和3D重建的货架防碰撞检测方法
本专利技术涉及一种图像语义分割和3D重建的货架防碰撞检测方法。
技术介绍
现在视觉识别技术开始广泛用于物流领域，现有技术中如果货架中货物未装满，堆垛机及随其运动的堆垛架沿货架排列方向移动，当到达指定装货的货架处，通过堆垛机的推料机构能将货物推入货架，实现堆垛后货物的装运。而如果货物上或货物之间具有突出物，且突出物伸出货架入口太长，则有可能阻碍堆垛架及其上货物的运输推送过程，堆垛架移动过程中可能将货架上的凸出物和货物推动掉落，从而导致需要重新堆垛货物甚至货物损坏。现在常在货架上设置相应环境采集设备检测货物位置即是否有突出物，但是采用在各个货架上光电开关栅，不仅需要较多的设备成本，而且单个货架区域的采集范围有限，当突出物体积较小而凸出长度较大时，可能被因光电开关栅存在间隙和采集盲点导致突出物无法被设于货架上的采集设备检测到。而由于货架存放货物后图像比较复杂，而体积较小的突出物在二维图像上不明显，不能准确判断其伸出货架入口的距离，因此难以准确判定是否存在阻碍堆垛机的风险。
技术实现思路
本专利技术的目的在于提供一种图像语义分割和3D重建的货架防碰撞检测方法，以解决现有技术中无法保证无遗漏并且准确识别出突出物伸出货架的长度，从而难以判定是否有突出物阻碍堆垛机风险的问题。所述的一种图像语义分割和3D重建的货架防碰撞检测方法，包括下列步骤：S1、通过深度相机采集货架前部的图像信息，所述图像信息包括深度位置信息和彩色成像信息；S2、对图像信息进行预处理，包括图像去畸变和图像对齐；S3、在彩色成像信息形成的彩色图像中过神经网络语义分割模型分割出表示高架库支架的支架区域；S4、基于支架区域读取与其对应的深度位置信息，并据此重建货物的基准参考平面；S5、对高架库支架内的货物的深度位置信息结合所述基准参考平面构建碰撞检测平面，对碰撞检测平面进行特征提取，并根据结果判断是否发送碰撞风险信息。优选的，所述支架区域包括支架竖梁区域和支架横梁区域，根据支架横梁区域中的深度位置信息构建平面作为深度相机的水平校准平面；根据所述支架竖梁区域的深度位置信息构建检测参考平面，基于所述参考平面和所述水平校准平面建立了货物的基准参考平面。优选的，特征提取所述碰撞检测平面的数据包括深度位置信息与检测参考平面之间的差值数据，所述差值数据属于安全阈值内时不发送碰撞风险信息，否则发送。优选的，采用所述货架防碰撞检测方法的检测系统包括货物状态采集模块、货物状态检测模块和碰撞告警模块，所述货物状态采集模块包括堆垛机上盛装货物的堆垛架和安装在所述堆垛架上的所述深度相机，所述货物状态检测模块为用于判断是否发送碰撞风险信息的工控机，所述碰撞告警模块接受碰撞风险信息时，向中央控制系统实时推送，告知堆垛机刹车和相应人员对对应仓位进行摆货处理。优选的，所述神经网络语义分割模型通过下面方法建立：步骤1、采用U型对称级联的神经网络进行深度学习建立神经网络语义分割模型；步骤2、对采集图像进行灰度化并进行自适应计算实现灰度补偿；步骤3、通过神经网络语义分割模型对彩色图像进行处理输出分割后的图像；步骤4、对分割后的图像进行形态学的操作，消除部分误分割区域得到支架区域。本专利技术采用在堆垛架上设置深度相机进行图像采集，相比常规的在货架上设置光电开关栅或相机的方式大大减少了采集设备的数量，降低了总成本。一般相机随堆垛架移动造成采集的货架各处到相机的距离不确定，并且现场环境比较复杂，因此难以区分不同位置下是否存在从货架处向外伸出的物体，更难以判断物体的伸出长度，甚至会因为货物对货架的部分遮挡而无法识别货架的问题。本专利技术将图像语义分割技术和深度相机的3D图像场景重建技术相结合，通过深度相机同时采集能够相互对齐的深度图像和彩色图像，一方面通过对彩色图像进行合理分割准确标识出表示货架的支架区域，以此区分货架的深度位置信息和货物的深度位置信息，另一方面通过货架的深度位置信息进行3D场景重建得到与现场实际货架相对应的参考平面，由此结合货物的深度位置信息得到能准确判断货物伸出货架部分长度的碰撞检测平面。这样本专利技术就克服了本身移动的相机不能在复杂环境中准确判断货物伸出货架长度，难以有效分析堆垛机碰撞风险的问题。而且深度相机采集的图像信息比较完整，不会出现光电开关栅因为相邻感应端有间距而遗漏突出物的问题。附图说明图1为本专利技术中货物状态采集模块的结构示意图。图2为本专利技术在提取支架区域深度位置信息的示意图，图中位于高架库支架中的黑点为该区域内深度位置信息的采集点。图3为根据深度位置信息建立货物的基准参考平面的示意图，其中点表示深度位置信息的采集点。图4为构建碰撞检测平面的示意图，图中间有明暗变化的灰色区域为货架内的货物区域，明暗变化表示相应点到检测参考平面的距离远近。图5为对影响堆垛机运动的突出物的识别图像。附图中的标记为：1、堆垛架，2、条形光源，3、深度相机。具体实施方式下面对照附图，通过对实施例的描述，对本专利技术具体实施方式作进一步详细的说明，以帮助本领域的技术人员对本专利技术的专利技术构思、技术方案有更完整、准确和深入的理解。如图1-5所示，本专利技术提供了一种图像语义分割和3D重建的货架防碰撞检测方法，采用该方法的检测系统包括货物状态采集模块、货物状态检测模块和碰撞告警模块。所述货物状态采集模块包括堆垛机上盛装货物的堆垛架(1)和安装在所述堆垛架(1)上的所述深度相机(3)，为了保证采集的图像清晰便于处理，在堆垛架(1)的顶部和两侧均设有朝向货架的条形光源(2)，起到较好的照明效果，提高了亮度，便于图像的处理和识别。所述货物状态检测模块为用于判断是否发送碰撞风险信息的工控机，所述碰撞告警模块与中央控制系统保持实时通信，以在接收到碰撞风险信息后及时报警。本实施例中货架为高架库支架，由上至下可以储存较多货物，堆垛机不仅能沿货架排列方向行走，还能升降。本专利技术提供的货架防碰撞检测方法包括下列步骤：S1、通过深度相机(3)采集货架前部的图像信息，所述图像信息包括深度位置信息和彩色成像信息，采集完成后将货物状态数据实时传输到工控机。S2、对图像信息进行预处理，包括图像去畸变和图像对齐，处理后彩色图像和深度图像之间像素是一一对应关系。S3、在彩色成像信息形成的彩色图像中过神经网络语义分割模型分割出表示高架库支架的支架区域；其包括下列步骤。步骤1、采用U型对称级联的神经网络进行深度学习建立神经网络语义分割模型。步骤2、对采集图像进行灰度化并进行自适应计算实现灰度补偿。步骤3、通过神经网络语义分割模型对彩色图像进行处理输出分割后的图像。步骤4、对分割后的图像进行形态学的操作，消除部分误分割区域得到支架区域。S4、基于支架区域读取与其对应的深度位置信息，并据此重建货物的基准参考平面。所述支架区域包括支架竖梁区域和支架横梁区域，本本文档来自技高网...

【技术保护点】
1.一种图像语义分割和3D重建的货架防碰撞检测方法，其特征在于：包括下列步骤：/nS1、通过深度相机(3)采集货架前部的图像信息，所述图像信息包括深度位置信息和彩色成像信息；/nS2、对图像信息进行预处理，包括图像去畸变和图像对齐；/nS3、在彩色成像信息形成的彩色图像中过神经网络语义分割模型分割出表示高架库支架的支架区域；/nS4、基于支架区域读取与其对应的深度位置信息，并据此重建货物的基准参考平面；/nS5、对高架库支架内的货物的深度位置信息结合所述基准参考平面构建碰撞检测平面，对碰撞检测平面进行特征提取，并根据结果判断是否发送碰撞风险信息。/n

【技术特征摘要】
1.一种图像语义分割和3D重建的货架防碰撞检测方法，其特征在于：包括下列步骤：
S1、通过深度相机(3)采集货架前部的图像信息，所述图像信息包括深度位置信息和彩色成像信息；
S2、对图像信息进行预处理，包括图像去畸变和图像对齐；
S3、在彩色成像信息形成的彩色图像中过神经网络语义分割模型分割出表示高架库支架的支架区域；
S4、基于支架区域读取与其对应的深度位置信息，并据此重建货物的基准参考平面；
S5、对高架库支架内的货物的深度位置信息结合所述基准参考平面构建碰撞检测平面，对碰撞检测平面进行特征提取，并根据结果判断是否发送碰撞风险信息。


2.根据权利要求1所述的一种图像语义分割和3D重建的货架防碰撞检测方法，其特征在于：所述支架区域包括支架竖梁区域和支架横梁区域，根据支架横梁区域中的深度位置信息构建平面作为深度相机(3)的水平校准平面；根据所述支架竖梁区域的深度位置信息构建检测参考平面，基于所述参考平面和所述水平校准平面建立了货物的基准参考平面。


3.根据权利要求1或2所述的一种图像语义分割和3D重建的货架防碰撞检测方法，其特征在于：特征提取所述碰撞...

【专利技术属性】
技术研发人员：王孝奇，
申请(专利权)人：芜湖启迪睿视信息技术有限公司，
类型：发明
国别省市：安徽;34