货位状态检测方法、装置、设备以及介质制造方法及图纸

本申请实施例提供了一种货位状态检测方法、装置、设备以及介质，该方法包括：从监控设备所拍摄的监控视频中获取目标视频帧，获取与监控设备相关联的货位标识信息；货位标识信息包括M个货位与监控视频中的顶点像素坐标之间的对应关系；根据货位标识信息中的M个货位分别对应的顶点像素坐标，从目标视频帧中获取M个货位剪裁图像，对M个货位剪裁图像所包含的货位进行位置矫正，得到M个货位区域图像；获取M个货位区域图像分别对应的货位区域特征，根据货位区域特征确定目标视频帧中的M个货位分别对应的目标货位状态；目标货位状态用于指示M个货位的物品占用情况。采用本申请实施例，可以减少货位状态检测成本，并提高货位状态检测效率。效率。效率。

【技术实现步骤摘要】
货位状态检测方法、装置、设备以及介质


[0001]本申请涉及人工智能
，尤其涉及一种货位状态检测方法、装置、设备以及介质。

技术介绍

[0002]在工厂的信息化管理过程中，检测工厂中的货位存放状态是必不可少的一个环节。目前的货位检测技术可以使用射频识别(Radio Frequency Identification，RFID)技术，通过射频识别技术可以识别货位上配有射频卡的物品，如通过射频识别技术识别出某货位上存在配有射频卡的物品时，表明该货位上已经放置有物品。然而，当工厂中的部分货位放置了未配有射频卡的物品，还有部分货位没有放置任何物品时，使用射频识别技术是无法检测出上述货位的存放状态的，这就需要采用其余的方式对上述货位进行检测，或者采用人工方式获取货位的存放状态，造成货位检测效率过低。
[0003]此外，目前的货位检测技术还可以使用视觉传感器，通过在工厂中的每个货位上安装视觉传感器，一个视觉传感器对应一个对应的货位，冗余的视频传感器增加了货位检测的成本；并且，当工厂中的任意一个货位位置发生变化时，该货位所对应的视觉传感器也需要重新部署，操作繁琐，导致或未检测的效率过低。

技术实现思路

[0004]本申请实施例提供一种货位状态检测方法、装置、设备以及介质，可以减少货位状态检测成本，并提高货位状态检测效率。
[0005]本申请实施例一方面提供了一种货位状态检测方法，包括：
[0006]从监控设备所拍摄的监控视频中获取目标视频帧，获取与监控设备相关联的货位标识信息；货位标识信息包括M个货位分别在监控视频中的顶点像素坐标，M为正整数；
[0007]根据货位标识信息所包含的M个货位分别对应的顶点像素坐标，从目标视频帧中获取M个货位剪裁图像，对M个货位剪裁图像所包含的货位进行位置矫正，得到M个货位区域图像；
[0008]获取M个货位区域图像分别对应的货位区域特征，根据货位区域特征确定目标视频帧中的M个货位分别对应的目标货位状态；目标货位状态用于指示M个货位的物品占用情况。
[0009]本申请实施例一方面提供了一种货位状态检测装置，包括：
[0010]第一获取模块，用于从监控设备所拍摄的监控视频中获取目标视频帧，获取与监控设备相关联的货位标识信息；货位标识信息包括M个货位分别在监控视频中的顶点像素坐标，M为正整数；
[0011]货位剪裁模块，用于根据货位标识信息所包含的M个货位分别对应的顶点像素坐标，从目标视频帧中获取M个货位剪裁图像，对M个货位剪裁图像所包含的货位进行位置矫正，得到M个货位区域图像；
[0012]货位检测模块，用于获取M个货位区域图像分别对应的货位区域特征，根据货位区域特征确定目标视频帧中的M个货位分别对应的目标货位状态；目标货位状态用于指示M个货位的物品占用情况。
[0013]其中，目标货位状态包括占用状态；
[0014]该装置还包括：
[0015]货位对确定模块，用于若M个货位中存在具有相邻位置关系的两个货位的目标货位状态均为占用状态，则将两个货位确定为目标货位对；
[0016]物品检测模块，用于在目标视频帧中获取包含目标货位对的待检测区域图像，对待检测区域图像进行物品检测，得到待检测区域图像对应的物品检测结果；
[0017]异常提示模块，用于当物品检测结果为物品重叠结果时，生成针对目标货位对的异常提示信息；物品重叠结果用于表征目标货位对被同一个物品所占用。
[0018]其中，物品检测模块包括：
[0019]区域剪裁单元，用于根据目标货位对所对应的顶点像素坐标，在目标视频帧中确定目标货位对关联的剪裁区域，将剪裁区域所覆盖的像素点确定为待检测区域图像；
[0020]物体形状确定单元，用于获取待检测区域图像中的物品边缘特征，根据物品边缘特征确定待检测区域图像中的物品边缘形状；
[0021]货位形状确定单元，用于根据目标货位对中的每个货位分别对应的顶点像素坐标，确定目标货位对中的每个货位分别对应的货位边缘形状；
[0022]物品检测结果确定单元，用于当物品边缘形状与目标货位对中的每个货位所对应的货位边缘形状均存在重叠区域时，确定待检测区域图像对应的物品检测结果为物品重叠结果。
[0023]其中，第一获取模块包括：
[0024]分帧处理单元，用于获取监控设备所拍摄的监控视频，对监控视频进行分帧处理，得到监控视频对应的视频帧序列；
[0025]背景模板获取单元，用于获取监控设备对应的N个背景模板，以及N个背景模板分别对应的适用时间范围；N个背景模板是对监控设备在不同时间段内所拍摄的图像的背景进行建模得到的，N为正整数；
[0026]视频帧抽取单元，用于当第i个视频帧的拍摄时间属于第j个背景模板对应的适用时间范围，且第i个视频帧与第j个背景模板不一致时，将第i个视频帧确定为目标视频帧；第i个视频帧属于视频帧序列，第j个背景模板属于N个背景模板，i为小于或等于视频帧序列中的视频帧数量的正整数，j为小于或等于N的正整数。
[0027]其中，货位剪裁模块包括：
[0028]矩形区域确定单元，用于在货位标识信息中，获取M个货位中的第k个货位对应的顶点像素坐标，根据第k个货位的顶点像素坐标，在目标视频帧中确定目标矩形区域；k为小于或等于M的正整数；
[0029]视频帧分割单元，用于根据目标矩形区域对目标视频帧进行分割，得到包含目标矩形区域所覆盖的像素点的第k个货位剪裁图像；第k个货位剪裁图像属于M个货位剪裁图像；
[0030]位置矫正单元，用于根据第k个货位对应的顶点像素坐标，确定第k个货位剪裁图
像对应的位置变换矩阵，基于位置变换矩阵对第k个货位剪裁图像进行位置矫正，得到第k个货位对应的货位区域图像。
[0031]其中，该装置还包括：
[0032]第二获取模块，用于获取第k个货位对应的物理空间坐标信息，以及获取监控设备对应的设备外参和设备内参；设备外参用于表征监控设备在物理空间中的位置，设备内参由光学中心和监控设备的焦距所确定；
[0033]顶点坐标确定模块，用于根据物理空间坐标信息、设备外参以及设备内参，确定第k个货位对应的顶点像素坐标；
[0034]货位标识生成模块，用于根据第k个货位所对应的顶点像素坐标与第k个货位之间的对应关系，生成监控设备对应的货位标识信息。
[0035]其中，货位检测模块包括：
[0036]第一特征提取单元，用于将M个货位区域图像中的第k个货位区域图像划分为L个图像块，获取L个图像块分别对应的局部区域特征；k为小于或等于M的正整数，L为正整数；
[0037]特征串联单元，用于将L个图像块分别对应的局部区域特征进行串联，得到第k个货位区域图像对应的货位区域特征；
[0038]第一分类单元，用于将第k个货位区域图像对应的货位区域特征输入至第一分类器，在第一分类器中对第k个货位区域图像的货位区域特征进行识别，得到第k个货位区域图像中本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种货位状态检测方法，其特征在于，包括：从监控设备所拍摄的监控视频中获取目标视频帧，获取与所述监控设备相关联的货位标识信息；所述货位标识信息包括M个货位分别在所述监控视频中的顶点像素坐标，M为正整数；根据所述货位标识信息所包含的M个货位分别对应的顶点像素坐标，从所述目标视频帧中获取M个货位剪裁图像，对所述M个货位剪裁图像所包含的货位进行位置矫正，得到M个货位区域图像；获取所述M个货位区域图像分别对应的货位区域特征，根据所述货位区域特征确定所述目标视频帧中的M个货位分别对应的目标货位状态；所述目标货位状态用于指示所述M个货位的物品占用情况。2.根据权利要求1所述的方法，其特征在于，所述目标货位状态包括占用状态；所述方法还包括：若所述M个货位中存在具有相邻位置关系的两个货位的目标货位状态均为占用状态，则将所述两个货位确定为目标货位对；在所述目标视频帧中获取包含所述目标货位对的待检测区域图像，对所述待检测区域图像进行物品检测，得到所述待检测区域图像对应的物品检测结果；当所述物品检测结果为物品重叠结果时，生成针对所述目标货位对的异常提示信息；所述物品重叠结果用于表征所述目标货位对被同一个物品所占用。3.根据权利要求2所述的方法，其特征在于，所述在所述目标视频帧中获取包含所述目标货位对的待检测区域图像，对所述待检测区域图像进行物品检测，得到所述待检测区域图像对应的物品检测结果，包括：根据所述目标货位对所对应的顶点像素坐标，在所述目标视频帧中确定所述目标货位对关联的剪裁区域，将所述剪裁区域所覆盖的像素点确定为待检测区域图像；获取所述待检测区域图像中的物品边缘特征，根据所述物品边缘特征确定所述待检测区域图像中的物品边缘形状；根据所述目标货位对中的每个货位分别对应的顶点像素坐标，确定所述目标货位对中的每个货位分别对应的货位边缘形状；当所述物品边缘形状与所述目标货位对中的每个货位所对应的货位边缘形状均存在重叠区域时，确定所述待检测区域图像对应的物品检测结果为物品重叠结果。4.根据权利要求1所述的方法，其特征在于，所述从监控设备所拍摄的监控视频中获取目标视频帧，包括：获取所述监控设备所拍摄的监控视频，对所述监控视频进行分帧处理，得到所述监控视频对应的视频帧序列；获取所述监控设备对应的N个背景模板，以及所述N个背景模板分别对应的适用时间范围；所述N个背景模板是对所述监控设备在不同时间段内所拍摄的图像的背景进行建模得到的，N为正整数；当第i个视频帧的拍摄时间属于第j个背景模板对应的适用时间范围，且所述第i个视频帧与所述第j个背景模板不一致时，将所述第i个视频帧确定为所述目标视频帧；所述第i个视频帧属于所述视频帧序列，所述第j个背景模板属于所述N个背景模板，i为小于或等于
所述视频帧序列中的视频帧数量的正整数，j为小于或等于N的正整数。5.根据权利要求1所述的方法，其特征在于，所述根据所述货位标识信息所包含的M个货位分别对应的顶点像素坐标，从所述目标视频帧中获取M个货位剪裁图像，对所述M个货位剪裁图像所包含的货位进行位置矫正，得到M个货位区域图像，包括：在所述货位标识信息中，获取所述M个货位中的第k个货位对应的顶点像素坐标，根据所述第k个货位的顶点像素坐标，在所述目标视频帧中确定目标矩形区域；k为小于或等于M的正整数；根据所述目标矩形区域对所述目标视频帧进行分割，得到包含所述目标矩形区域所覆盖的像素点的第k个货位剪裁图像；所述第k个货位剪裁图像属于所述M个货位剪裁图像；根据所述第k个货位对应的顶点像素坐标，确定所述第k个货位剪裁图像对应的位置变换矩阵，基于所述位置变换矩阵对所述第k个货位剪裁图像进行位置矫正，得到第k个货位对应的货位区域图像。6.根据权利要求5所述的方法，其特征在于，还包括：获取所述第k个货位对应的物理空间坐标信息，以及获取所述监控设备对应的设备外参和设备内参；所述设备外参用于表征所述监控设备在物理空间中的位置，所述设备内参由光学中心和所述监控设备的焦距所确定；根据所述物理空间坐标信息、所述设备外参以及所述设备内参，确定所述第k个货位对应的顶点像素坐标；根据所述第k个货位所对应的顶点像素坐标与所述第k个货位之间的对应关系，生成所述监控设备对应的货位标识信息。7.根据权利要求1所述的方法，其特征在于，所述获取所述M个货位区域图像分别对应的货位区域特征，根据所述货位区域特征确定所述目标视频帧中的M个货位分别对应的目标货位状态，包括：将所述M个货位区域图像中的第k个货位区域图像划分为L个图像块，获取所述L个图像块分别对应的局部区域特征；k为小于或等于M的正整数，L为正整数；将所述L个图像块分别对应的局部区域特征进行串联，得到所述第k个货位区域图像对应的货位区域特征；将所述第k个货位区域图像对应的货位区域特征输入至第一分类器，在所述第一分类器中对所述第k个货位区域图像的货位区域特征进行识别，得到所述第k个货位区域图像中的货位所对应的目标货位状态。8.根据权利要求7所述的方法，其特征在于，所述将所述M个货位区域图像中的第k个货位区域图像划分为L个图像块，获取所述L...

【专利技术属性】
技术研发人员：张天亮，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：