仓储物流下的基于多重注意力和拓扑约束的密度估计方法技术

一种仓储物流下的基于多重注意力和拓扑约束的密度估计方法，模型中的多重注意力模块可以对目标物体和背景进行区分，让模型更关注目标物体区域。模型中的细节增强模块提取利用小尺寸卷积核提取细节特征，利用多分支多尺寸卷积核提取多尺度特征。通过堆叠卷积核和使用空洞卷积增大感受野。从而提高了模型的计数精确度。利用拓扑约束损失可以使模型学习目标物体与附近目标物体，目标物体自身的空间约束关系，解决同一目标物体多次预测，同一位置多个预测目标物体的语义问题。同时拓扑约束损失加入目标物体计数损失，进一步降低了模型估计目标物体数量的准确性。

【技术实现步骤摘要】
仓储物流下的基于多重注意力和拓扑约束的密度估计方法
本专利技术涉及图像处理
，具体涉及一种仓储物流下的基于多重注意力和拓扑约束的密度估计方法。
技术介绍
近年来，随着社会的不断发展，科技变化也日新月异。随着物联网电子设备以及通信设备的不断发展，各项人工智能技术也让人们的生活变得更加便捷与美好。从智能手机的更新换代到智能家居的兴起，从辅助驾驶的逐渐落地到实现无人驾驶的研究热潮，再到大量出现的无人超市与逐渐兴起的无人派送。随着计算机软硬件的不断发展特别是GPU的发展，再加上大数据技术的不断推进，深度学习引领着人工智能与计算机视觉领域进入了发展黄金期。而目标密度估计也正是计算机视觉领域的一项重要研究内容。目标密度估计实际上就是估计指定目标在图像或视频中的密度分布情况，统计目标数量。目标密度估计系统可以应用到社会生产与生活中方方面面。例如，超市中货架商品计数，智慧仓储中的货物计件，物流运输的钢管、原木等目标的数量统计。由于它应用的广泛性，目标密度估计已经成为了计算机视觉领域的一个热门研究方向。早期，自动化系统发展还不够成熟，应用也不够广泛，目标的统计分析工作基本上完全是由人工完成。一方面，人如果长时间处于高度集中的工作中，人的眼睛和大脑会产生疲劳感，容易精力不集中，那么在工作过程中就会不可避免的出现错误，最后会影响结果统计的精确性，另一方面，人工操作会使统计分析结果带有很强的主观判断，最后会影响到分析结果的客观性。因此，不论是在哪一个应用领域，如果人工操作存在的问题不能得到妥善解决，都会有可能导致严重的经济损失。后来出现了基于光阻法和电阻法的物体计数器。其工作原理是当物体进入到敏感区之后，它会隔断计数器的光路，因此改变了光电接收器上接收到的光电强度，计数器将变化了的光电信息转换成电压脉冲信号，以此来达到对目标计数的目的。由于光电管响应具有滞后性，往往多个物体目标物体已经通过敏感区，仪器才开始响应。对于复杂重叠的目标物体，光电管计数方式容易出现漏记的情况。另外光电管的灵敏度很容易衰减，需要经常更换，增加了计数成本。随着图像技术的发展，结合图像处理的目标计数方式成为研究的热点。由于物体目标之间相互靠的太近时，会出现粘连和重叠的现象，形成多种形态的组合结构，要完成对物体目标的特征提取与分析，就需要将该区域分割成具有清晰轮廓的单个物体。近年来，国内外学者根据不同的目标对象开展了各种相应的分割算法的研究，大体上可以分为基于形态学的分割算法、基于边缘轮廓的分割算法和其他分割算法。早期的图像技术需要人为的设计特征模式，用于提取图像中目标的特征。这种传统手工特征需要根据数据的特点精心设计，虽然是在众多的视觉神经理论依据下，但是难免有人为的想当然的成分。设计的特征模式往往依赖于数据库，也就是说设计的特征只对某些数据库表现好，而对其它的数据库效果并不能保证就好。或者当数据来源发生变化，比如对RGB数据设计的特征换成Kinect深度图像，这些特征点就不一定适应了，因此又得重新设计。基于目标检测或者分割的方法虽然可以精确的标出目标物体的位置，但却不能描述目标物体的空间分布情况，从而弱化了其在实际场景中的应用范围。而且计数性能也会随着局部目标物体数量的增加而急剧下降。2012年,由于AlexNet在被誉为计算机视觉中的奥林匹克竞赛的ImageNet中获得了巨大的成功。所以很多研究人员逐渐将研究领域转到了深度学习，基于卷积神经网络进行目标检测的相关方法不断的提出，卷积神经网络在目标计数领域掀起了一波波热潮。
技术实现思路
本专利技术为了克服以上技术的不足，提供了一种计数准确度高、可以解决目标物体之间遮挡导致无法识别的仓储物流下的基于多重注意力和拓扑约束的密度估计方法。本专利技术克服其技术问题所采用的技术方案是：一种仓储物流下的基于多重注意力和拓扑约束的密度估计方法，包括如下步骤：(a)计算机获取计数目标物体的原始图像，对原始图像进行预处理，用于模型的训练和测试；(b)构建密度估计模型并对模型进行初始化，将训练样本输入密度估计模型中，通过最小化损失函数优化密度估计模型；(c)固定优化后的密度估计模型，并将密度估计模型部署至服务器；(d)图像采集设备采集图像输入密度估计模型，得到图像中物体的个数。进一步的，步骤(a)中预处理的方法为：采用labeling标注工具标注计数目标物体的原始图片，标注方式为在目标物体的类圆形状的几何中使用一个像素点标注位置，将标注后的每幅图像生成一个记录标注像素点位置的npy文件。进一步的，步骤(b)包括如下步骤：(b-1)构建Conv-5、Conv-4、Conv-3和Conv-1,2的卷积层、批归一化层和激活层，通过VGG-16网络架构预训练Conv-5、Conv-4、Conv-3和Conv-1,2中的10层卷积层的权重参数，Conv-5卷积组的输出分别连接RMBB-1模块和MLA-1模块，Conv-4卷积组的输出分别连接RMBB-2模块和MLA-2模块，Conv-3卷积组的输出分别连接RMBB-3模块和MLA-3模块，将RMBB-1模块与MLA-1模块的输出进行相乘操作后进行双线性插值操作，将RMBB-2模块与MLA-2模块的输出进行相乘操作后与上采样结果相加并连接上采样操作和卷积，将RMBB-3模块与MLA-3模块的输出进行相乘操作后与卷积做加法运算后连接上采样操作和卷积，卷积后与Conv-1,2输出相加，将相加结果连接上采样操作和卷积，完成密度估计模型的构建，密度估计模型中除了Conv-5、Conv-4、Conv-3和Conv-1,2的卷积层之外的其它网络参数采用随机初始化的方式进行参数初始化，MLA-1模块、MLA-2模块和MLA-3模块均为多重注意力模块；(b-2)将训练样本中的目标图像输入到密度估计模型中，图像依次经过Conv-5、Conv-4、Conv-3和Conv-1,2卷积组提取目标初级特征，分别得到初级特征图、、和；(b-3)初级特征图经过RMBB-1模块得到细节增强特征图，将初级特征图输入MLA-1模块，在空间维度上对初级特征图分别进行最大值池化操作和均值池化操作，得到特征图和特征图，将特征图和特征图经过共享的卷积提取通道上的注意力信息，分别得到和，将和相加后经过sigmoid激活得到注意力权重，将与初级特征图相乘得到经过通道维度注意力优化的特征图，将特征图在通道上分别求最大值和均值，得到和，将和在通道维度上拼接，拼接后经过卷积层降维得到通道为1的空间注意力权重，将空间注意力权重经过sigmoid激活之后与特征图相乘，得到经过时空维度注意力优化的特征图；(b-4)将细节增强特征图与特征图相乘得到特征图，对特征图进行双线性插值操作，得到与初级特征图维度相同的特征图；(b-5)初级特征图经过RMBB-2模块得到细节增强特征图，将初级特征图输入MLA-2模块，在空间维度上对初级特征图分别进行最大值池化操作和均值池化操作，得到特征图和特征图，将特征图和特征图经过共享的卷积提取通道上的本文档来自技高网...

【技术保护点】
1.一种仓储物流下的基于多重注意力和拓扑约束的密度估计方法，其特征在于，包括如下步骤：/n(a)计算机获取计数目标物体的原始图像，对原始图像进行预处理，用于模型的训练和测试；/n(b)构建密度估计模型并对模型进行初始化，将训练样本输入密度估计模型中，通过最小化损失函数优化密度估计模型；/n(c)固定优化后的密度估计模型，并将密度估计模型部署至服务器；/n(d)图像采集设备采集图像输入密度估计模型，得到图像中物体的个数；/n步骤(b)包括如下步骤：/n(b-1)构建Conv-5、Conv-4、Conv-3和Conv-1,2的卷积层、批归一化层和激活层，通过VGG-16网络架构预训练Conv-5、Conv-4、Conv-3和Conv-1,2中的10层卷积层的权重参数，Conv-5卷积组的输出分别连接RMBB-1模块和MLA-1模块，Conv-4卷积组的输出分别连接RMBB-2模块和MLA-2模块，Conv-3卷积组的输出分别连接RMBB-3模块和MLA-3模块，将RMBB-1模块与MLA-1模块的输出进行相乘操作后进行双线性插值操作，将RMBB-2模块与MLA-2模块的输出进行相乘操作后与上采样结果相加并连接上采样操作和...

【技术特征摘要】
1.一种仓储物流下的基于多重注意力和拓扑约束的密度估计方法，其特征在于，包括如下步骤：
(a)计算机获取计数目标物体的原始图像，对原始图像进行预处理，用于模型的训练和测试；
(b)构建密度估计模型并对模型进行初始化，将训练样本输入密度估计模型中，通过最小化损失函数优化密度估计模型；
(c)固定优化后的密度估计模型，并将密度估计模型部署至服务器；
(d)图像采集设备采集图像输入密度估计模型，得到图像中物体的个数；
步骤(b)包括如下步骤：
(b-1)构建Conv-5、Conv-4、Conv-3和Conv-1,2的卷积层、批归一化层和激活层，通过VGG-16网络架构预训练Conv-5、Conv-4、Conv-3和Conv-1,2中的10层卷积层的权重参数，Conv-5卷积组的输出分别连接RMBB-1模块和MLA-1模块，Conv-4卷积组的输出分别连接RMBB-2模块和MLA-2模块，Conv-3卷积组的输出分别连接RMBB-3模块和MLA-3模块，将RMBB-1模块与MLA-1模块的输出进行相乘操作后进行双线性插值操作，将RMBB-2模块与MLA-2模块的输出进行相乘操作后与上采样结果相加并连接上采样操作和卷积，将RMBB-3模块与MLA-3模块的输出进行相乘操作后与卷积做加法运算后连接上采样操作和卷积，卷积后与Conv-1,2输出相加，将相加结果连接上采样操作和卷积，完成密度估计模型的构建，密度估计模型中除了Conv-5、Conv-4、Conv-3和Conv-1,2的卷积层之外的其它网络参数采用随机初始化的方式进行参数初始化，MLA-1模块、MLA-2模块和MLA-3模块均为多重注意力模块；
(b-2)将训练样本中的目标图像输入到密度估计模型中，图像依次经过Conv-5、Conv-4、Conv-3和Conv-1,2卷积组提取目标初级特征，分别得到初级特征图、、和；
(b-3)初级特征图经过RMBB-1模块得到细节增强特征图，将初级特征图输入MLA-1模块，在空间维度上对初级特征图分别进行最大值池化操作和均值池化操作，得到特征图和特征图，将特征图和特征图经过共享的卷积提取通道上的注意力信息，分别得到和，将和相加后经过sigmoid激活得到注意力权重，将与初级特征图相乘得到经过通道维度注意力优化的特征图，将特征图在通道上分别求最大值和均值，得到和，将和在通道维度上拼接，拼接后经过卷积层降维得到通道为1的空间注意力权重，将空间注意力权重经过sigmoid激活之后与特征图相乘，得到经过时空维度注意力优化的特征图；
(b-4)将细节增强特征图与特征图相乘得到特征图，对特征图进行双线性插值操作，得到与初级特征图维度相同的特征图；
(b-5)初级特征图经过RMBB-2模块得到细节增强特征图，将初级特征图输入MLA-2模块，在空间维度上对初级特征图分别进行最大值池化操作和均值池化操作，得到特征图和特征图，将特征图和特征图经过共享的卷积提取通道上的注意力信息，分别得到和，将和相加后经过sigmoid激活之后得到注意力权重，将与初级特征图相乘得到经过通道维度注意力优化的特征图，将特征图在通道上分别求最大值和均值，得到和，将和在通道维度上拼接，拼接后经过卷积层降维得到通道为1的空间注意力权重，将空间注意力权重经过sigmoid激活之后与特征图相乘，得到经过时空维度注意力优化的特征图；
(b-6)将细节增强特征图与特征图相乘得到特征图，将特征图与特征图相加，对相加结果进行上采样操作，使用卷积核大小为的卷积进行通道维度上降维，使其维度从512维降到256维，得到输出特征图；
(b-7)初级特征图经过RMBB-3模块得到细...

【专利技术属性】
技术研发人员：聂秀山，孟令灿，王春涛，陶鹏，袭肖明，刘兴波，尹义龙，
申请(专利权)人：山东新北洋信息技术股份有限公司，山东建筑大学，
类型：发明
国别省市：山东;37