【技术实现步骤摘要】
本专利技术涉及计算机视觉，特别是涉及一种多目标跟踪方法、系统和介质。
技术介绍
1、近年来现代农业结合计算机视觉技术的各种智能设备在农业生产中的应用日益普及，并且成为农业领域的研究热点。具体到苹果生产方面，基于深度学习目标检测技术可以通过相机或无人机航拍的图片或视频进行苹果识别、产量预测、病虫害识别，也可以通过图像信息对苹果果实进行优劣分级等，这些技术极大地推动了苹果生产管理的智能化发展。其中，利用目标检测技术对苹果果实进行精确识别后再预测产量对果园的经营与管理有着重要意义，能够为果农提供果园产量的信息。
2、用于农作物产量估算的传统技术在一定程度上仍然存在诸多问题，例如滑动窗口导致图像边界不清晰、目标特征设计复杂、可移植性差、人工设计繁琐等问题。因此越来越多的基于深度学习的目标检测算法被应用于农业生产中。这些算法根据算法实现流程大致可以分为单阶段和两阶段算法。经典的两阶段目标检测算法有r-cnn、fast r-cnn、fasterr-cnn等。相较于两阶段算法，单阶段算法冗余计算更少，检测速度更快，对硬件性能要求更低。代表性的单阶段算法有yolov系列、ssd等。单阶段算法省去了生成候选目标区域的步骤，直接在输入图像上预测目标的类别或位置，检测速度得到了较大的提升，因此在农业领域得到了广泛应用。
3、现有苹果数量检测方法大多都是基于静态图像进行实验的，然而在自然环境中，苹果树上的苹果密度大并且存在苹果相互遮挡或重叠的问题。拍摄的静态图像视角单一，视野有限。此外，在拍摄过程中会出现相同区域的苹果出现在不同
技术实现思路
1、本专利技术的目的是提供一种多目标跟踪方法、系统和介质，用于解决现有技术中由于拍摄静态图像视角单一且视野有限，以及相同区域的目标出现在不同图像中被重复计数直接影响计数准确性的技术问题。
2、为解决上述技术问题，作为本专利技术的一个方面，提供了一种多目标跟踪方法，包括以下步骤：
3、将视频流数据输入完成训练后的基于yolov7改进的多尺寸目标检测模型，以使所述多尺寸目标检测模型按帧依次输出目标的检测框信息；其中，所述多尺寸目标检测模型包括backbone网络、neck网络和head网络；所述backbone网络用于对输入所述多尺寸目标检测模型的特征图进行四次特征提取，所述neck网络用于对所述backbone网络四次提取的特征进行融合以形成四个融合分支，并将四个融合分支输入所述head网络以检测四个不同尺寸目标，所述head网络输出四个不同尺寸目标的检测结果；
4、给t帧中每个目标检测框对应的目标分配目标id；其中，t为大于0的整数；
5、根据目标在t帧的检测框信息，预测目标在t+1帧的预测框信息；
6、根据t+1帧的检测框信息和t+1帧的预测框信息，将t+1帧的预测框和检测框进行iou匹配；
7、在t+1帧中iou匹配成功的检测框对应的目标分配对应于t帧的目标id；
8、当一个目标的预测框和检测框连续n帧iou匹配后，将n帧后的每一帧中的目标与连续n帧iou匹配后的目标进行级联匹配；其中，n为大于1的整数；
9、统计级联匹配成功的目标id，以作为检测结果；
10、其中，所述backbone网络依次包括cbs组合模块、第一simam组合模块、第二simam组合模块、第三simam组合模块和第四simam组合模块；
11、所述第一simam组合模块依次包括elan模块和simam模块以用于第一次提取特征，所述第一simam组合模块第一次提取的特征分别输入所述第二simam组合模块和所述neck网络；
12、所述第二simam组合模块依次包括mpconv模块、elan模块和simam模块以用于第二次提取特征，所述第二simam组合模块第二次提取的特征分别输入所述第三simam组合模块和所述neck网络；
13、所述第三simam组合模块依次包括mpconv模块、elan模块和simam模块以用于第三次特征提取，所述第三simam组合模块第三次提取的特征分别输入所述第四simam组合模块和所述neck网络；
14、所述第四simam组合模块依次包括mpconv模块、elan模块、sppcspc模块和simam模块以用于第四次提取特征并将提取的特征输入所述neck网络；
15、其中，所述cbs组合模块包括四个不同的cbs模块，所述cbs模块用于改变特征图的大小和个数；所述elan模块是高效层聚合网络以用于对图像进行多尺度特征提取并融合；所述simam模块用于在提取特征时融入三维注意力机制以提高所述多尺寸目标检测模型网络的特征提取能力，四个simam组合模块中的simam模块均向所述neck网络输入提取的特征；所述mpconv模块用于对特征图进行池化；所述sppcspc模块用于提取到不同尺寸显化后的特征。
16、进一步的，所述多尺寸目标检测模型的损失函数为基于ciou损失函数和 归一化高斯wasserstein距离的混合边框回归损失函数。
17、进一步的，所述混合边框回归损失函数lbox的表达式为：
18、；
19、其中，λ为权重因子，nwd为归一化高斯wasserstein距离。
20、进一步的，所述neck网络包括2个第一cbs模块、2个第二cbs模块、2个第三cbs模块、1个第四cbs模块、3个上采样模块、6个concat模块、6个concat-conv模块和3个mpconv模块；
21、其中，所述第一cbs模块、第二cbs模块、第三cbs模块和第四cbs模块为四个不同的cbs模块；concat模块用于在通道维度进行特征融合；concat-conv模块用于对图像进行多尺度特征提取并融合。
22、进一步的，所述head网络包括第一尺寸检测头、第二尺寸检测头、第三尺寸检测头和第四尺寸检测头；其中，第一尺寸>第二尺寸>第三尺寸>第四尺寸；
23、所述第四simam组合模块提取的特征依次经第四cbs模块、第一个第三cbs模块、第一个上采样模块、第一个concat模块、第一个concat-conv模块、第二cbs模块、第二个上采样模块、第二个concat模块、第二个concat-conv模块、第一cbs模块、第三个上采样模块、第三个concat模块和第三个concat-conv模块；所述第三simam组合模块提取的特征经第二个第三cbs模块和第一个concat模块；所述第二simam组合模块提取的特征经第二个第二cbs模块和第二个concat模块；所述第一simam组合模块提取的特征经第二个第一cbs模块和第三个concat模块；第三个concat-conv模块的输出作为第一尺寸检测头的输入；
24、第三个concat-c本文档来自技高网...
【技术保护点】
1.一种多目标跟踪方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的多目标跟踪方法，其特征在于，所述多尺寸目标检测模型的损失函数为基于CIOU损失函数和归一化高斯Wasserstein距离的混合边框回归损失函数。
3.根据权利要求2所述的多目标跟踪方法，其特征在于，所述混合边框回归损失函数lbox的表达式为：
4.根据权利要求1所述的多目标跟踪方法，其特征在于，所述Neck网络包括2个第一CBS模块、2个第二CBS模块、2个第三CBS模块、1个第四CBS模块、3个上采样模块、6个Concat模块、6个Concat-Conv模块和3个MPConv模块；
5.根据权利要求4所述的基于DeepSORT的目标动态跟踪方法，其特征在于，所述Head网络包括第一尺寸检测头、第二尺寸检测头、第三尺寸检测头和第四尺寸检测头；其中，第一尺寸>第二尺寸>第三尺寸>第四尺寸；
6.根据权利要求5所述的多目标跟踪方法，其特征在于，所述Head网络还包括四个RepConv模块，所述RepConv模块是重参数卷积模块以对所
7.根据权利要求4所述的多目标跟踪方法，其特征在于，所述CBS组合模块包括第五CBS模块、第六CBS模块、第七CBS模块和第八CBS模块；输入所述多尺寸目标检测模型的特征图依次经过第五CBS模块、第六CBS模块、第七CBS模块和第八CBS模块；其中，第一CBS模块为步长为1且卷积核大小为1X1的二维卷积，且输出的特征图个数为64；第二CBS模块为步长为1且卷积核大小为1X1的二维卷积，且输出的特征图个数为128；第三CBS模块为步长为1且卷积核大小为1X1的二维卷积，且输出的特征图个数为256；第四CBS模块为步长为1且卷积核大小为1X1的二维卷积，且输出的特征图个数为512；第五CBS模块为步长为1且卷积核大小为3X3的二维卷积，且输出的特征图个数为32；第六CBS模块为步长为2且卷积核大小为3X3的二维卷积，且输出的特征图个数为64；第七CBS模块为步长为1且卷积核大小为3X3的二维卷积，且输出的特征图个数为64；第八CBS模块为步长为2且卷积核大小为3X3的二维卷积，且输出的特征图个数为128。
8.根据权利要求1所述的多目标跟踪方法，其特征在于，还包括：当有多个目标完成连续N帧IOU匹配后，将多个目标按照连续IOU匹配的帧数的大小对该多个目标进行优先级排序，以使N帧后的每一帧中的目标优先与优先级高的目标进行级联匹配；其中，连续IOU匹配的帧数越多，优先级越高。
9.一种多目标跟踪系统，其特征在于，包括：
10.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1-8中任一所述的方法。
...【技术特征摘要】
1.一种多目标跟踪方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的多目标跟踪方法，其特征在于，所述多尺寸目标检测模型的损失函数为基于ciou损失函数和归一化高斯wasserstein距离的混合边框回归损失函数。
3.根据权利要求2所述的多目标跟踪方法，其特征在于，所述混合边框回归损失函数lbox的表达式为：
4.根据权利要求1所述的多目标跟踪方法，其特征在于，所述neck网络包括2个第一cbs模块、2个第二cbs模块、2个第三cbs模块、1个第四cbs模块、3个上采样模块、6个concat模块、6个concat-conv模块和3个mpconv模块；
5.根据权利要求4所述的基于deepsort的目标动态跟踪方法，其特征在于，所述head网络包括第一尺寸检测头、第二尺寸检测头、第三尺寸检测头和第四尺寸检测头；其中，第一尺寸>第二尺寸>第三尺寸>第四尺寸；
6.根据权利要求5所述的多目标跟踪方法，其特征在于，所述head网络还包括四个repconv模块，所述repconv模块是重参数卷积模块以对所述head网络进行重参数化；其中，第三个concat-conv模块的输出作为第一个repconv模块的输入，第一个repconv模块的输出作为第一尺寸检测头的输入；第四个concat-conv模块的输出作为第二个repconv模块的输入，第二个repconv模块的输出作为第二尺寸检测头的输入；第五个concat-conv模块的输出作为第三个repconv模块的输入，第三个repconv模块的输出作为第三尺寸检测头的输入；第六个concat-conv模块的输出作为第四个repco...
【专利技术属性】
技术研发人员：曹动，周朗明，颜振宇，赵大为，
申请(专利权)人：湖南科天健光电技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。