本申请公开了一种多动态目标的检测与跟踪方法、装置、设备及介质。在上述方法中，通过割草机的摄像头采集视频帧；将视频帧的数据输入目标检测模型中，获得多个动态障碍物的目标检测框；根据目标检测框和DeepSORT框架预测多个动态障碍物的运动信息和表观特征，来对多个动态障碍物进行跟踪，并获得多个动态障碍物的预测路径行为；最后根据多个动态障碍物的预测路径行为，对割草机进行路径规划，以避开多个动态障碍物。在此过程中，通过Yolov5s模型确定多个动态障碍物类别和位置，并且通过Deepsort框架预测多个动态障碍物的运动信息和表观特征，实现多个动态障碍物的目标跟踪，从而获得多个动态障碍物的路径行为，实现割草机对多个动态障碍物的避障。
2、目前割草机单目相机避障技术，不管是分类算法还是目标检测算法，都能有效实施避障。在遇到静态障碍物时，视觉这边给到规控算法指令，割草机向右或者向左转弯，但是在实际测试中难免遇到一些复杂场景问题，例如当障碍物为多个运动物体时，割草机可以在后续依旧会与障碍物发生碰撞，或者当障碍物运动到茂密的草丛时短暂被草丛遮挡时，割草机在此行进路线上可能会与被遮挡的障碍物发生激烈的碰撞。
1、本申请提供了一种多动态目标的检测与跟踪方法、装置设备及介质，可以预测多个动态障碍物的运动信息和表观特征，因此对多个动态障碍物可以进行实时跟踪，从而避开多个动态障碍物。
4、将视频帧的数据输入目标检测模型中，获得多个动态障碍物的目标检测框，所述目标检测框包括多个动态障碍物的位置信息和类别信息，所述目标检测模型为训练完成的yolov5s模型，所述目标检测模型的训练样本为割草机拍摄的障碍物样本集；
>5、根据目标检测框和deepsort框架预测多个动态障碍物的运动信息和表观特征，来对多个动态障碍物进行跟踪，并获得多个动态障碍物的预测路径行为，所述表观特征通过深度卷积神经网络提取获得；6、根据多个动态障碍物的预测路径行为，对割草机进行路径规划，以避开多个动态障碍物。
7、可选地，目标检测模型的训练过程包括：
8、采集割草机拍摄的障碍物图像进行清洗、分类和类别标注处理，获得障碍物样本；
9、将障碍物样本输入yolov5s模型的主干网络backbone的efficientnet中，获得障碍物样本的特征图；
10、将障碍物样本的特征图输入yolov5s模型的neck网络中进行融合，获得多尺寸特征图；
11、将多尺寸特征图输入yolov5s模型的检测头网络中，基于多尺寸特征图的预测框损失、类别损失和置信度损失构建损失函数；
12、基于障碍物样本采用损失函数对yolov5s模型进行训练得到目标检测模型。
13、可选地，根据目标检测框和deepsort框架预测多个动态障碍物的运动信息和表观特征，来对多个动态障碍物进行跟踪，并获得多个动态障碍物的预测路径行为，包括：
14、使用deepsort框架中的卡尔曼滤波器预测目标检测框的运动信息，并根据预测框的运动信息和目标检测框的运动信息，利用马氏空间距离计算运动匹配；
15、通过目标检测框使用所述deepsort框架中深度卷积神经网络对多个动态障碍物进行表观特征提取，并根据预测框的表观特征和目标检测框的表观特征，利用马氏空间距离计算外观匹配；
16、基于匈牙利算法对前后两帧多个动态障碍物进行级联匹配和iou匹配；
17、通过更新跟踪器和卡尔曼滤波器，确定跟踪结果，并为多个动态障碍物分配id信息；
18、按照同一id关联的动态障碍物在各帧中的位置，获得同一动态障碍物id在视频中的运行轨迹，以输出多个动态障碍物的预测路径行为。
19、可选地，根据预测框的运动信息和目标检测框的运动信息，利用马氏空间距离计算运动匹配，包括：
20、使用马氏空间距离度量目标检测框和所述预测框之间的距离，对马氏空间距离进行阈值化处理；将小于指定阈值的马氏空间距离设置为关联成功。
21、可选地，根据预测框的表观特征和目标检测框的表观特征，利用马氏空间距离计算外观匹配，包括：
22、使用马氏空间距离度量目标检测框和所述预测框之间的图像相似性，对马氏空间距离进行阈值化处理；将小于指定阈值的马氏空间距离设置为关联成功。
23、可选地，通过更新跟踪器和卡尔曼滤波器，确定跟踪结果，并为多个动态障碍物分配id信息，包括：
24、更新原有跟踪器的状态和卡尔曼滤波器参数，为新确认的追踪目标分配新的跟踪器，为新增加的未匹配成功的检测目标分配新的id信息，删除匹配失败超出生命周期阈值的追踪目标及其跟踪器。
25、第二方面，本申请提供了一种多动态目标的检测与跟踪装置，该装置包括：
26、采集模块，用于通过割草机的摄像头采集视频帧，所述视频帧中包括多个动态障碍物；
27、检测模块，用于将视频帧的数据输入目标检测模型中，获得多个动态障碍物的目标检测框，所述目标检测框包括所述多个动态障碍物的位置信息和类别信息，所述目标检测模型为训练完成的yolov5s模型，所述目标检测模型的训练样本为割草机拍摄的障碍物样本集；
28、跟踪模块，用于根据目标检测框和deepsort框架预测多个动态障碍物的运动信息和表观特征，来对多个动态障碍物进行跟踪，并获得多个动态障碍物的预测路径行为，所述表观特征通过深度卷积神经网络提取获得；
29、路径规划模块，用于根据多个动态障碍物的预测路径行为，对割草机进行路径规划，以避开多个动态障碍物。
30、可选地，该装置还包括：
31、训练模块，用于采集割草机拍摄的障碍物图像进行清洗、分类和类别标注处理，获得障碍物样本；将障碍物样本输入yolov5s模型的主干网络backbone的efficientnet中，获得障碍物样本的特征图；将障碍物样本的特征图输入yolov5s模型的neck网络中进行融合，获得多尺寸特征图；将多尺寸特征图输入yolov5s模型的检测头网络中，基于多尺寸特征图的预测框损失、类别损失和置信度损失构建损失函数；基于障碍物样本采用损失函数对yolov5s模型进行训练得到目标检测模型。
32、可选地，跟踪模块包括：
33、预测子模块，用于使用deepsort框架中的卡尔曼滤波器预测目标检测框的运动信息
34、运动匹配子模块，用于根据预测框的运动信息和目标检测框的运动信息，利用马氏空间距离计算运动匹配；
35、外观匹配子模块，用于通过目标检测框使用deepsort框架中深度卷积神经网络对多个动态障碍物进行表观特征提取，并根据预测框的表观特征和目标检测框的表观特征，利用马氏空间距离计算外观匹配；
36、级联匹配和iou匹配子模块，用于基于匈牙利算法对前后两帧多个动态障碍物进行级联匹配和iou匹配；
37、更新子模块，用于通过更新跟踪器和卡尔曼滤波器，确定跟踪结果，并为多个动态障碍物分配id信息；
38、输出子模块，用于按照同一id关联的动本文档来自技高网...
【技术保护点】
1.一种多动态目标的检测与跟踪方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述目标检测模型的训练过程包括：
3.根据权利要求1所述的方法，其特征在于，所述根据所述目标检测框和DeepSORT框架预测所述多个动态障碍物的运动信息和表观特征，来对所述多个动态障碍物进行跟踪，并获得所述多个动态障碍物的预测路径行为，包括：
4.根据权利要求3所述的方法，其特征在于，所述根据预测框的运动信息和所述目标检测框的运动信息，利用马氏空间距离计算运动匹配，包括：
5.根据权利要求3所述的方法，其特征在于，所述根据所述预测框的表观特征和所述目标检测框的表观特征，利用所述马氏空间距离计算外观匹配，包括：
6.根据权利要求3所述的方法，其特征在于，所述通过更新跟踪器和卡尔曼滤波器，确定跟踪结果，并为所述多个动态障碍物分配ID信息，包括：
7.一种多动态目标的检测与跟踪装置，其特征在于，所述装置包括：
8.根据权利要求7所述的装置，其特征在于，所述装置还包括：
9.一种电子设备，其特征在于，所述设备包括存储器和处理器，所述处理器用于执行所述存储器中存储的程序，运行如权利要求1-6任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储计算机程序，所述计算机程序用于执行权利要求1-6任一项所述的方法。
...
【技术特征摘要】
1.一种多动态目标的检测与跟踪方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述目标检测模型的训练过程包括：
3.根据权利要求1所述的方法，其特征在于，所述根据所述目标检测框和deepsort框架预测所述多个动态障碍物的运动信息和表观特征，来对所述多个动态障碍物进行跟踪，并获得所述多个动态障碍物的预测路径行为，包括：
4.根据权利要求3所述的方法，其特征在于，所述根据预测框的运动信息和所述目标检测框的运动信息，利用马氏空间距离计算运动匹配，包括：
5.根据权利要求3所述的方法，其特征在于，所述根据所述预测框的表观特征和所述目标检测框的表观特征，利用所...
【专利技术属性】
技术研发人员：吴云飞，施敏杰，周宣，杨康，杨洪杰，请求不公布姓名，郑佳怡，
申请(专利权)人：浙江亚特电器股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。