跟踪轨迹融合方法、设备及计算机可读存储介质技术

本申请提供了跟踪轨迹融合方法、设备及计算机可读存储介质，所述方法包括：对多帧点云数据对应的深度学习检测结果和静态聚类检测结果进行多目标跟踪，以获取至少一个动态轨迹及其对应的动态标识，至少一个静态轨迹及其对应的静态标识；对融合轨迹集合进行更新，所述融合轨迹集合中的每个融合轨迹对应一对相匹配的动态轨迹和静态轨迹；针对更新后的融合轨迹集合中的每个融合轨迹，获取每个所述融合轨迹的融合标识和当前帧的跟踪框并输出。对现有的目标跟踪算法进行拓展，有效解决了目标跟踪过程中跟踪结果丢失的问题，能够满足实时性较高的应用场景中的目标跟踪需求。高的应用场景中的目标跟踪需求。高的应用场景中的目标跟踪需求。

【技术实现步骤摘要】
跟踪轨迹融合方法、设备及计算机可读存储介质


[0001]本申请涉及计算机视觉与模式识别、自动驾驶及机器人应用的
，尤其涉及跟踪轨迹融合方法、设备及计算机可读存储介质。

技术介绍

[0002]计算机视觉是人工智能(AI)的一个领域，是指让计算机和系统能够从图像、视频和其他视觉输入中获取有意义的信息，并根据该信息采取行动或提供建议。如果说人工智能赋予计算机思考的能力，那么计算机视觉就是赋予发现、观察和理解的能力。
[0003]模式识别是通过计算机用数学技术方法来研究模式的自动处理和判读，我们把环境与客体统称为“模式”。对人类来说，特别重要的是对光学信息(通过视觉器官来获得)和声学信息(通过听觉器官来获得)的识别，这是模式识别的两个重要方面。
[0004]自动驾驶汽车以雷达、光学雷达、GPS及计算机视觉等技术感测其环境，将感测信息转换成适当的导航道路、以及障碍与相关标志，是一种需要驾驶员辅助或者完全不需操控的车辆，作为自动化载具，自动驾驶汽车可以不需要人类操作即能感测其环境及导航。
[0005]机器人可代替或协助人类完成各种工作，尤其是枯燥的、危险的、有毒的、有害的工作。机器人除了广泛应用于制造业领域外，还应用于资源勘探开发、救灾排险、医疗服务、家庭娱乐、军事和航天等其他领域。
[0006]目标跟踪是计算机视觉和自动驾驶领域中的一个重要研究方向，有着广泛的应用。由于遮挡、形变及检测结果不稳定等因素会导致跟踪结果(即目标)丢失等问题。目标在运动过程中可能出现被遮挡或者短暂的消失情况，当这种情况发生时，跟踪框容易将遮挡物以及背景信息包含在跟踪框内，会导致后续帧中的目标漂移到遮挡物上面。当目标被完全遮挡时，由于找不到目标，会导致跟踪失败。
[0007]专利CN114119671A公开了一种基于遮挡补偿的立体空间信息融合的多目标跟踪方法，所述方法包括：步骤1)接收激光雷达采集的点云和相机采集的RGB图像；步骤2)将点云数据输入三维检测器得到三维检测结果；步骤3)将RGB图像和三维检测结果不断输入预先建立和训练好的端到端多目标跟踪网络，实时更新跟踪器，循环完成目标跟踪；所述端到端多目标跟踪网络，用于基于RGB图像和三维检测结果，并结合上一帧轨迹的运动特征和外观特征，分别建立运动关联矩阵和外观关联矩阵进行轨迹和检测的关联，并结合遮挡情况更新跟踪器实现目标跟踪。该方法在三维空间中使用三维卡尔曼滤波器利用点云信息解决目标遮挡的问题，在二维平面使用端到端的关联网络关联目标解决三维空间中的目标大位移和不规则运动导致的关联失败的问题，构建遮挡网络优化外观特征，虽然能够提高三维多目标跟踪算法的准确性，但是需要使用多源信息(激光雷达采集得到的点云数据、相机采集得到的RGB图像)作为输入，并且跟踪过程中需要实时更新跟踪器，因此计算量较大、计算速度慢，无法满足自动驾驶等实时性较高的应用场景中的目标跟踪需求。
[0008]基于此，本申请提供了跟踪轨迹融合方法、设备及计算机可读存储介质，以改进现有技术。

技术实现思路

[0009]本申请的目的在于提供跟踪轨迹融合方法、设备及计算机可读存储介质，解决目标跟踪过程中目标丢失的问题，且计算量较小、计算速度快，能够满足实时性较高的应用场景中的目标跟踪需求。
[0010]本申请的目的采用以下技术方案实现：
[0011]第一方面，本申请提供了一种跟踪轨迹融合方法，所述方法包括：
[0012]对多帧点云数据对应的深度学习检测结果和静态聚类检测结果进行多目标跟踪，以获取至少一个动态轨迹及其对应的动态标识，至少一个静态轨迹及其对应的静态标识；
[0013]基于至少一个所述动态轨迹及其对应的动态标识和至少一个所述静态轨迹及其对应的静态标识，对融合轨迹集合进行更新，所述融合轨迹集合中的每个融合轨迹对应一对相匹配的动态轨迹和静态轨迹；
[0014]针对更新后的融合轨迹集合中的每个融合轨迹，获取每个所述融合轨迹的融合标识和当前帧的跟踪框并输出。
[0015]该技术方案的有益效果在于：对现有的目标跟踪算法进行拓展，有效解决了目标跟踪过程中目标(即跟踪结果)丢失的问题，且计算量较小、计算速度快，能够满足实时性较高的应用场景中的目标跟踪需求。
[0016]采用目标跟踪算法分别对深度学习检测结果和静态聚类检测结果进行目标跟踪，在执行完目标跟踪算法之后，就能得到两组跟踪轨迹：动态轨迹(即动态跟踪轨迹，来源于深度学习检测结果)和静态轨迹(即静态跟踪轨迹，来源于静态聚类检测结果)。在获取动态轨迹和静态轨迹之后，就可以执行轨迹融合过程，输出融合轨迹对应的融合标识和跟踪框。
[0017]具体而言，首先对每帧点云数据对应的深度学习检测结果进行多目标跟踪，得到一个或多个动态轨迹及其对应的动态标识；对每帧点云数据对应的静态聚类检测结果进行多目标跟踪，得到一个或多个静态轨迹及其对应的静态标识。其中，静态聚类即层次聚类。
[0018]在获取到动态轨迹和静态轨迹后，据此对融合轨迹集合进行更新，目的是将能匹配的动态轨迹和静态轨迹都匹配起来，再进入后续的轨迹融合过程。被更新的融合轨迹集合中包括当前帧之前已匹配的动态轨迹和静态轨迹。
[0019]在轨迹融合过程中，针对融合轨迹集合中的每个融合轨迹，获取其所对应的融合标识，以及该融合轨迹在当前帧的跟踪框，输出融合标识和当前帧的跟踪框作为轨迹融合结果。
[0020]现有的目标跟踪算法利用多源信息来解决目标丢失问题，计算量较大，本申请所提供的跟踪轨迹融合方法其初始输入数据只有点云数据(不需要RGB图像)，因此计算量小、计算速度快、计算时间短、计算效率高，所消耗的计算资源少。由于对融合轨迹集合进行了更新，将所有能匹配的动态轨迹和静态轨迹都匹配起来(即使一个动态轨迹或者静态轨迹在当前帧丢失目标，也可能匹配上另一轨迹)，再进入后续的轨迹融合过程，所以能够获取每个融合轨迹对应的跟踪框并输出。另外，不需要实时更新跟踪器，因此减少了目标跟踪过程中的计算量，提高了响应速度，适用于自动驾驶等对实时性要求较高的应用场景。
[0021]在一些可选的实施方式中，获取每帧点云数据对应的深度学习检测结果的过程包括：
[0022]利用深度学习检测模型对每帧点云数据进行目标检测，以得到每帧点云数据对应
的深度学习检测结果，所述深度学习检测结果包括至少一个所述动态标识及其对应的检测框；
[0023]获取每帧点云数据对应的静态聚类检测结果的过程包括：
[0024]利用静态聚类检测模型对每帧点云数据进行目标检测，以得到每帧点云数据对应的静态聚类检测结果，所述静态聚类检测结果包括至少一个所述静态标识及其对应的检测框。
[0025]该技术方案的有益效果在于：在目标跟踪过程中，目标检测通常作为目标跟踪的先决条件。深度学习检测结果通常能给出比较稳定的类别信息及速度预测信息，但是深度学习结果有漏检的可能；静态聚类检测结果虽然无法给出类别信息，但是障碍物位置及尺寸信息往往比较可信。利用深度学习检测模型本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种跟踪轨迹融合方法，其特征在于，所述方法包括：对多帧点云数据对应的深度学习检测结果和静态聚类检测结果进行多目标跟踪，以获取至少一个动态轨迹及其对应的动态标识，至少一个静态轨迹及其对应的静态标识；基于至少一个所述动态轨迹及其对应的动态标识和至少一个所述静态轨迹及其对应的静态标识，对融合轨迹集合进行更新，所述融合轨迹集合中的每个融合轨迹对应一对相匹配的动态轨迹和静态轨迹；针对更新后的融合轨迹集合中的每个融合轨迹，获取每个所述融合轨迹的融合标识和当前帧的跟踪框并输出。2.根据权利要求1所述的跟踪轨迹融合方法，其特征在于，获取每帧点云数据对应的深度学习检测结果的过程包括：利用深度学习检测模型对每帧点云数据进行目标检测，以得到每帧点云数据对应的深度学习检测结果，所述深度学习检测结果包括至少一个所述动态标识及其对应的检测框；获取每帧点云数据对应的静态聚类检测结果的过程包括：利用静态聚类检测模型对每帧点云数据进行目标检测，以得到每帧点云数据对应的静态聚类检测结果，所述静态聚类检测结果包括至少一个所述静态标识及其对应的检测框。3.根据权利要求1所述的跟踪轨迹融合方法，其特征在于，所述基于至少一个所述动态轨迹及其对应的动态标识和至少一个所述静态轨迹及其对应的静态标识，对融合轨迹集合进行更新，包括：针对所述融合轨迹集合中的每个所述融合轨迹，执行以下处理：当所述融合轨迹对应的动态轨迹和静态轨迹在当前帧都丢失目标时，从所述融合轨迹集合中删除所述融合轨迹；当所述融合轨迹对应的其中一个轨迹在当前帧丢失目标时，在所述融合轨迹集合中将丢失目标的轨迹对应的标识设置为无效标识。4.根据权利要求3所述的跟踪轨迹融合方法，其特征在于，所述基于至少一个所述动态轨迹及其对应的动态标识和至少一个所述静态轨迹及其对应的静态标识，对融合轨迹集合进行更新，还包括：利用处理后的融合轨迹集合，检测所获取的动态轨迹和静态轨迹中是否存在待匹配的动态轨迹和静态轨迹；当存在待匹配的动态轨迹和静态轨迹时，对待匹配的动态轨迹和静态轨迹进行关联，以得到相匹配的动态轨迹和静态轨迹；利用相匹配的动态轨迹和静态轨迹对处理后的融合轨迹集合进行更新。5.根据权利要求4所述的跟踪轨迹融合方法，其特征在于，所述利用处理后的融合轨迹集合，检测所获取的动态轨迹和静态轨迹中是否存在待匹配的动态轨迹和静态轨迹，包括：利用处理后的融合轨迹集合，从所获取的动态轨迹和静态轨迹中去除对应的两个轨迹在当前帧都跟踪到目标的融合轨迹所对应的轨迹，得到剩余部分；当所得到的剩余部分不为空时，确定存在待匹配的动态轨迹和静态轨迹，并将所述剩余部分作为待匹配的动态轨迹和静态轨迹；当所得到的剩余部分为空时，确定不存在待匹配的动态轨迹和静态轨迹。6.根据权利要求5所述的跟踪轨迹融合方法，其特征在于，所述方法还包括：
从所获取的...

【专利技术属性】
技术研发人员：陈海波，张帆，马志伟，
申请(专利权)人：深兰人工智能深圳有限公司，
类型：发明
国别省市：