一种基于RGB-D数据融合的测距跟踪方法技术

本发明专利技术涉及一种基于RGB

【技术实现步骤摘要】
一种基于RGB
‑
D数据融合的测距跟踪方法


[0001]本专利技术涉及目标检测与跟踪
，特别是涉及一种基于RGB
‑
D数据融合的测距跟踪方法。

技术介绍

[0002]YOLOv5模型虽然相对于前几代YOLO模型性能最佳，但仍然无法在大多数嵌入式设备上部署，主要原因还是嵌入式设备的算力不支持，因此在模型轻量化问题上还有待改进，而上述专利中加入的注意力机制虽然可对检测精度进行提升，但同时也带来了模型参数量和复杂度的增加，因此更加不适合在嵌入式设备中进行部署。
[0003]单目测距虽然在部署和实现上比较简单，但由于其是先通过图像匹配进行目标识别(各种车型、行人、物体等)，再通过目标在图像中的大小去估算目标距离，因此必须不断更新和维护一个庞大的样本数据库，才能保证系统达到较高的识别率；无法对非标准障碍物进行判断；距离并非真正意义上的测量，准确度较低，另外其受光照等环境因素影响较大。而基于激光雷达的测距虽然能在各方面表现出良好的效果，但目前激光雷达的价格仍然十分昂贵，对于一些普通的应用场景，应用激光雷达性价比太低。

技术实现思路

[0004]本专利技术的目的是将通过神经网络实现的目标跟踪应用于一般的嵌入式设备中，在面向一般的跟踪场景时，考虑到算力及性价比的问题，提出一种基于RGB
‑
D数据融合的测距跟踪方法。
[0005]为实现上述目的，本专利技术提供了如下方案：
[0006]一种基于RGB
‑
D数据融合的测距跟踪方法，包括：
[0007]采集待检测目标的RGB图像和深度图像，将所述RGB图像输入到改进的YOLOv5网络模型中，对所述待检测目标进行目标检测和跟踪，获取跟踪输出结果；
[0008]将所述跟踪输出结果与所述深度图像进行配准，获得所述待检测目标的距离信息。
[0009]优选地，采集所述待检测目标的RGB图像和深度图像包括：
[0010]通过RGB
‑
D相机采集所述RGB图像，基于深度相机采集所述深度图像，在使用所述RGB
‑
D相机和所述深度相机进行采集之前，对相机的各项参数进行标定，并通过相机的空间分布信息，分别得到RGB
‑
D相机坐标和深度相机坐标获取到的图像与真实世界的坐标对应关系。
[0011]优选地，所述改进的YOLOv5网络模型中利用可分离卷积代替普通卷积，用于对特征数据进行遍历和卷积操作；并将原始YOLOv5网络模型中的CIOU损失函数替换为SIOU损失函数，用于提升模型检测的准确度。
[0012]优选地，将所述RGB图像输入到改进的YOLOv5网络模型中进行目标检测，包括：
[0013]基于所述可分离卷积的方法对部分所述原始YOLOv5模型的组成模块进行改进后，
利用改进后的各模块对所述RGB图像进行特征信息的提取和压缩；其中，所述特征信息的提取包括利用Focus结构将图像信息由空间维度转换为通道维度，使用不同的CSP结构对提取的特征信息进行拼接，利用SSP层分离上下文特征，通过FPN对特征图进行融合以及利用金字塔结构采用拼接的方式融合特征，最终得到若干不同尺寸的特征图，经替换后的SIoU损失函数进行筛选，得到检测目标的分类信息以及所述检测目标在图像中的位置信息。
[0014]优选地，对所述待检测目标进行目标跟踪包括：
[0015]基于DeepSORT进行目标跟踪，同时考虑待测目标间距和相似度特征，并对新生成的跟踪轨迹采取验证机制排除错误的预测结果，得到所述待测目标的边界框信息，即所述跟踪输出结果；其中所述验证机制包括卡尔曼预测和监测匹配失败预测。
[0016]优选地，对所述跟踪输出结果与所述深度图像进行配准包括：
[0017]基于RGB图像像素点和实际坐标系的映射关系，对相机进行标定配准，获取深度图像像素点和所述实际坐标系的映射关系，其中，所述RGB图像像素点和实际坐标系的映射关系为：
[0018][0019]X
r
，Y
r
，Z
r
分别为空间坐标系中点的位置坐标，x，y分别为以相机采光孔作为真实三维世界中坐标系的原点O
c
，构成的O
c
‑
X
c
YcZ
c
三维坐标系下对应的目标点坐标p(X
w
，Y
w
，Z
w
)映射到深度图中点的位置坐标，M2和M1分别表示深度成像模块的内部参数和外部参数。
[0020]优选地，基于所述深度图像像素点和所述实际坐标系的映射关系，对所述跟踪输出结果与所述深度图像进行配准；其中，所述深度图像像素点和实际坐标系的映射关系为：
[0021][0022]X
r
，Y
r
，Z
r
分别为空间坐标系中点的位置坐标，x
d
，y
d
分别为以相机采光孔作为真实三维世界中坐标系的原点O
c
，构成的O
c
‑
X
c
Y
c
Z
c
三维坐标系下对应的目标点坐标p(X
d
，Y
d
，Z
d
)映射到深度图中点的位置坐标，M3和M4分别表示深度成像模块的内部参数和外部参数。
[0023]优选地，基于所述深度图像像素点和实际坐标系的映射关系，得到深度图像和RGB图像的映射关系：
[0024][0025]其中，x
d
，y
d
分别为映射到深度图中点的位置坐标，M1和M2分别表示相机的外部参数和内部参数，M3和M4分别表示深度成像模块的内部参数和外部参数，x，y为RGB图中的位置
坐标。
[0026]优选地，基于深度图像和RGB图像的映射关系，将所述跟踪输出结果转换到所述深度图像中，对所述跟踪输出结果区域内深度图像中的像素点距离求均值，得到所述待检测目标的距离信息。
[0027]本专利技术的有益效果为：
[0028](1)本专利技术专利在兼顾YOLOv5检测精度的同时，大大减少了模型的参数量，使其在嵌入式设备上部署成为可能；
[0029](2)本专利技术利用RGB图像实现目标检测与跟踪，将目标跟踪阶段生成的预测框映射到深度相机采集的深度图像中，完成对目标的测距和跟随，此种方案由于单独采集了表示距离信息的深度图像，因而解决了单目测距精度和准确率低的问题，同时目前两种相机的价格一般，性价比也得到了保证。
附图说明
[0030]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于RGB
‑
D数据融合的测距跟踪方法，其特征在于，包括：采集待检测目标的RGB图像和深度图像，将所述RGB图像输入到改进的YOLOv5网络模型中，对所述待检测目标进行目标检测和跟踪，获取跟踪输出结果；将所述跟踪输出结果与所述深度图像进行配准，获得所述待检测目标的距离信息。2.根据权利要求1所述的基于RGB
‑
D数据融合的测距跟踪方法，其特征在于，采集所述待检测目标的RGB图像和深度图像包括：通过RGB
‑
D相机采集所述RGB图像，基于深度相机采集所述深度图像，在使用所述RGB
‑
D相机和所述深度相机进行采集之前，对相机的各项参数进行标定，并通过相机的空间分布信息，分别得到RGB
‑
D相机坐标和深度相机坐标获取到的图像与真实世界的坐标对应关系。3.根据权利要求1所述的基于RGB
‑
D数据融合的测距跟踪方法，其特征在于，所述改进的YOLOv5网络模型中利用可分离卷积代替普通卷积，用于对特征数据进行遍历和卷积操作；并将原始YOLOv5网络模型中的CIOU损失函数替换为SIOU损失函数，用于提升模型检测的准确度。4.根据权利要求3所述的基于RGB
‑
D数据融合的测距跟踪方法，其特征在于，将所述RGB图像输入到改进的YOLOv5网络模型中进行目标检测，包括：基于所述可分离卷积的方法对部分所述原始YOLOv5模型的组成模块进行改进后，利用改进后的各模块对所述RGB图像进行特征信息的提取和压缩；其中，所述特征信息的提取包括利用Focus结构将图像信息由空间维度转换为通道维度，使用不同的CSP结构对提取的特征信息进行拼接，利用SSP层分离上下文特征，通过FPN对特征图进行融合以及利用金字塔结构采用拼接的方式融合特征，最终得到若干不同尺寸的特征图，经替换后的SIoU损失函数进行筛选，得到检测目标的分类信息以及所述检测目标在图像中的位置信息。5.根据权利要求1所述的基于RGB
‑
D数据融合的测距跟踪方法，其特征在于，对所述待检测目标进行目标跟踪包括：基于DeepSORT进行目标跟踪，同时考虑待测目标间距和相似度特征，并对新生成的跟踪轨迹采取验证机制排除错误的预测结果，得到所述待测目标的边界框信息，即所述跟踪输出结果；其中所述验证机制包括卡尔曼预测和监测匹配失败预测。6.根据权利要求1所述的基于RGB
‑
D数据融合的测距跟踪方法，其特征在于，对所述跟踪输出结果与所述深度图像进行配准包括：基于RGB图像像素点和实际坐标系的映射关系，对相...

【专利技术属性】
技术研发人员：陈恩庆，胡天生，梁静，郭新，汪松，井中纪，王宏伟，张丽娟，张秀琳，朱广磊，
申请(专利权)人：河南信通智能物联有限公司，
类型：发明
国别省市：