一种基于三维智能检测的智能调度方法技术

本发明专利技术公开了一种基于三维智能检测的智能调度方法，包括以下步骤，将摄像头帧送入目标检测算法中进行目标物的检测；将检测结果经比对后加入目标跟踪列表中；然后，将建立跟踪的对象送入目标分类网络中进行分类，同时利用深度图进行三维位置信息重建；将分类后的位置信息与先验信息一同送入决策模块中进行智能决策后通过客户端显示与对下位机进行控制。本发明专利技术利用深度神经网络与激光雷达对智能调度平台进行改进，能在不额外添加环境设备的情况下有效的利用所监控范围的位置，类别及环境信息，对范围内受控物进行精确，高效，实时的调度。度。度。

【技术实现步骤摘要】
一种基于三维智能检测的智能调度方法


[0001]本专利技术属于智能调度领域，涉及一种基于三维智能检测的智能调度方法。

技术介绍

[0002]随着物流业，运输业，服务业智能化与无人化的不断推进，如何有效的控制与调度一个场景内的多个无人化设备，如物流车，服务机器人等，建立智能调度平台，使其在高效运行的同时具有有效处理各种突发状况的能力，成为了急需解决的一项问题。在智能调度领域中，虽然已经出现了一些解决方案，但是已提出的方案普遍需要额外对场地或受控对象进行大规模的加装或改装，成本较高。
[0003]在现有的基于全局视觉的仓储导航智能车调度方法(CN201911046869.9)中，使用了OpenCV开源视觉库进行AGV小车的特征图案进行提取，其中包含使用HSV图像进行二值化并使用Canny边缘检测算法进行轮廓检测。此思路容易受到环境的影响，系统鲁棒性不理想。本方法使用目标检测网络对目标进行识别与分类，适应性强，可适用多种环境，迁移能力好。同时使用激光雷达进行定位，精度更好，同时可适应多种目标的检测与定位任务。而在基于多相机及激光雷达的目标融合方法及系统(CN202111490323.X)中利用了多相机数据进行目标检测，利用激光雷达点云进行三维聚类，随后融合匹配两者的信息。此方法使用了三维聚类，需要花费较长的时间，而且涉及地面点云信息的处理问题，聚类结果受此影响大。

技术实现思路

[0004]针对上述问题，本专利技术融合深度传感器，轻量化深度学习目标检测，目标分类算法，和智能决策方法，对调度系统进行模块化设计，实现在不额外对场地与被控对象进行大规模改装的情况下进行状态感知，智能决策，实时调度。本专利技术将摄像头帧送入目标检测算法中进行目标物的检测；然后，将检测结果经比对后加入目标跟踪列表中；然后，将建立跟踪的对象送入目标分类网络中进行分类，同时利用深度图进行三维位置信息重建；然后，将分类后的位置信息与先验信息一同送入决策模块中进行智能决策后通过客户端显示与对下位机进行控制。本专利技术利用深度神经网络与激光雷达对智能调度平台进行改进，能在不额外添加环境设备的情况下有效的利用所监控范围的位置，类别及环境信息，对范围内受控物进行精确，高效，实时的调度。
[0005]本专利技术至少通过如下技术方案之一实现。
[0006]一种基于三维智能检测的智能调度方法，包括以下步骤：
[0007]1)数据集自动标注模块获取当前帧，并送入目标检测网络进行检测；
[0008]2)使用目标跟踪网络对目标检测网络的检测结果进行跟踪，并输出跟踪结果；
[0009]3)使用目标分类网络对跟踪结果进行目标分类，同时将目标框与深度图输入三维映射模块进行三维位置重建，输出世界坐标系下三维坐标；
[0010]4)将跟踪物体的三维坐标、分类结果、环境信息共同输入智能决策模块，使用行为
树进行智能决策，将决策结果显示在客户端上，并通过串口通讯向下位机进行控制调度。
[0011]进一步地，目标检测网络检测到的受控物体位置，经过过滤算法后，送入目标跟踪网络中，目标跟踪网络对跟踪对象在每一帧进行特征提取建模，获取帧间相关性度量，根据帧间相关性度决定跟踪对象的下一帧位置，从而得到目标跟踪模块结果的输出。
[0012]进一步地，将目标检测网络检测到的结果输入目标跟踪网络中，如果是初次进入目标跟踪网络，则以此结果初始化N个追踪器，追踪器的数量N与输入即目标检测网络检测到的检测框的个数相同，如果不是初次进入目标跟踪模块，则让剩余的追踪器使用卡尔曼滤波器利用追踪框进行预测，并与输入进来的检测框两两计算重合度并匹配，得到三种情况：部分检测框与追踪框匹配成功、部分检测框无法匹配、部分追踪框无法匹配；如果检测框与追踪框匹配成功，则利用检测框对对应追踪器的卡尔曼滤波器进行更新；如果追踪框没有匹配到检测框，则利用追踪框来更新自身的卡尔曼滤波器，并令追踪器的自更新次数加一；如检测框无法匹配成功，则利用此检测框初始化一个追踪器；
[0013]将所有追踪器混合在一起，检测混合后的存在帧数是否超过阈值，如果超过则删除该追踪器，如若未超过，则进行以下处理：
[0014]先检测是否有追踪框重合度高于阈值，如若过高，则两者的追踪器的重置标志位置真，再检测所有追踪器的连续击中次数是否超过阈值，如未超过阈值，则追踪器的重置标志位置真；再检测追踪器的重置次数是否超过阈值，如超过阈值，则将重置次数置零，同时追踪器的重置标志位置真；最后检测目标置信度是否超过阈值，如若未超过，追踪器的重置标志位置真；重置标志位为真的追踪器将追踪框内的图像信息输入深度神经网络进行分类。
[0015]进一步地，所述目标分类网络以EfficientNet特征提取网络为特征提取主干网络，将目标跟踪网络输出的图像输入特征提取主干网络，再将特征提取主干网络特征提取结果输入全连接层与回归层，得到图像对应的类别概率，选择概率最大的类别赋值为图像类别属性进行目标分类，对比本次分类得到的ID与上次分类得到的ID，若ID一样，则令连续分类次数加一，否则令连续分类次数置零，同时重置目标置信度为分类结果的置信度，置重置计时器为零，随后完成目标追踪模块的任务，所有仍未删除的追踪器则保留到下次追踪任务。
[0016]进一步地，三维映射模块的三维位置重建包括以下步骤：
[0017]0)定义以下坐标：
[0018]激光雷达坐标系：以激光雷达底端中点为原点，x轴指向激光雷达前方，z轴垂直向上，y轴面向前方水平向左；
[0019]相机坐标系：以相机光心为原点，面向前方，此时x轴水平向右，y轴垂直指向地面，z轴平行光轴指向前方；
[0020]像素坐标系：以图像的左上角为原点，x轴水平向右，y轴垂直向下；
[0021]1)开启一个线程，用于负责从激光雷达接受数据；
[0022]2)将激光雷达数据转为笛卡尔坐标系下的格式；
[0023][0024][0025][0026][0027][0028][0029]其中：
[0030]measurement ID为数据包的标号ID；
[0031]scan
width
为水平分辨率的数值；
[0032]beam_altitude_angles为每个激光光束的高度角；
[0033]beam_azimuth_angles为每个激光光束的方位角；
[0034]θ
encoder
激光雷达内置编码器的旋转角度；
[0035]θ
azimuth
激光雷达光束的方位角；
[0036]为激光雷达光束的高度角；
[0037]r为range_mm，其为从激光雷达原点坐标系中心到激光雷达前端光学器件的距离矢量的模与从激光雷达前端光学器件到检测对象的距离矢量的模的和；
[0038]n为lidar_origin_to_beam_origin_mm，是从激光雷达原点坐标系中心到激光雷达前端光学器件的距离矢量的大小；...

【技术保护点】

【技术特征摘要】
1.一种基于三维智能检测的智能调度方法，其特征在于，包括以下步骤：1)数据集自动标注模块获取当前帧，并送入目标检测网络进行检测；2)使用目标跟踪网络对目标检测网络的检测结果进行跟踪，并输出跟踪结果；3)使用目标分类网络对跟踪结果进行目标分类，同时将目标框与深度图输入三维映射模块进行三维位置重建，输出世界坐标系下三维坐标；4)将跟踪物体的三维坐标、分类结果、环境信息共同输入智能决策模块，使用行为树进行智能决策，将决策结果显示在客户端上，并通过串口通讯向下位机进行控制调度。2.根据权利要求1所述的一种基于三维智能检测的智能调度方法，其特征在于，目标检测网络检测到的受控物体位置，经过过滤算法后，送入目标跟踪网络中，目标跟踪网络对跟踪对象在每一帧进行特征提取建模，获取帧间相关性度量，根据帧间相关性度决定跟踪对象的下一帧位置，从而得到目标跟踪模块结果的输出。3.根据权利要求1所述的一种基于三维智能检测的智能调度方法，其特征在于，将目标检测网络检测到的结果输入目标跟踪网络中，如果是初次进入目标跟踪网络，则以此结果初始化N个追踪器，追踪器的数量N与输入即目标检测网络检测到的检测框的个数相同，如果不是初次进入目标跟踪模块，则让剩余的追踪器使用卡尔曼滤波器利用追踪框进行预测，并与输入进来的检测框两两计算重合度并匹配，得到三种情况：部分检测框与追踪框匹配成功、部分检测框无法匹配、部分追踪框无法匹配；如果检测框与追踪框匹配成功，则利用检测框对对应追踪器的卡尔曼滤波器进行更新；如果追踪框没有匹配到检测框，则利用追踪框来更新自身的卡尔曼滤波器，并令追踪器的自更新次数加一；如检测框无法匹配成功，则利用此检测框初始化一个追踪器；将所有追踪器混合在一起，检测混合后的存在帧数是否超过阈值，如果超过则删除该追踪器，如若未超过，则进行以下处理：先检测是否有追踪框重合度高于阈值，如若过高，则两者的追踪器的重置标志位置真，再检测所有追踪器的连续击中次数是否超过阈值，如未超过阈值，则追踪器的重置标志位置真；再检测追踪器的重置次数是否超过阈值，如超过阈值，则将重置次数置零，同时追踪器的重置标志位置真；最后检测目标置信度是否超过阈值，如若未超过，追踪器的重置标志位置真；重置标志位为真的追踪器将追踪框内的图像信息输入深度神经网络进行分类。4.根据权利要求1所述的一种基于三维智能检测的智能调度方法，其特征在于，所述目标分类网络以EfficientNet特征提取网络为特征提取主干网络，将目标跟踪网络输出的图像输入特征提取主干网络，再将特征提取主干网络特征提取结果输入全连接层与回归层，得到图像对应的类别概率，选择概率最大的类别赋值为图像类别属性进行目标分类，对比本次分类得到的ID与上次分类得到的ID，若ID一样，则令连续分类次数加一，否则令连续分类次数置零，同时重置目标置信度为分类结果的置信度，置重置计时器为零，随后完成目标追踪模块的任务，所有仍未删除的追踪器则保留到下次追踪任务。5.根据权利要求1所述的一种基于三维智能检测的智能调度方法，其特征在于，三维映射模块的三维位置重建包括以下步骤：0)定义以下坐标：激光雷达坐标系：以激光雷达底端中点为原点，x轴指向激光雷达前方，z轴垂直向上，y轴面向前方水平向左；
相机坐标系：以相机光心为原点，面向前方，此时x轴水平向右，y轴垂直指向地面，z轴平行光轴指向前方；像素坐标系：以图像的左上角为原点，x轴水平向右，y轴垂直向下；1)开启一个线程，用于负责从激光雷达接受数据；2)将激光雷达数据转为笛卡尔坐标系下的格式；2)将激光雷达数据转为笛卡尔坐标系下的格式；2)将激光雷达数据转为笛卡尔坐标系下的格式；2)将激光雷达数据转为笛卡尔坐标系下的格式；2)将激光雷达数据转为笛卡尔坐标系下的格式；2)将激光雷达数据转为笛卡尔坐标系下的格式；其中：measurementID为数据包的标号ID；scan
width
为水平分辨率的数值；beam_altitude_angles为每个激光光束的高度角；beam_azimuth_angles为每个激光光束的方位角；θ
encoder
激光雷达内置编码器的旋转角度；θ
azimuth
激光雷达光束的方位角；为激光雷达光束的高度角；r为range_mm，其为从激光雷达原点坐标系中心到激光雷达前端光学器件的距离矢量的模与从激光雷达前端光学器件到检测对象的距离矢量的模的和；n为lidar_origin_to_beam_origin_mm，是从激光雷达原点坐标系中心到激光雷达前端光学器件的距离矢量的大小；x、y、z为点云的笛卡尔坐标；3)将从激光雷达中获取到的点云数据投影到图像上，得到一张深度图：其中深度图是一张与相机图片的分辨率一样的单通道图片，其每个像素中填充的是对应的Zc值；(X
l
、Y
l
、Z
l
)是点云在...

【专利技术属性】
技术研发人员：赵可昕，秦奕，梁俊玮，陈泽明，梁华岳，董博雅，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：