本发明专利技术公开了一种对象识别方法，包括以下步骤：获取三维点云和二维图像；对三维点云进行识别以得到三维点云中每一个第一对象的第一类别和第一位置信息，对二维图像进行识别以得到二维图像中每一个第二对象的第二类别和第二位置信息；确定与每一个第一对象相对应的第二对象；结合具有对应关系的第一对象和第二对象的第一类别、第一位置信息、第二类别和第二位置信息得到具有对应关系的第一对象和第二对象最终的类别和位置信息。本发明专利技术还公开了一种系统、计算机设备以及可读存储介质。本发明专利技术提出的方案通过结合三维识别和二维识别的结果得到对象最终的类别和位置信息，充分发挥不同传感器的优势，提升了算法的鲁棒性和准确性。性。性。
【技术实现步骤摘要】
一种对象识别方法、系统、设备以及存储介质
[0001]本专利技术涉及车路协同领域，具体涉及一种对象识别方法、系统、设备以及存储介质。
技术介绍
[0002]在利用车端的二维传感器对对象进行识别时，不能得到朝向角度信息，如果要使用另外一个检测网络来得到朝向角度的话，一方面不能充分发挥不同任务间的耦合关系，另一方面多个独立任务堆叠方式去进行检测，算法的运行速度得不到保障。
[0003]而利用路端的三维传感器对对象进行识别时，对被遮挡对象、远而小对象、激光点云纹理不清晰对象等容易产生误检和漏检，所以仅依靠车端或者仅依靠路端传感器进行对象识别是不可靠的。
技术实现思路
[0004]有鉴于此，为了克服上述问题的至少一个方面，本专利技术实施例提出一种对象识别方法，包括以下步骤：
[0005]获取三维点云和二维图像；
[0006]对所述三维点云进行识别以得到所述三维点云中每一个第一对象的第一类别和第一位置信息，对所述二维图像进行识别以得到所述二维图像中每一个第二对象的第二类别和第二位置信息；
[0007]确定与每一个所述第一对象相对应的所述第二对象；
[0008]结合具有对应关系的第一对象和第二对象的第一类别、第一位置信息、第二类别和第二位置信息得到所述具有对应关系的第一对象和第二对象最终的类别和位置信息。
[0009]在一些实施例中，对所述三维点云进行识别以得到所述三维点云中每一个第一对象的第一类别和第一位置信息，进一步包括：
[0010]利用第一检测算法对所述三维点云进行检测得到多个三维包围框，其中每一个所述三维包围框均被所述第一检测算法赋予第一类别标签、第一类别标签的置信度以及朝向角度的余弦夹角；
[0011]基于所述三维包围框确定每一个第一对象的第一类别、第一类别的置信度和朝向角度的余弦夹角。
[0012]在一些实施例中，对所述二维图像进行识别以得到所述二维图像中每一个第二对象的第二类别和第二位置信息，进一步包括：
[0013]利用第二检测算法对所述二维图像进行检测得到多个二维包围框，其中每一个所述二维包围框均被所述第二检测算法赋予第二类别标签、第二类别标签的置信度以及朝向；
[0014]基于所述二维包围框确定每一个第二对象的第二类别、第二类别的置信度和朝向。
[0015]在一些实施例中，结合具有对应关系的第一对象和第二对象的第一类别、第一位置信息、第二类别和第二位置信息得到所述具有对应关系的第一对象和第二对象最终的类别和位置信息，进一步包括：
[0016]比较具有对应关系的第一对象和第二对象的第一类别的置信度和第二类别标签的置信度的大小；
[0017]响应于所述第一类别的置信度大于所述第二类别的置信度，将所述第一对象的第一类别作为所述具有对应关系的第一对象和第二对象最终的类别；
[0018]响应于所述第一类别的置信度小于所述第二类别的置信度，将所述第二对象的第二类别作为所述具有对应关系的第一对象和第二对象最终的类别。
[0019]在一些实施例中，还包括：
[0020]结合对应的朝向角度的余弦夹角和对应的朝向得到所述具有对应关系的第一对象和第二对象最终的位置信息。
[0021]在一些实施例中，利用第二检测算法对所述二维图像进行检测得到多个二维包围框，进一步包括：
[0022]基于所述二维包围框的回归损失、所述第二类别的损失、所述二维包围框的正负样损失和朝向损失构建损失函数。
[0023]在一些实施例中，基于所述二维包围框的回归损失、所述第二类别的损失、所述二维包围框的正负样损失和朝向损失构建损失函数，进一步包括：
[0024]将Loss＝L
box
+L
cls
+M1*L
obj
+L
orien
作为所述第二检测算法的损失函数，L
box
为所述二维包围框的回归损失，L
cls
为所述第二类别的损失，L
obj
为所述二维包围框的正负样损失，L
orien
为朝向损失，其中：
[0025][0026][0027][0028][0029]其中，M1、M2、M3、M4、M5是权重；S2表示S
×
S个网格；B表示每个网格产生B个二维包围框；表示如果在i，j处的二维包围框有目标，其值为1，否则为0；表示如果在i，j处的二维包围框没有目标，其值为1，否则为0；为GIOU损失函数，为二进制交叉熵损失函数。
[0030]在一些实施例中，还包括：
[0031]利用Logits损失函数计算第二类别的置信度。
[0032]在一些实施例中，获取三维点云和二维图像，进一步还包括：
[0033]利用路端的雷达扫描得到所述三维点云；
[0034]利用车端的二维相机或所述路端的二维相机拍摄得到所述二维图像。
[0035]在一些实施例中，确定与每一个所述第一对象相对应的所述第二对象，进一步包括：
[0036]利用转换矩阵将所述第一对象投影到所述二维图像；
[0037]将所述二维图像的投影位置上的第二对象作为相对应的第二对象。
[0038]在一些实施例中，对所述二维图像进行识别以得到所述二维图像中每一个第二对象的第二类别和第二位置信息，进一步包括：
[0039]结合多个所述二维图像过滤存在第二对象的位置信息发生突变的二维图像。
[0040]基于同一专利技术构思，根据本专利技术的另一个方面，本专利技术的实施例还提供了一种对象识别系统，包括：
[0041]获取模块，配置为获取三维点云和二维图像；
[0042]识别模块，配置为对所述三维点云进行识别以得到所述三维点云中每一个第一对象的第一类别和第一位置信息，对所述二维图像进行识别以得到所述二维图像中每一个第二对象的第二类别和第二位置信息；
[0043]投影模块，配置为确定与每一个所述第一对象相对应的所述第二对象；
[0044]矫正模块，配置为结合具有对应关系的第一对象和第二对象的第一类别、第一位置信息、第二类别和第二位置信息得到所述具有对应关系的第一对象和第二对象最终的类别和位置信息。
[0045]基于同一专利技术构思，根据本专利技术的另一个方面，本专利技术的实施例还提供了一种计算机设备，包括：
[0046]至少一个处理器；以及
[0047]存储器，所述存储器存储有可在所述处理器上运行的计算机程序，所述处理器执行所述程序时执行如上所述的任一种对象识别方法的步骤。
[0048]基于同一专利技术构思，根据本专利技术的另一个方面，本专利技术的实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时执行如上所述的任一种对象识别方法的步骤。
[0049]本专利技术具有以下有益技术效果之一：本专利技术提出的方案通过结合三维识别和二维识别的结果得到对象最终的类别和位置本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种对象识别方法，其特征在于，包括以下步骤：获取三维点云和二维图像；对所述三维点云进行识别以得到所述三维点云中每一个第一对象的第一类别和第一位置信息，对所述二维图像进行识别以得到所述二维图像中每一个第二对象的第二类别和第二位置信息；确定与每一个所述第一对象相对应的所述第二对象；结合具有对应关系的第一对象和第二对象的第一类别、第一位置信息、第二类别和第二位置信息得到所述具有对应关系的第一对象和第二对象最终的类别和位置信息。2.如权利要求1所述的方法，其特征在于，对所述三维点云进行识别以得到所述三维点云中每一个第一对象的第一类别和第一位置信息，进一步包括：利用第一检测算法对所述三维点云进行检测得到多个三维包围框，其中每一个所述三维包围框均被所述第一检测算法赋予第一类别标签、第一类别标签的置信度以及朝向角度的余弦夹角；基于所述三维包围框确定每一个第一对象的第一类别、第一类别的置信度和朝向角度的余弦夹角。3.如权利要求2所述的方法，其特征在于，对所述二维图像进行识别以得到所述二维图像中每一个第二对象的第二类别和第二位置信息，进一步包括：利用第二检测算法对所述二维图像进行检测得到多个二维包围框，其中每一个所述二维包围框均被所述第二检测算法赋予第二类别标签、第二类别标签的置信度以及朝向；基于所述二维包围框确定每一个第二对象的第二类别、第二类别的置信度和朝向。4.如权利要求3所述的方法，其特征在于，结合具有对应关系的第一对象和第二对象的第一类别、第一位置信息、第二类别和第二位置信息得到所述具有对应关系的第一对象和第二对象最终的类别和位置信息，进一步包括：比较具有对应关系的第一对象和第二对象的第一类别的置信度和第二类别标签的置信度的大小；响应于所述第一类别的置信度大于所述第二类别的置信度，将所述第一对象的第一类别作为所述具有对应关系的第一对象和第二对象最终的类别；响应于所述第一类别的置信度小于所述第二类别的置信度，将所述第二对象的第二类别作为所述具有对应关系的第一对象和第二对象最终的类别。5.如权利要求4所述的方法，其特征在于，还包括：结合对应的朝向角度的余弦夹角和对应的朝向得到所述具有对应关系的第一对象和第二对象最终的位置信息。6.如权利要求3所述的方法，其特征在于，利用第二检测算法对所述二维图像进行检测得到多个二维包围框，进一步包括：基于所述二维包围框的回归损失、所述第二类别的损失、所述二维包围框的正负样损失和朝向损失构建损失函数。7.如权利要求6所述的方法，其特征在于，基于所述二维包围框的回归损失、所述第二类别的损失、所述二维包围框的正负样损失和朝向损失构建损失函数，进一步包括：将Loss＝L
box
+L
cls
+M...
【专利技术属性】
技术研发人员：郑文勇，郭振华，
申请(专利权)人：天翼交通科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。