一种基于多模态融合网络的点云目标检测方法，属于三维目标检测技术领域。本发明专利技术改进了点云分组方式。将体素结构化特征与点云的特征进行拼接，扩充了原始数据的特征，在输入网络架构前提供了更多的有效信息，对于每个点云信息更合理的进行表达。本发明专利技术提出的网络架构，将点云与图片的特征进行拼接，融合。可以将点云数据提供深度信息的优点，图片数据提供丰富的纹理信息，这些优点进行有效的融合，因此提升了三维物体的检测精度。可以应用于自动驾驶，水下机器人等相关领域。
【技术实现步骤摘要】
本专利技术属于三维目标检测，具体涉及一种基于多模态融合网络的点云目标检测方法。
技术介绍
1、随着自动驾驶、遥感等技术的快速发展，三维数据例如点云的应用更加广泛，点云是一种基于三维空间中的点集合来描述物体的大致形状和特征，为环境感知可以提供更多信息，例如深度、位置，并且不受光照等天气因素影响依然描绘出物体的大致形状，相应的缺点就是其稀疏性、数量庞大、不规则性。图片可以提供丰富的色彩信息，获取图片的方式相较于获取三维数据价格相对低廉，但是没有深度等信息，不方便检测现实世界中遮挡等问题。因此，将三维数据与图片相结合的方式，结合两者的优点弥补各自的不足，并提高其检测精度。因此利用卷积神经网络设计一种基于多模态融合的点云目标检测网络具有现实意义。
2、现有的神经网络已经将点云作为其输入数据，克服了点云数据量大的问题，但依旧存在一些问题。如果使用传统的神经网络，例如pointpillars，second网络，都是利用将不规则的点云转换成规则的体素，输入到中间网络层，得到检测结果，由于只用了点云数据，缺少了色彩等信息，并且点云自身近密远疏的特点，检测精度并不高。虽然二维图片的检测技术越来越成熟，检测精度很高，但是很难应用于三维物体，很难迁移。如何从不规则的点中提取独特的特征，并且将图片的信息进行提取，提高网络检测精度成为三维目标检测任务中的关键性问题。因此，基于多模态网络将两者自身的优点进行融合，设计新的神经网络架构解决上述问题，提高检测精度，在点云目标检测领域具有很大的意义。
技术实现思路</p>1、针对以上问题，本专利技术提出一种基于多模态融合网络的点云目标检测方法，通过使用点云和对应的图片两种数据进行融合，设计新的神经网络架构解决上述问题，提高检测精度。
2、本专利技术的技术方案：
3、一种基于多模态融合网络的点云目标检测方法，步骤如下：
4、步骤1：获取待检测目标的三维点云数据及相应的二维图片。
5、步骤2：对步骤1中得到的三维点云数据进行数据增强，去除噪点。
6、进一步地，数据增强的方式包括随机旋转randomflip3d、缩放globalrotscaletrans、过滤点云pointsrangefilter和随机排列pointshuffle方法。
7、步骤3：将数据增强后的三维点云数据转换成规则的体素形式，进而将三维点云数据中三维点云特征进行扩充，将体素的特征扩充为三维点云特征，最后将三维点云特征的通道数转换为128通道，此时三维点云特征记为point_features。
8、步骤3.1：对数据增强后的三维点云数据根据其位置信息进行预处理裁剪，只保留相机范围内的三维点云数据，舍去相机范围外的三维点云数据。然后将预处理裁剪后的三维点云数据进行统一编码，将编码后的三维点云数据沿轴、轴和轴再统一划分给不同的体素。
9、进一步地，所述的预处理裁剪的具体做法为：将三维点云数据中的三维点云坐标转换映射到图像坐标，获取每个三维点云所对应的图像位置，定义如下：
10、
11、其中，为相机的内参和外参联合信息，为相机标准数据，为激光雷达到相机坐标系的位姿变化矩阵，利用位姿变化矩阵的矩阵信息将三维点云坐标转换为图像坐标。为三维点云坐标。为每个三维点云所对应的图像位置。
12、然后，利用每个三维点云所对应的图像位置得到图像的边界信息，利用图像的边界信息生成三维点云掩码。将投影在三维点云范围内的三维点云掩码设置为1，将其他位置的三维点云掩码设置为0。最后将整体的三维点云数据做掩码处理，获得预处理裁剪后的三维点云数据。
13、步骤3.2：将预处理裁剪后获取到的三维点云的原始特征记为(,,,)，分别表示原始三维点云的坐标与反射强度。
14、步骤3.3：将体素内中心点的坐标表示为(,,)，将原始三维点云的坐标与体素内中心点的坐标的差值记为,,，计算方法为,,。
15、步骤3.4：计算原始三维点云到体素内中心点的距离记为，公式为，将原始三维点云的坐标与距离做差值记为,,，计算方法为,,。
16、步骤3.5：将体素内的每个三维点云升维至10维的特征，顺序为(,,,,,,,)，将升维后的特征被编码为向量()，其中，表示为最大非空体素数。表示体素中包含的点云数，表示为最终扩充的特征维度；将得到的向量经过vfe操作，其中，vfe操作包括全连接层、batchnormalization、relu扩充为64维，最后经过卷积层将三维点云特征的通道数转换为128通道，此时三维点云特征记为point_features。
17、步骤4：将步骤1获取到的二维图片的特征先经过预处理，再次经过二维提取网络进行特征提取，所述的二维提取网络采用卷积神经网络中的层次化构建方法，对图片分别进行4倍、8倍、16倍、32倍下采样，获取对应的四个图片特征，通道数也相应的变成256、512、1024、2048。将获取到的四个图片特征经过neck层，通道数统一变为256。将获取到的四个图片特征与其中一个通道为256的图片特征作为整体，经过大小为3的卷积核将通道数变成128，统一经过卷积层转换为640通道的特征层，将640通道的特征层再次经过线性层，转换成128通道的图片特征，记为pic_features。
18、进一步地，所述的步骤4中预处理具体为：
19、首先对二维图片的rgb三个通道的像素值归一化处理，将归一化的像素值进行均值平移，在对应通道上分别减去对应的通道偏移值，最后将图片数据进行标准差缩放。
20、步骤5：步骤4得到的图片特征pic_features与步骤3得到的三维点云特征point_features维度已匹配后，将两个特征直接相加进行融合，维度不变，再次经过激活函数relu，将融合后的三维点云特征映射到体素中。
21、步骤6：利用3d稀疏卷积、子流形稀疏卷积、batchnormalization和relu构成的残差稀疏卷积网络结构提取步骤5融合后的三维点云特征，将三维点云特征逐渐转换为2倍、4倍、8倍的下采样尺寸的三维稀疏特征。
22、步骤7：经过todense层将步骤6得到的三维稀疏特征沿轴堆叠，得到相应的bev俯视图。
23、步骤8：步骤7得到的bev俯视图作为两组2d卷积网络的输入，经过转置卷积，最后将两组2d卷积网络获取到的两组特征进行拼接融合，得到二维融合后的网络特征。
24、进一步地，每组所述的2d卷积网络包括5个二维卷积层和1个二维转置卷积，每个二维卷积层和二维转置卷积后面都有batchnormalization和relu。经过一组2d卷积网络的二维卷积层输出的语义特征为，经过另一组2d卷积网络的二维卷积层输出的空间特征为，其中，为输入特征图的宽，为输入特征图的高，为输入特征图的通道。经过二维转置卷积后特征都变为。
25、步骤9：多检测头网络是运用三个11二维卷积核作用于步骤8得本文档来自技高网
...
【技术保护点】
1.一种基于多模态融合网络的点云目标检测方法，其特征在于，步骤如下:
2.根据权利要求1所述的一种基于多模态融合网络的点云目标检测方法，其特征在于，所述的步骤2中，数据增强的方式包括随机旋转RandomFlip3D、缩放GlobalRotScaleTrans、过滤点云PointsRangeFilter和随机排列PointShuffle方法。
3.根据权利要求1所述的一种基于多模态融合网络的点云目标检测方法，其特征在于，所述的步骤3.1中，所述的预处理裁剪的具体做法为：将三维点云数据中的三维点云坐标转换映射到图像坐标，获取每个三维点云所对应的图像位置，定义如下：
4.根据权利要求1所述的一种基于多模态融合网络的点云目标检测方法，其特征在于，所述的步骤4中预处理具体为：
5.根据权利要求1所述的一种基于多模态融合网络的点云目标检测方法，其特征在于，所述的步骤8中，每组所述的2D卷积网络包括5个二维卷积层和1个二维转置卷积，每个二维卷积层和二维转置卷积后面都有BatchNormalization和ReLU；经过一组2D卷积网络的二维卷积层输出的语义特征为，经过另一组2D卷积网络的二维卷积层输出的空间特征为，其中，为输入特征图的宽，为输入特征图的高，为输入特征图的通道；经过二维转置卷积后特征都变为。
6.根据权利要求1所述的一种基于多模态融合网络的点云目标检测方法，其特征在于，所述的步骤10中，损失函数具体如下：
...
【技术特征摘要】
1.一种基于多模态融合网络的点云目标检测方法，其特征在于，步骤如下:
2.根据权利要求1所述的一种基于多模态融合网络的点云目标检测方法，其特征在于，所述的步骤2中，数据增强的方式包括随机旋转randomflip3d、缩放globalrotscaletrans、过滤点云pointsrangefilter和随机排列pointshuffle方法。
3.根据权利要求1所述的一种基于多模态融合网络的点云目标检测方法，其特征在于，所述的步骤3.1中，所述的预处理裁剪的具体做法为：将三维点云数据中的三维点云坐标转换映射到图像坐标，获取每个三维点云所对应的图像位置，定义如下：
4.根据权利要求1所述的一种基于多模态...
【专利技术属性】
技术研发人员：马艳华，董昕元，王杰，
申请(专利权)人：大连理工大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。